国内外的文生视频大模型

以下是关于文生图的相关知识： 简明操作流程： 定主题：明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找与生成内容重叠的 lora，以控制图片效果和质量。 ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 这个即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++ 2M Karras，也可参考模型作者推荐的采样器。 采样次数：选 DPM++ 2M Karras 时，采样次数在 30 40 之间。 尺寸：根据喜好和需求选择。 提示词写作： Stable Diffusion 的生成方式主要分为文生图和图生图两种，文生图仅通过正反向词汇描述来发送指令。 文本描述分为内容型提示词和标准化提示词，内容型提示词用于描述想要的画面。 采样迭代步数通常控制在 20 40 之间。 常用采样方法有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM，有的模型有指定算法，搭配更好。 比例设置为 800:400，高宽比尽量在 512x512 数值附近。 文生图工具： DALL·E：OpenAI 推出，可根据文本描述生成逼真图片。 StableDiffusion：开源，能生成高质量图片，支持多种模型和算法。 MidJourney：图像生成效果好，界面用户友好，在创意设计人群中流行。 更多工具可在 WaytoAGI 网站（https://www.waytoagi.com/category/104 ）查看。

训练自己的文生文大模型是一个复杂且计算量巨大的过程，主要包括以下步骤： 1. 准备资源：需要大量的互联网文本资源，通常约 10TB 的文本，用于模型的训练。 2. 硬件设施：需要一个 GPU 集群，大约 6000 个 GPU，运行约 12 天，费用约 200 万美元。 3. 模型选择与理解：了解不同的模型架构和算法，例如 Llama2 70B 等开源模型，以及其训练方式和相关论文。 4. 数据处理：对获取的大量文本进行处理和压缩，将其转化为适合模型训练的格式。 5. 训练过程：这是一个复杂的计算过程，类似于对互联网的一大块内容进行有损压缩，以获取模型的参数。 需要注意的是，模型训练比模型推理要复杂得多，模型推理可以在 MacBook 上运行，但训练需要强大的计算能力和大量的资源支持。

目前在文生视频领域，以下是一些表现较为出色的产品： 1. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 2. Pika：是一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。其新模型在文生视频质量上有大幅提升，例如生成皮克斯风格的镜头效果出色，稳定性高，语义理解强，动作幅度大，在 3D 和 2D 动画效果方面表现优秀。 3. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，由 Stability AI 开源。 4. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 5. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。 以下是 Sora 和其他模型能力的对比表格： |能力分类|能力|SORA|其他| ||||| |底层技术|架构|Transformer|UNet 为主| |底层技术|驱动方式|数据|图片| |对于真实世界的理解/模拟能力|世界理解能力|可理解世界知识|弱| |对于真实世界的理解/模拟能力|数字世界模拟|支持|不支持| |对于真实世界的理解/模拟能力|世界互动能力|支持|不支持| |对于真实世界的理解/模拟能力|3D 运动连贯性|强|弱| |对于真实世界的理解/模拟能力|物体一致性|强|弱| |对于真实世界的理解/模拟能力|物体持久性/连续性|强|弱| |对于真实世界的理解/模拟能力|文本理解|强|一般| |对于真实世界的理解/模拟能力|运动控制|其他|提示词提示词+运动控制工具| |基于模拟的视频编辑能力|无缝连接能力|强|弱| |基于模拟的视频编辑能力|视频到视频编辑|支持|部分| |基于模拟的视频编辑能力|扩展生成视频|前/后|后| |外显视频基础属性|视频时长|60 秒|2~4 秒| |外显视频基础属性|原生纵横比|支持|不支持| |外显视频基础属性|清晰度|1080P|最高 4K| 不同工具适合于不同的使用场景和需求，您可以根据自己的具体情况进行选择。

以下是关于文生视频的相关信息： 文字生成视频的 AI 产品有： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：若熟悉 Stable Diffusion，可安装其最新插件，在图片基础上直接生成视频，这是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看： PixVerse V2 使用教程： 单个视频生成（8s）：8s 的视频生成需要花费 30Credits，5s 的视频生成需要花费 15Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。 Sora 的前世今生：从文生图到文生视频，其模型推理策略包括： 1. 文生视频：喂入 DiT 的就是文本 embedding+全噪声 patch。 2. 视频编辑：类似 SDEdit 的做法，在视频上加点噪声（不要搞成全是噪声），然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合：喂入 DiT 的就是文本 embedding（可选）+特定帧用给定图片的 embedding+其他帧用全噪声 patch。

以下是为您推荐的一些文生图站点和工具： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和友好的界面设计受到广泛欢迎，在创意设计人群中尤其流行。 您还可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。 关于文生图写提示词，通常的描述逻辑包括人物及主体特征（服饰、发型发色、五官、表情、动作），场景特征（室内室外、大场景、小细节），环境光照（白天黑夜、特定时段、光、天空），画幅视角（距离、人物比例、观察视角、镜头类型），画质（高画质、高分辨率），画风（插画、二次元、写实）等。对于新手，有以下功能型辅助网站帮助书写提示词： 1. http://www.atoolbox.net/ ：通过选项卡方式快速填写关键词信息。 2. https://ai.dawnmark.cn/ ：每种参数都有缩略图参考，方便直观选择提示词。 3. 还可以去 C 站（https://civitai.com/）抄作业，每一张图都有详细参数，可点击复制数据按钮，粘贴到正向提示词栏，然后点击生成按钮下的第一个按键，不过要注意图像作者使用的大模型和 LORA。 以下是一些用户在工作中使用文生图的情况： |姓名|联系方式|用途| |||| |薄荷|电商应用出图，辅助创意落地| |龙飞|用于海报生成| |wangzhao111|15571666325|不知道| |Crossing|AI 摄影、图生视频等| |朔|13670516075|大图像以及视频工作流| |Roger|18658866328|工作| |秦梧御|15966569697|视频| |dwing3|13702513842|出图| |May|18018539454|应用| |王西西|18820134184|还不清楚| |丘嘉杰|13413477173|文生图，图生图，图生视频| |吴林林|13968945722|自用，给朋友做写真| |刘燕兰|13066870649|电商应用| |朱鹏|18781609127|广告出图| |水水|视频制作| |韩影|17801234978|作图，做视频| |斌哥|18250885849|自媒体| |德方|18600081286|设计、建模、绘图、效果图、视频| |树一|15659268616|自媒体| |任振亮|13513700768|自媒体| |陈锦燊|16698528851|视觉设计、快速出图| |李恒安|18366606265|动漫| |谌峰|13925911177|视频，人物，室内设计|

以下是关于文生视频的相关信息： 文字生成视频的 AI 产品有： 1. Pika：擅长动画制作，支持视频编辑。 2. SVD：若熟悉 Stable Diffusion，可安装其最新插件，在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多的文生视频网站可查看：https://www.waytoagi.com/category/38 （内容由 AI 大模型生成，请仔细甄别） PixVerse V2 使用教程： 单个视频生成（8s）：8s 的视频生成需要花费 30 Credits，5s 的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，支持多风格的视频生成，可在提示词中加入“Anime”“Realistic”等词语。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”“Camera Motion”“Motion Strength”等功能，如需使用上述功能，请将模型切换至“PixVerse V1”。 Sora 的模型推理策略： 官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。比如： 1. 文生视频：喂入 DiT 的是文本 embedding + 全噪声 patch。 2. 视频编辑：类似 SDEdit 的做法，在视频上加点噪声（不要搞成全是噪声），然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合：喂入 DiT 的是文本 embedding（可选）+特定帧用给定图片的 embedding +其他帧用全噪声 patch。

以下是为您推荐的可以生成手绘视频的人工智能： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果您熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，它是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 另外，还有一些相关产品： 1. Argil：AI 生成自己的克隆视频，上传一段视频，等待训练完成输入文字后就会生成与视频人物一致的说话视频，而且支持编辑背景以及多种语言的创建。 2. Magnific AI：正在从一个图像放大工具变成一个图像生成和编辑工具，将会在周一发布图像风格转换器。您可以利用提示词将自己上传的图片变成任何风格。 Runway 的 Gen2 具有以下主要能力： 1. 文生视频（Text 2 Video）、Prompt+图像生成视频（Text + Image to Video），也支持无 Prompt 直接图片转视频（Image to Video）。 2. 9 月的更新中，支持了 1 10 级的 motion slider 调节，默认幅度为 5。 3. 同时支持水平、垂直、空间和旋转的运镜，并且支持调节运动速度。 4. 除了最基础的图像、视频生成能力，还提供 30 多项图片、视频处理能力，包含 Inpainting 视频修复、Motion Tracking 视频主体跟随运动、Remove Any Background 删除视频元素/背景、3D Texture 生成 3D 纹理等。 近期 Runway 控制台上线了 Watch 模块，可以查看官方精选的创意案例。更多的文生视频的网站可以查看这里： 内容由 AI 大模型生成，请仔细甄别。

以下是关于推进生成手绘视频的人工智能的相关内容： 在游戏领域，生成式 AI 为艺术家带来了新的工作模式。艺术家不再需要完成所有工作，可设定初始创意方向，将大部分耗时和技术执行交给 AI。这类似于早期手绘动画中，高技能的“描线者”画出轮廓，低成本的“画家”填充线条。但目前仍处于这场革命的初期，许多实践仍需完善。尽管近期引起了很多关注，但仍在起点，在探索如何将新技术应用于游戏方面还有大量工作，这也为迅速进入该领域的公司创造了巨大机会。 生成式人工智能在改变创意工作方面，迅速引发了许多法律和道德问题。如“Deepfakes”这类由人工智能创建的声称真实实则不然的图像和视频已出现在多个领域，且创建难度降低。OpenAI 尝试通过为图像添加独特符号的“水印”来控制假图像，但未来可能需要更多控制，特别是生成视频创作成为主流时。生成式人工智能还带来了关于原创和专有内容的问题，其创建的内容虽不完全相同于以往，但显然是训练模型所用内容的衍生品。此类系统可能很快成为制作书面或基于图像内容的标准做法，如电子邮件、信件、文章等，这将对内容所有权和知识产权保护产生巨大且不可预见的影响，也可能彻底改变知识和创造性工作。目前我们只是触及了生成式人工智能作用的表面，难以想象其未来可能带来的所有机会和影响。

以下是用 AI 做影视解说视频的步骤： 1. 内容分析：使用 AI 工具（如 ChatGPT）分析影视内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据影视内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将解说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 另外，还有以下相关案例供您参考： 使用 GPT 的视觉功能和 TTS API 处理和讲述视频：首先使用 OpenCV 从包含野牛和狼的自然视频中提取帧，显示帧以确保正确读取，制作提示并向 GPT 发送请求。 保姆级攻略：用 4 个工具做电影大片。如用 GPT 进行内容创作，包括生成视频内容、起响亮的名字、写出分镜需要的画面和生成朋友圈宣传文案。用 Pika Labs 进行文本生成视频，其被评价为全球最好用的文本生成视频 AI，目前内测免费，生成服务托管在 discord 中，需加入其频道，在“generate”区生成，可输入指令或上传本地图片生成视频，对不满意的效果可再次生成优化。

以下是关于 AI 视频的一些信息和报价参考： 对于像奔驰汽车这样的商业级 AI 视频广告，B 端客户看中的话，一条报价通常在 20 30 万。 以下是一些包含 AI 视频的节目单示例及相关需求： 1. 节目“AI 原创歌”：需要原创 AI 音乐和 AI 视频（不限格式），重点需求是音乐版权和 AI 图片生视频或转绘视频。 2. 节目“完整 AI 整活小品”：需要绿幕、小品脚本、口音合适的演员，涉及的技术有 AI 换脸和表情捕捉。 3. 节目“改革春风吹满地 MV”：需要 AI 转绘或图片转视频，以及新版歌词和翻唱。 4. 节目“AIGC 技术短片”：需要 AI 转绘、AI 蒙版抠图，前景是同一个人，背景做相似性处理，涉及的技术有 SD、PR/AE。 5. 节目“AIGC 温情短片”：需要故事脚本，涉及的技术有 Runway、PIKA/Pixverse、MJ v6、剪映/AE。 6. 节目“搞笑图/扩图轮播”：需要 2023 年梗图、梗图二创图片、二创视频和脚本串词。 7. 节目“剪纸/皮影戏/花灯”：需要传统文化串烧脚本、AI 图片诠释、AI 视频空镜和脚本串词。 8. 节目“诗与远方”：需要 AI 的诗、AI 配图和 AI 视频。 9. 节目“AI 动物城”：需要 AI 动物形象和 Runway、pika 文生视频的动物历险记。 10. 节目“AI 红包”：需要 100 个粉丝的公众号和 AI 图片。 11. 节目“游戏回忆录”：需要 AI 图片、AI 视频和倾诉游戏对人生影响的脚本。

以下是一些可以转换视频尺寸的 AI 工具： 1. Topaz Video AI：可通过以下链接获取：https://www.topazlabs.com/topazvideoai 。超级会员 V6 可通过百度网盘分享获取相关文件，链接：https://pan.baidu.com/s/1bL4tGfl2nD6leugFh4jg9Q?pwd=16d1 ，提取码：16d1 ，复制这段内容打开「百度网盘 APP 即可获取」。 2. Kraken.io：主要用于图像压缩，但也提供了免费的图像放大功能，能保证图像的细节清晰度。 3. Deep Art Effects：强大的艺术效果编辑器，通过 AI 技术能够将图像放大并赋予艺术效果，支持多种滤镜和风格。 4. RealESRGAN：https://replicate.com/nightmareai/realesrgan ，这是一个基于 RealESRGAN 的图像超分辨率增强模型，具有可选的人脸修复和可调节的放大倍数，但使用几次后要收费。 5. Stability AI 推出的基于 Discord 的媒体生成和编辑工具：包括搜索和替换（无需蒙版，通过搜索提示识别对象并替换）、创意放大（将低分辨率或低质量图像放大至 4K 分辨率，同时可以附加提示）、外扩（在图像中添加内容以扩展空间）、控制草图（将手绘草图转换为高质量图像）、删除背景（准确分割前景并删除背景）、基于初始图像使用 Stable Video Diffusion 生成短视频等功能。

以下为您介绍一些好用的视频剪辑 AI 工具： 剪映：方便之处在于有很多人性化设计以及简单的音效库和小特效。但无法协同工作和导出工程文件，难以与其他软件进行工程联通，应用于商业化效果有限。剪辑流程包括视频粗剪、定剪、音效/音乐、特效、包装（如字幕）。在声音运用方面，好的声音制作可为影片增色，视频粗剪时可先确定画面逻辑，定剪时再调整和替换画面素材至满意效果。音效方面，剪映的简单音效库可用于制作简单短片，复杂音效可能需另外制作。特效方面，例如可添加一些光影效果。包装方面，剪映可智能匹配字幕再修改。 视频配音效的 AI 工具： Vidnoz AI：支持 23 多种语言的配音，音质高保真，支持文本转语音和语音克隆功能，提供语音参数自定义和背景音乐添加工具，有面向个人和企业的经济实惠的定价方案。 Wavel Studio：支持 30 多种语言的配音，音质自然流畅，能自动去除背景噪音和杂音，提供添加字幕和文本叠加层的工具，界面友好且有多种自定义选项。 Elai.io：支持 65 多种语言的配音，音色和语调真实，能自动将唇形与语音同步，生成字幕提高视频可访问性，支持多位配音者适合复杂对话场景。 Rask AI：支持 130 多种语言的配音，包括稀有和濒危语言，采用先进语音合成技术音质高保真，提供语音参数自定义和音效添加工具，与多种视频编辑平台和工作流程整合。 Notta：提供快速实惠的多语言配音解决方案，保留原声说话风格和细微差别，提供调整语音速度和音调的工具，支持批量处理高效完成多视频配音。 Dubverse：支持 60 多种语言的配音，音质接近真人，提供文本转语音和语音克隆功能，提供语音参数自定义和情感添加工具，与多种视频平台和社交媒体渠道整合。 在选择视频配音工具时，请考虑支持的语言数量、语音质量、自定义选项和价格等因素。

以下是为您提供的相关信息： Hedra：hedra.com 放出了基础模型 Character1 的研究预览版，即日起在 http://hedra.com（桌面和移动）上提供。它可以直接文字转语音，目前有 6 个语音，也可以直接上传音频。 Sovits：关于基于 Sovits 的声音训练及推理，需要准备数据集，百度网盘链接为：https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码：hjhj 。模型的安装比较简单，拷贝就行，详情请看网盘里的说明。提取人声的最佳模型是 mdxnet，提取出来的声音一般还需要用 iZotope RX 等软件精细处理，去掉杂音、和声和混响，达到“干声”效果。iZotope RX 软件链接：https://pan.baidu.com/s/1NXh67SViKm39zT08U7zg?pwd=kmhd 提取码：kmhd 。安装时记得把 vst3 和 aax 勾上，主程序安装完成后，替换补丁是直接复制粘贴，不需要双击运行。安装完成后，打开提取的人声，左下角的控件移动到最左边，让图形更加清爽。去混响可按特定顺序操作，并通过调整数值以耳朵为准感受效果，合适则点击渲染应用到整首歌。

近期大模型的进展主要包括以下方面： 多模态大模型： 现状：随着数据集和模型规模扩大，传统多模态模型计算量大，研究重点在于各模态的连接，利用现成训练好的单模态基础模型可减少训练费用和提升效率。通过多模态预训练和指令微调实现模态对齐及模型输出与人类意图对齐是核心挑战。 发展历程：最初集中在多模态内容理解和文本生成，如 Flamingo、BLIP2 等；同时实现多模态输入和输出工作，如 MMLMM；将 LLM 和外部工具继承进来，实现“anytoany”的多模态理解和生成，如 visualchatgpt 等；还有为减少级联过程中传播误差的工作。 大型视觉模型 Sora：符合视觉模型的规模化定律，展示了新兴能力，包括遵循指令、视觉提示工程和视频理解等，是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的重要里程碑。 OpenAI 的新模型 o1preview/mini：复杂问题思考过程长，相对简单问题也需 5 10 秒，使用条数少，冷却时间长，但推理模型准确率不断攀升，为行业注入了强心剂。

以下是一些可以简化在应用中接入 AI 大模型能力的工具和库： 1. 您可以搭建 ，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型。 2. 搭建 ，这是一个知识库问答系统，您可以将知识文件放入，并接入大模型作为分析知识库的大脑，它也有问答界面。 3. 搭建 ，其中的 cow 插件能进行文件总结、MJ 绘画等。 另外，基于 LangChain 平台提供的 LLM 基础模型，也能完成任意模型接口的封装。LLM（语言逻辑模型）是 LangChain 平台与各种大模型进行交互的核心模型，是一个抽象概念，可理解为处理语言输入和输出的黑盒。其输入是字符串表示的用户请求或问题，输出也是字符串表示的模型回答或结果。LLM 能根据不同输入调用不同大模型完成不同语言任务，具有无需关心大模型细节和复杂性、灵活选择切换大模型、可自行封装实现语言逻辑和功能等优势。 在基础通识课中，还提到了一些相关内容，如流式训练方式提升训练速度和质量，多种 AI 生成工具（如 so no 音频生成工具、能创建个人 AI 智能体的豆包、输入文本可生成播客的 Notebook LN），端侧大模型的特点，AI 工程平台（如 define、coach 等），模型社区（如魔搭社区）等。

大模型的评测标准通常包括以下方面： 1. 多维度、多视角的综合性测评方案： 如中文大模型基准测评 2023 年度报告中，采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集，共 4273 题，包括 1060 道多轮简答题（OPEN）和 3213 道客观选择题（OPT）。 在确定的评估标准指导下，OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分，最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出，且经过人工校验。 OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力，故权重设置较高。 2. 特定的评测体系及开放平台： FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科，共 13948 道题目的中文知识和推理型测试集，并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准，以众包方式提供匿名、随机的对战，并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评： 例如在开发基于 LangChain Chatchat 框架的产品时，基于业务目标和政策咨询场景，对回答的内容生成质量进行测评，主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。

Florence 节点和模型的下载方法如下： 节点下载： 方法一：从节点管理器中安装（注意结尾是 V2.6int4 的那个）。 方法二：在秋叶包中安装（注意结尾是 V2.6int4 的那个）。 方法三：直接下载下面文件解压，复制 ComfyUI_MiniCPMV2_6int4 文件夹到您的“\\ComfyUI\\custom_nodes”目录下。注意 ComfyUI_MiniCPMV2_6int4 文件夹里面直接就是多个文件不能再包文件夹了。 夸克网盘：链接：https://pan.quark.cn/s/bc35e6c7e8a6 百度网盘：链接：https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码：jdei 模型下载： 模型下载地址（解压后大小 5.55G，压缩包大小 4.85G）： 夸克网盘：链接：https://pan.quark.cn/s/98c953d1ec8b 百度网盘：链接：https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码：bred 此外，Joy_caption 相关模型下载： 从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 必须手动下载: https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 ，存放文件夹：models/Joy_caption 。 MiniCPMv2_6 提示生成器 + CogFlorence： https://huggingface.co/pzc163/MiniCPMv2_6promptgenerator https://huggingface.co/thwri/CogFlorence2.2Large TheMisto.ai 的 MistoLine 版相关： 节点： MistoControlNetFluxdev ，在您的 \\ComfyUI\\custom_nodes 文件夹里面右键终端命令行，复制相关代码即可下载，或者通过以下网盘下载： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到您的 ComfyUI\\models\\TheMisto_model 文件夹中，并导入官方工作流 。

以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。

目前国内外 AI 已经实现了众多功能，以下为您列举部分主要功能及在金融行业的应用： 主要功能： 1. 医疗保健：包括医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 2. 金融服务：涵盖风控和反欺诈、信用评估、投资分析、客户服务等。 3. 零售和电子商务：有产品推荐、搜索和个性化、动态定价、聊天机器人等。 4. 制造业：包含预测性维护、质量控制、供应链管理、机器人自动化等。 5. 交通运输：例如自动驾驶等。 在金融行业的应用： 1. 风控和反欺诈：利用 AI 识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：通过 AI 评估借款人的信用风险，辅助金融机构做出更优的贷款决策。 3. 投资分析：借助 AI 分析市场数据，帮助投资者做出更明智的投资决策。 4. 客户服务：使用 AI 提供 24/7 的客户服务，并回答常见问题。 此外，还有一些具体的应用案例，如东方财富网的投资分析工具利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持；金融风险预警软件利用 AI 分析金融市场数据，提前预警可能出现的风险，如股市下跌、汇率波动等。

国内外 AI 已经实现了众多功能，以下为您列举一些主要的应用场景： 1. 医疗保健： 医学影像分析：用于分析医学图像，辅助诊断疾病。 药物研发：加速药物研发过程，识别潜在药物候选物和设计新治疗方法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：识别和阻止欺诈行为，降低金融机构风险。 信用评估：评估借款人信用风险，帮助金融机构做出贷款决策。 投资分析：分析市场数据，辅助投资者做出投资决策。 客户服务：提供 24/7 客户服务，回答常见问题。 3. 零售和电子商务： 产品推荐：分析客户数据，推荐可能感兴趣的产品。 搜索和个性化：改善搜索结果，提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题，解决问题。 4. 制造业： 预测性维护：预测机器故障，避免停机。 质量控制：检测产品缺陷，提高产品质量。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输：暂未在您提供的知识库中找到相关具体应用。 在金融行业，AI 的应用包括： 1. 网易云音乐音乐人平台：利用 AI 技术为音乐创作者提供作品发布、推广、版权管理等服务。 2. 好好住 APP：利用 AI 技术根据用户的家居风格、需求和预算，为用户推荐适合的家居用品。 3. 东方财富网投资分析工具：利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持。 4. 马蜂窝景点评价功能：利用 AI 技术对游客的评价进行分析和整理，为其他游客提供参考。 5. AI 摄影参数调整助手：一些摄影 APP 利用 AI 分析拍摄场景，自动调整相机参数。 6. AI 音乐情感分析平台：分析音乐的情感表达。 7. AI 家居智能照明系统：利用 AI 和物联网技术，根据用户的习惯和环境变化自动调整灯光亮度和颜色。 8. AI 金融风险预警平台：分析金融市场数据，提前预警可能出现的风险。 9. AI 旅游路线优化平台：根据用户的时间、预算、兴趣等因素，利用 AI 优化旅游路线。

国内外 AI 已经实现了众多功能，以下为您列举一些主要的应用场景： 1. 医疗保健： 医学影像分析：用于分析医学图像，辅助诊断疾病。 药物研发：加速药物研发过程，识别潜在药物候选物和设计新治疗方法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：识别和阻止欺诈行为，降低金融机构风险。 信用评估：评估借款人信用风险，帮助金融机构做出贷款决策。 投资分析：分析市场数据，辅助投资者做出投资决策。 客户服务：提供 24/7 客户服务，回答常见问题。 3. 零售和电子商务： 产品推荐：分析客户数据，推荐可能感兴趣的产品。 搜索和个性化：改善搜索结果，提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题，解决问题。 4. 制造业： 预测性维护：预测机器故障，避免停机。 质量控制：检测产品缺陷，提高产品质量。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输：暂未在您提供的知识库内容中提及。 在金融行业，AI 的应用包括： 网易云音乐音乐人平台：利用 AI 技术为音乐创作者提供作品发布、推广、版权管理等服务。 好好住 APP：利用 AI 技术根据用户的家居风格、需求和预算，为用户推荐适合的家居用品。 东方财富网投资分析工具：利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持。 小米智能照明系统：利用 AI 和物联网技术，根据用户的习惯和环境变化自动调整灯光亮度和颜色。 金融风险预警软件：利用 AI 分析金融市场数据，提前预警可能出现的风险，如股市下跌、汇率波动等。

目前国内外 AI 已经实现了众多功能，以下为您列举部分领域的应用： 1. 医疗保健： 医学影像分析：用于分析医学图像，辅助诊断疾病。 药物研发：加速药物研发过程，识别潜在药物候选物和设计新治疗方法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：识别和阻止欺诈行为，降低金融机构风险。 信用评估：评估借款人信用风险，帮助做出贷款决策。 投资分析：分析市场数据，辅助投资者做出明智投资决策。 客户服务：提供 24/7 客户服务，回答常见问题。 3. 零售和电子商务： 产品推荐：分析客户数据，推荐可能感兴趣的产品。 搜索和个性化：改善搜索结果，提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题并解决问题。 4. 制造业： 预测性维护：预测机器故障，避免停机。 质量控制：检测产品缺陷，提高产品质量。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输：暂未在您提供的知识库内容中提及。 在金融行业的具体应用包括： 1. 网易云音乐音乐人平台：利用 AI 技术为音乐创作者提供作品发布、推广、版权管理等服务。 2. 好好住 APP：利用 AI 技术根据用户的家居风格、需求和预算，推荐家居用品。 3. 东方财富网投资分析工具：利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持。 4. 马蜂窝景点评价功能：利用 AI 技术对游客的评价进行分析和整理，为其他游客提供参考。 5. AI 摄影参数调整助手：一些摄影 APP 利用 AI 分析拍摄场景，自动调整相机参数。 6. AI 音乐情感分析平台：利用 AI 分析音乐的旋律、节奏、歌词等，判断音乐的情感倾向。 7. AI 家居智能照明系统：如小米智能照明系统利用 AI 和物联网技术，根据用户习惯和环境变化自动调整灯光亮度和颜色。 8. AI 金融风险预警平台：利用 AI 分析金融市场数据，提前预警可能出现的风险。 9. AI 旅游路线优化平台：马蜂窝根据用户的时间、预算、兴趣等因素，利用 AI 优化旅游路线。

AI 在科研领域中的应用广泛，特别是在医疗健康方面： 抗癌方面：AI 能够提前诊断胰腺癌，如相关研究表明其有可能提前三年做出诊断。 抗衰老方面：通过筛查大量化合物，发现高效的药物候选物，其药理学性质优于已知的抗衰老物质。 早期疾病防治方面：例如在帕金森病的研究中，利用神经网络分析患者体液中的生物标志物，可在症状出现前几年发现疾病。 发现新靶基因：两名高中生与医疗技术公司合作，借助 AI 发现了与胶质母细胞瘤相关的三个新靶基因。 寻找治疗方法：如亚利桑那大学与哈佛大学共同利用人工智能对健康神经元在疾病进展过程中的分子变化进行研究，以识别阿尔茨海默病的原因和潜在药物靶点。 国内外情况对比： 在医疗 AI 领域，中美存在较大差异。美国医疗支出占 GDP 比重约 17%，中国约 7%。美国医生独立行医，有独立决策权，议价能力和意愿较强；中国政府和医院集采议价能力强，采购流程复杂。此外，由于存在“灰色收入”“医患不信任”“考核评比”等问题，中国医院、医生对于可能记录、审查自己言行的应用普遍持抵触态度。在中国的落地场景中，“AI 协助医生”不如“AI 独立诊断”，机械套用美国的 AI 医疗应用模式在中国基本行不通。

以下是一些国内外好用的图生视频模型： 可灵（国内，免费） 网址：https://klingai.kuaishou.com/ 支持文生视频、图生视频。 支持图生视频首尾帧功能。 提示词可使用中文。 文生视频支持正向提示词、反向提示词、运镜控制、时长选择（5s、10s），支持 16:9、9:16、1:1 尺寸。 图生视频除了不可运镜控制以外，其他跟文生视频基本相同。 默认生成 5s 的视频。 ETNA（国内） 网址：https://etna.7volcanoes.com/ 由七火山科技开发的文生视频 AI 模型。 可以根据用户简短的文本描述生成相应的视频内容。 生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。 文生视频，支持中文，时空理解。 关于可灵的文生视频效果，测试者 Austin 周安鑫进行了以下测试： 1. 场景识别：包括室内和室外，如客厅的沙发、液晶电视、漂亮的波斯猫、超现实主义的蜿蜒河流、茂密森林、灿烂花海、碧绿草坪等。 2. 物体识别：涵盖静态和动态物体，如水晶球、跳动的火焰、翱翔的飞鸟、闪烁的流星、飞溅的水珠等。 3. 人物识别：包括面部和姿态，如一个人笑容灿烂、一个人惊恐愤怒，一位芭蕾舞女孩在冰面上跳舞等。 4. 动作识别：包含基本和复杂动作，如短跑运动员快速奔跑、赛车手驾驶跑车激烈漂移等。 5. 事件检测：有简单和复杂事件，如一位帅哥在喝水、外星文明和地球进行星际大战等。 6. 环境变化：涉及光线和天气，如奇幻的极光舞动变幻、城市写字楼灯光忽明忽暗、闪电交加、乌云密布、台风、大雨等。 7. 多对象场景：包括单一和多对象场景，如 1 个飞行员驾驶战斗机翱翔太空、海军指挥航母战斗群展开激烈战斗等。 8. 特殊场景：有遮挡和非标准场景，如城市大雾遮挡摩天大楼、一边是神秘海底世界，一边是梦幻糖果屋。 9. 细节检测：包含小物体和微表情，如崭新的苹果电脑屏幕上播放电影、瞳孔收缩、脸颊泛红、嘴唇微微颤抖。