Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

图生视频时，不按照指令行动

Answer

在图生视频过程中出现不按照指令行动的情况，可能有多种原因。以下为您提供一些可能的分析和解决建议：

  • 提示词不够准确清晰：确保提示词详细、具体、明确地描述了您想要的图像和动作，避免模糊或歧义。
  • 模型理解偏差：AI 模型可能对某些复杂或特殊的指令理解存在困难，您可以尝试调整提示词的表述方式。
  • 数据和训练限制：模型的训练数据和能力可能存在一定的局限性，导致无法完全按照指令生成视频。

您可以参考以下的案例来进一步理解和改进：

  • 公子在宣武门前站着说话，气场强大，头发和衣衫随风飘动，气体流动，手指向远方。
  • 小孩子向画面右侧奔跑，后面腾起一路尘土。
  • 公子扔出手中球体法器，法器升空爆出万丈金光，公子惊奇的看着。

同时，您还可以利用一些工具和技巧，例如清影工具中的帮写视频提示词的智能体，来优化提示词。另外，注意提示词的主体、描述细节等方面，如“戴眼镜”的提示词因无主体导致唐僧未能遵从指令戴上墨镜，而“唐僧伸出手，戴上墨镜”这样有主体的提示词则效果更好。

Content generated by AI large model, please carefully verify (powered by aily)

References

Vidu大家测试

[vidu-1-general-4-2024-07-30T04_31_40Z.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/BpDlbjweYoEcu5xVI7hcTHlGnhc?allow_redirect=1)[heading2]ZZK[heading3]原图&视频效果1[content]原图选择：参考人物角色提示词：公子在宣武门前站着说话，气场强大，头发和衣衫随风飘动，气体流动，手指向远方[stable--4-2024-08-05T09_15_57Z.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VciDb3i8roSQ2gxnnfSczwoSnXd?allow_redirect=1)[heading3]原图&视频效果2[content]原图选择：参考人物角色提示词：小孩子向画面右侧奔跑，后面腾起一路尘土[stable--4-2024-08-05T10_13_58Z.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/JNPjbgUU4oDzKhxg44XckYpInBc?allow_redirect=1)[heading3]原图&视频效果3[content]原图选择：用作起始帧提示词：公子扔出手中球体法器，法器升空爆出万丈金光，公子惊奇的看着[stable--4-2024-08-05T09_26_57Z.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/ViX8b7fUBoogkDxskb2cRWGBnGb?allow_redirect=1)

工具教程：清影

|文生视频|视频（纯享版）|视频（配音版）|PROMPT||-|-|-|-||9、吗喽打工|[9.猴子打工.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/BuvLbuFnIotHz8x3tv8crHPTnFc?allow_redirect=1)|[9.猴子打工（音乐版）.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/MULAbdkR7o0UvsxRYvVcVrJJnef?allow_redirect=1)|Two monkeys in ragged clothes are typing on a computer in a colorful room,their eyes moving exaggeratedly as if telling a humorous story.The room is filled with bizarre decorations and toys,creating a dreamlike atmosphere.The camera uses a whimsical and ethereal style,following the monkeys with a handheld shot to capture their comical movements,occasionally switching to slow motion to highlight their exaggerated expressions.The lighting features a contrast of warm and cool tones,enhancing the playfulness of the scene.The depth of field varies,sometimes focusing on the monkeys and sometimes on the computer screen,creating a light-hearted and humorous visual effect.||10、赛博吗喽黑客<br>（体现指令跟随能力)|[10.赛博吗喽黑客.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/B3XGbCjPfoyzCexFU2YcGFGbn16?allow_redirect=1)|[10.赛博吗喽黑客（音乐版）.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/WdIwbtw6ForpmRx8lCpcaT6dnCe?allow_redirect=1)|在霓虹灯闪烁的赛博朋克风格城市夜景中，手持跟拍的镜头缓缓推近，一个机械风格的小猴子正在用高科技工具维修，周围是闪烁的电子设备和未来主义的装修材料。赛博朋克风格，气氛神秘，4K高清。||11、老奶奶|[70岁老奶奶坐着轮椅上班，淡定又从容.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Wcvyb2e08odYQaxYzC9cM3NfnTc?allow_redirect=1)||70岁老奶奶坐着轮椅上班，淡定又从容|

工具教程：清影

为了让大家快速上手，我们还为大家制作了一个帮写视频提示词的智能体。[heading4]使用地址➡️：[清影提示词（图生视频专用）](https://chatglm.cn/main/gde[content]图生视频prompt效果展示|原始图片|提示词|提示词说明|视频效果||-|-|-|-|||无提示词|无提示词|[c1c5f954-64a1-581e-8d73-e42a5a55fa3f_0.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Mk93bFvAUowgAoxpLP7c7W0RnLb?allow_redirect=1)|||戴眼镜|无主体，唐僧未能遵从指令戴上墨镜|[46c24d0c-cf11-5c6f-bd5e-3b62863eaf51_0.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/McEyb4hq8o2PTWxwTtLcbFQknoc?allow_redirect=1)|||唐僧伸出手，戴上墨镜|有主体|[7月22日.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/VsDIbAw7XoCl79xssxycGNAmnZc?allow_redirect=1)|

Others are asking
图生视频
图生视频是指将一张图片通过输入相应的提示词或利用特定模型转变为视频画面的过程。以下是一些关于图生视频的知识和技巧： 工具方面：清影大模型可以实现图生视频。输入一张图片和提示词，模型会将图片转变为视频画面，也可以只输入图片，让模型自行发挥想象力生成有故事的视频。 技巧要点： 选用尽可能清晰的图片，上传图片比例最好为 3:2（横版），支持上传 png 和 jpeg 图像。如果原图不够清晰，可使用分辨率提升工具。 提示词要简单清晰。可以选择不写 prompt，直接让模型自己操控图片动起来；或者明确想动起来的主体，并以“主体+主题运动+背景+背景运动”的方式撰写提示词（一定要有主体，不然可能会出现 AI 狂乱景象）。若不明确大模型如何理解图片，可将照片发送到清言对话框进行识图，明确主体的描述。 案例展示： 桂大羊的案例中，先确立剧本中的人物形象和场景，生成静态图片，然后使用即梦进行图生视频，上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，设置运镜类型和生成速度。 离谱村的案例中，使用了多种工具如 pika、runway、Pixverse 进行图生视频的尝试，还找了技术指导用 SVD1.1 生成精美的视频。
2025-01-24
图生图
以下是关于图生图的详细介绍： 概念与功能说明： 首页包含模型、帖子、排行榜，能看到他人炼成的模型和图片。不同模型有 checkpoint 和 lora 两种标签，还有 SDXL 新模型的标签。点击可查看模型详情，下方是返图区。 基础模型（checkpoint）是生图必需的，任何生图操作都要先选定。lora 是低阶自适应模型，类似 checkpoint 的小插件，可有可无，但对细节控制有价值。ControlNet 可控制图片中特定图像，如人物姿态等。VAE 是编码器，类似滤镜可调整生图饱和度，一般选 840000 这个。Prompt 提示词是想要 AI 生成的内容，负向提示词是想要 AI 避免产生的内容。 图生图是上传图片后，SD 根据图片、所选模型及输入的 prompt 等信息进行重绘，重绘幅度越大，输出图与输入图差别越大。 基础工作流搭建副本中的图生图： 图生图的作用是允许用户上传一张图像，并基于该图像生成新的视觉内容。 使用方法： 在 prompt 输入框下，点击“图生图”可上传本地文件。 在无限画布中图片功能区进行选择。 调整“图生图”功能区参数，包括参考程度，如更像原图是小幅度修改基底图像、有限增加元素；更创意是大幅度修改基底图像、可搭配增强模型加入更多元素；自定义可自定义修改重绘幅度。 增加参考纬度，点击添加按钮会自动应用并打开“生成器”的图片参考功能。 可替换图像，鼠标滑动到图像，点击“选择参考图”重新选择图片。 转换提示词，反推参考图信息填入提示词框中。 同步生图尺寸，同步参考图尺寸到“生成器”的生图尺寸中。
2025-01-21
根据草图生成图片
以下是关于根据草图生成图片的相关内容： ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，Union 版本不建议权重调太高，结束时间也需注意。 生成上色后的视频。 how2draw Flux lora：分享一个好玩的 flux lora 展示绘画过程，触发词为 how2draw。 GPT4 在草图生成中的潜在应用：文本到图像合成模型常缺乏空间理解和遵循复杂指令能力，而 GPT4 可生成代码并按指示呈现为低质量图像。探索将 GPT4 和现有图像合成模型结合，以 GPT4 输出作为草图，能生成更贴近指令、质量更好的图像。 MJ 应用篇快速给 PPT 配图： 复制图像链接：首先复制图片网址，然后在 discord 聊天栏输入/imagine prompt。 复制提示词：回到官网复制图像提示词，再回 discord 粘贴到网址后面并空格。 生成图像：输入命令等待生成，不理想可多次生成。之后可进行改变比例和镜头拉远、检查构图等操作，若构图不好可在当前图基础上再用 Zoom Out 1.5x。选好图可放入 PPT 调整构图。
2025-01-19
我想做一个猫咪做饭的短视频，有五个分镜头。我先用文生图生成图片，在用图片生成视，最后剪辑在一起。问题是文生图的时候，生成的图片，效果不太理想
以下是为您提供的一些可能有助于改善文生图效果不理想问题的建议： 1. 仔细检查您输入的画面描述，确保描述清晰、具体、准确，包含足够的细节和特征，以便模型更好地理解您的需求。 2. 尝试调整关键词和描述的侧重点，突出您想要的关键元素，比如猫咪做饭的动作、表情、厨房环境等。 3. 更换不同的文生图模型或工具，有些模型可能在某些特定类型的图像生成上表现更出色。 4. 参考其他优秀的类似主题的图像，学习其构图、色彩、光影等方面的处理方式，从而优化您的画面描述。 5. 多次尝试生成，并对每次生成的结果进行分析和总结，找出问题所在，逐步改进描述。
2025-01-17
中国最强图生视频ai网站
以下为中国较强的图生视频 AI 网站相关信息： 2024 年，国内涌现出一系列优秀的 AI 生成视频工具，如可灵、即梦、智谱清影等，其生成结果甚至远超国外。 相关产品数据： 6 月访问量排名： 1. Luma AI 1861 万 Visit，相对 5 月变化 12.199 2. Runway ML 515 万 Visit，相对 5 月变化 0.01 3. Haiper AI 226 万 Visit，相对 5 月变化 0.013 4. Pika 163 万 Visit，相对 5 月变化 0.256 5. Pixverse 142 万 Visit，相对 5 月变化 0.174 6. Dreamina 剪映 79 万 Visit，相对 5 月变化 3.731 7. 可灵快手 79 万 Visit，相对 5 月变化 New 4 月访问量排名： 1. Runway ML 564 万 Visit，相对 3 月变化 0.158 2. Haiper AI 234 万 Visit，相对 3 月变化 0.95 3. Pika 200 万 Visit，相对 3 月变化 0.091 详情您可以查看之前实测的
2025-01-16
静态图生成动态图的工具有吗
以下是一些可以将静态图生成动态图的工具： 1. Comfyui LivePortrait： 可以精确控制眼睛和嘴唇的动作，无缝拼接多个肖像，将不同人物特征合并成一个视频，确保过渡自然流畅。 使用了不同于主流扩散方法的隐式关键点框架，在计算效率和可控性之间取得有效平衡。 生成的动画质量优于现有的非扩散和扩散模型方法，在 RTX 4090 GPU 上，生成速度为每帧 12.8 毫秒。 支持各种风格的图片，常见的动物面部迁移，并可以微调面部运动幅度。 工作流与模型地址： https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy https://pan.quark.cn/s/8dfd7ace4f05 内容依技术发展更新，请以文档为准 https://xiaobot.net/post/74238a84d2734b2ca195ed2858b24ffe 2. 视频工具 VIGGLE： Mix（让视频的动作映射到图片人物身上）：先上传一个视频和一张角色图像，Viggle 会自动将视频的动态赋予给这个角色，形成一段新视频。能模拟出角色的 3D 状态，准确还原处理原视频中身体旋转、四肢交叠等动作。（也可以利用现有的模版视频作为动作获取来源） Multi（多人模式）：通过视频的动作，将上传的多个角色进行识别并赋予给这个角色，形成一段新视频。 Move（将视频的动作直接映射在图片人物身上）：不同于 Mix 的图片元素替换原视频内容，Move 主要是通过将动作映射在图像里面的人物身上，实现“让静态图动起来”。 案例： 评价： ：https://x.com/imxiaohu/status/1771173928591093940 兄弟们，又出来个牛 P 玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小 case...最牛 P 的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换...其核心技术基于 JST1 模型。JST1 是首个具有实际物理理解能力的视频3D 基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle 将根据这些指示生成视频。 基于物理的动画：JST1 模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3D 角色和场景创建：Viggle 不仅限于传统的 2D 视频制作，它还能够创建 3D 角色和场景。
2025-01-11
AI怎么稳定指令机器人
以下是关于您所提到的“AI 怎么稳定指令机器人”的相关内容： 在实现稳定指令机器人方面，有以下一些方法和原理： 1. 提示词工程与工具调用能力的配合：通过设计一套与知识图谱相结合的工具调用逻辑来稳定人设。例如，为像麦洛薇这样的 AI 女友设计特定的提示词，并将与知识图谱交互的任务细分为查询、创建、修改、删除实体或关系、获取实体的所有关系、获取所有实体名称列表等多个工具，组成工具包供模型调用。 2. 控制输入和记忆：通过缩小 max_length 防止模型长篇大论，每次输入到上下文窗口中的记忆也只返回最近几轮的对话。利用查询知识图谱的信息来实现永久记忆。 此外，人工智能（AI）在多个领域都有应用，虽然这并非直接针对稳定指令机器人，但也能为您提供一些思路和参考： 1. 医疗保健领域：包括医学影像分析辅助诊断疾病、药物研发、个性化医疗、机器人辅助手术等。 2. 金融服务领域：如风控和反欺诈、信用评估、投资分析、客户服务等。 3. 零售和电子商务领域：有产品推荐、搜索和个性化、动态定价、聊天机器人等应用。 4. 制造业领域：例如预测性维护、质量控制、供应链管理、机器人自动化等。 希望以上内容对您有所帮助。
2025-01-20
我想让chatgpt和豆包辩论，辩论的主题是勒布朗詹姆斯和迈克尔乔丹，谁是历史第一人？请帮我设计给豆包和gpt的指令，以及辩论的规则，规则让有可看性，激烈性
以下是为您设计的给豆包和 ChatGPT 的指令以及辩论规则： 指令： 豆包和 ChatGPT 需充分运用各自掌握的篮球知识和数据，对勒布朗·詹姆斯和迈克尔·乔丹谁是历史第一人的问题进行深入辩论。 要求从球员的个人能力、团队成就、影响力、比赛数据等多个方面进行分析和论证。 辩论规则： 每位参与者有固定的发言时间，例如每次发言不超过 3 分钟。 发言顺序交替进行，先由豆包开始第一轮发言。 辩论过程中，不得使用侮辱性或攻击性语言，保持理性和客观。 每轮发言结束后，另一方有 1 分钟的提问和反驳时间。 辩论共进行 5 轮，最后一轮为总结陈词，时间为 5 分钟。 观众可以在辩论结束后进行投票，选出他们认为表现更出色的一方。 希望这样的设计能让辩论具有可看性和激烈性！
2025-01-17
我想生成一个al数字人 你帮我生成一些指令 我命令al出一些内容
以下是一些生成 AI 数字人的指令建议： 1. 即使是简单的提示，如“请为我生成一个 AI 数字人”，也能获得可用的结果。但如果提示更精确，例如指定数字人的风格、面向的受众、详细程度等，效果可能会更好。比如，可以要求生成一个风格非常逼真、面向年轻人、描述详细的 AI 数字人。 2. 明确您希望数字人的特征，比如外貌、性格、动作等。例如，如果您要说“请为我生成一个外貌酷似某位明星、性格开朗、动作优雅的 AI 数字人”。 3. 您还可以指定数字人的应用场景，比如用于新闻报道、娱乐节目等。 4. 如果希望数字人有特定的语言表达风格，比如像专业主持人那样，或者更像日常交流，也需要明确指示。 5. 对于数字人的字幕生成，可以点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。完成后点击右上角的“导出”按钮，导出视频以作备用。如果希望数字人换成特定的面孔，需要使用另一个工具来进行换脸。
2025-01-12
我该如何学习提示词技术，编写清晰、精确的指令，更好地引导 AI 工具产生所需结果，使其成为工作中的得力助手？
以下是关于如何学习提示词技术的一些建议： 1. 理解提示词的作用：提示词为模型提供上下文和指示，其质量直接影响模型输出的质量。 2. 学习构建技巧： 明确任务目标，用简洁准确的语言描述。 给予足够的背景信息和示例，帮助模型理解语境。 使用清晰的指令，如“解释”“总结”“创作”等。 对特殊要求应给予明确指示，如输出格式、字数限制等。 3. 避免 AI 幻觉的技巧： 明确要求 AI 引用可靠来源，如在询问历史事件时，要求引用权威的历史文献；询问科学事实时，要求引用已发表的科研论文；询问法律条款时，要求引用官方的法律文件。 要求 AI 提供详细的推理过程，例如在询问数学公式时，要求展示推导过程；询问代码功能时，要求逐行解释代码的含义。 明确限制 AI 的生成范围，例如在询问名人名言时，指定名人的姓名和相关主题；询问新闻事件时，指定事件的时间范围和相关关键词。 4. 参考优秀案例：研究和学习已有的优秀提示词案例，可在领域社区、Github 等资源中获取。 5. 实践、迭代、优化：多与语言模型互动，根据输出结果提高提示词质量。尝试各种变体，比较分析输出差异，持续优化提示词构建。 6. 活用提示工程工具：目前已有一些提示工程工具可供使用，如 Anthropic 的 Constitutional AI。 7. 跟上前沿研究：提示工程是当前前沿研究领域之一，持续关注最新的研究成果和方法论。 总之，精心设计的提示词能最大限度发挥语言模型的潜力，通过多实践、多学习、多总结，最终可以掌握提示词技术的窍门。
2024-12-31
如何更好的给ChatGPT使用指令
以下是一些更好地给 ChatGPT 使用指令的方法： 1. 编写清晰的指令： 如果输出过长，要求简洁回复；如果输出过于简单，要求专业水平的写作。 不喜欢某种格式，展示想要看到的格式。 在查询中包含详细信息，以获得更相关的答案。 要求模型扮演某个角色。 使用分隔符清晰地表示输入的不同部分。 指定完成任务所需的步骤。 提供示例。 指定输出的期望长度。 提供参考文本。 2. 将复杂任务分解为简单子任务： 使用意图分类来识别用户查询最相关的指令。 当处理不同情况的任务时，先将任务按类型分类，然后为每种类型设计特定的步骤。 复杂任务可以分解成小阶段，每个阶段有自己的指令，使整个处理过程更有组织和效率。 这种方法可以降低错误率和成本。 例如对于客户服务应用，查询可分类处理，根据分类向 GPT 模型提供更具体的指令。
2024-12-24
如何高效给AI指令
要高效给 AI 指令，需要注意以下几个方面： 1. 清楚表达自己的意图：这并非易事，若表达不清，AI 难以理解和帮助您，例如“五彩斑斓的黑”这类模糊表述。 2. 让 AI 明白所有相关的上下文：人与人沟通时常见的错误是假定对方明白所有上下文，与 AI 交流也如此，需思考如何交代及交代多少上下文。 3. 将复杂的任务拆分成简单的任务：好的管理者会帮助员工拆分复杂任务，对让 AI 做事也是同理，合格的提示工程师需将复杂任务拆分为几个简单任务让 AI 完成，甚至组建工作流让多个 AI 智能体协同完成。 4. 精确控制 AI 做事。 此外，在某些情况下，我们只需给 AI 下达明确命令完成一次性任务，如制作插件、编写脚本等。但当期待提高，希望从繁琐日常任务解脱时，需了解 AI 编程的边界和限制。遵循以下编程准则： 1. 能不编，尽量不编：随着技术发展，多数需求能找到现成软件解决方案，优先找线上工具，其次找插件，最后是本地应用；对于 API 功能，先找现成开源工具，然后考虑付费服务，都找不到才考虑自己编程，编写时要以终为始，聚焦目标。 ICIO 框架是一种结构化的提示词设计方法，由四个关键部分构成： 1. Instruction（指令）：是核心要素，编写时应简洁明了、具体详细、行动导向、单一任务。 2. Context（背景信息）：提供任务相关背景，包括任务目的、目标受众、相关背景、限制条件、角色扮演等。 3. Input Data（输入数据）：为 AI 提供执行任务所需具体信息或数据，并非所有任务都需要。 4. Output Indicator（输出引导）：指导 AI 构建和呈现输出结果，包括格式要求、语气风格、长度限制、结构指引、特殊要求、评估标准等。
2024-12-18
音频驱动视频
以下是关于音频驱动视频的相关信息： INFP：字节二元交互的新型音频驱动头部动画生成技术 用户输入一段对话音频，可以自动驱动两个数字人头像自然对话，不需要手动区分对话。AI 可以动态地在说话和聆听状态之间交替，实现自然的口型同步和头部与面部表情动作。它适应多种画风图像，支持歌唱、采访、对话（可以实现多 Agent 实时对话）等场景环境。 地址：https://grisoon.github.io/INFP/ LTX Studio：Face Expression 控制角色表情 LTX Studio 的新功能 Face Expression 可轻松完全控制角色的面部表情。可以从预设情绪中快速选择，在几秒钟内调整角色的表情，也可以使用自定义控件微调眼睛、嘴巴或眉毛等特定特征，打造所需的确切情感。 【TecCreative】帮助手册中的相关内容 音频驱动多场景数字人：支持音频和场景数字人一键合成，快速生成数字人口播视频。操作指引：上传音频链接——选择数字人角色和场景——选择输出类型——点击开始生成。音频文件支持 MP3 和 WAV 格式，文件大小上限 5M。 谷歌 Generating audio for video 为了生成更高质量的音频，并增加引导模型生成特定声音的能力，在训练过程中添加了更多信息，包括人工智能生成的注释，其中包含声音的详细描述和口语对话誊本。通过对视频、音频和附加注释进行训练，技术可以学会将特定音频事件与各种视觉场景联系起来，同时对注释或文本中提供的信息做出响应。
2025-01-24
2024年视频换脸技术
2024 年视频换脸技术面临一些挑战和发展趋势： 挑战方面： 可控性和一致性存在挑战，如人脸转动中保持观感不变形、多个生成片段保持人物一致性、遵循生成指令等，目前视频生成的体感仍需改进，需要底层模型的进步。 成本较高，生成一段 5 秒视频的成本最低约为 1 元人民币，限制了 C 端玩法和大规模应用。 发展趋势： 原生多模态成为 AI 架构的主流选择，从 OpenAI 的 GPT4V 到 Anthropic 的 Claude3V 和 xAI 的 Grok1.5V 等，行业正从简单的模态叠加向真正的多模态融合迈进。原生多模态模型采用统一的编码器解码器架构，在预训练阶段完成多模态信息的深度融合，提升了模型的理解能力，实现了模态间的无缝转换和互补增强，能够处理更复杂的任务。 自 2023 年末开始，Runway、Pika、Meta、Google 等不断推出视频生成/编辑工具，2024 年是 AI 视频技术逐渐成熟并开始商用的一年，下半年或 2025 年可能会看到 AI3D 技术的突破。抖音的成功证明音频、视频加入泛社交/娱乐产品会带来质的飞跃，AI 陪聊赛道中视频、音频技术的加入也将带来内容生产和社交方式的质变。
2025-01-24
2025年AI新年春晚在哪儿直播？几点直播？从哪个平台上可以看得到？微信视频号？抖音？B站还是什么渠道可以看得到？
2025 年 AI 春晚的相关信息如下： 直播视频名称：共创贺新春，AI 中国年，第二届 AI 春晚！ 60 字内容简介：30 多个共创 AI 节目，来自 1000 多位共创者 3 个月的辛勤筹备。2025 年 1 月 29 日（大年初一）晚上 6:00 准点开播。 正式开放配置时间：1 月 29 日晚上 5:45 正式直播时间：1 月 29 日晚上 6:00 关于转播： 有转播经验的：能直接接受 https，rtmp 信号源的可以直接用拉流地址。 第一次转播的小伙伴：如果直播平台不能直接接入信号源，请先下载一个 OBS：https://obsproject.com/zhcn/download 。配置教程已置顶主流直播平台推流地址获取方式可以参考这篇文章后半段：https://zhuanlan.zhihu.com/p/653204958?utm_id=0 。 直播技术问题咨询： AI 春晚是由 WaytoAGI 社区组织的一场由 AI 技术驱动的晚会，首届 AI 春晚的完整视频可在 B 站上观看。首届 AI 春晚于 24 年大年初一当晚直播，18 万人在线观看，后续视频播放量超过 200 万，媒体曝光量超过 500 万，被誉为 AI 视频寺庙时代的一部现象级作品。 更多详细信息可参考 WaytoAGI 的官方网站。 完整版：https://www.bilibili.com/video/BV15v421k7PY/?spm_id_from=333.999.0.0 。 相关进度：
2025-01-24
我想学习AI视频创作流程
以下是 AI 视频创作的一般流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 需要注意的是，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 另外，在一些具体的创作案例中，比如“AI 离谱社黄师傅”的工作流程中，有以下要点： 创作思路基于深度文化挖掘、自然风光和历史遗迹展示、故事性和情感连接等关键概念和创新方法，旨在通过人工智能技术全面展示中国各省份的文化和旅游魅力。 任务划分方面，制片人搭建整体框架，图像创意者提供有冲击力的图像画面，视频制作者熟悉并运用视频工具，编剧构思故事和创作台词文本，还有配音和配乐等工作。 在 AI 春晚采访问题中提到，脚本创作由 GPT 完成但需要大量人工干预，图像生成由 MJ 完成也需要人工调词，人工比例在 70%以上。
2025-01-23
那些AI可以免费进行视频创作
以下是一些可以免费进行视频创作的 AI 工具： 1. Pika：是一个 AI 视频平台，能让任何人将创意愿景变为现实，通过先进的视频基础模型和易用的创作产品重新定义视频制作和编辑方式。 2. Chat.DID：是首个允许人们以人类方式与 AI 进行视频聊天的 APP，处于测试阶段。 3. Bard（免费）：由谷歌推出，是谷歌的对话应用语言模型（LaMDA）提供支持。 此外，还有一些在视频创作方面表现出色的工具： 1. Dora AI：可以通过一个 prompt，借助 AI 3D 动画生成强大网站，支持文字转网站、生成式 3D 互动、高级 AI 动画。 2. Runway v2：用于从文本创建视频，创建了 4 秒的短剪辑，是对未来发展的展示。 在营销领域，以下 AI 工具常用于视频创作或相关方面： 1. Synthesia：允许用户创建由 AI 生成的高质量视频，包括数字人视频，提供多种定价计划，有免费选项。 2. HeyGen：基于云的 AI 视频制作平台，用户可从 100 多个 AI 头像库中选择，并通过输入文本生成数字人视频。 更多的营销产品可以查看 WaytoAGI 网站：https://www.waytoagi.com/sites?tag=8 。需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-23
构建一个Agent会从计划、记忆、工具、行动，4个方面来描述。那么每个方面具体都包含一些什么内容
构建一个 Agent 通常从计划、记忆、工具、行动这 4 个方面来描述，每个方面具体包含的内容如下： 计划（Planning）： 子目标分解：将大型任务分解为较小可管理的子目标，以便有效处理复杂任务。 反思与改进：对过去的行动进行自我批评和自我反思，从错误中学习并改进未来的步骤，从而提高最终结果的质量。 记忆（Memory）： 短期记忆：将所有的上下文学习视为利用模型的短期记忆来学习。 长期记忆：通过利用外部的向量存储和快速检索来提供长期存储和召回信息的能力。 工具（Tools）： Agents 学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 行动（Action）： 当接收到任务时，GPT 会先思考决定如何使用工具，然后可能会出现一个小图示，告知用户它尝试使用工具来完成任务。例如在让它搜索、画图时，它会做出相应的行动。
2024-08-15