Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

用coze分解短视频分镜

Answer

以下是关于用 Coze 分解短视频分镜的详细内容：

一、Coze 智能体创建

  1. “开始”节点

    • 共有 4 个输入变量，分别为：
      • idea_txt：主题观点
      • left_to_txt：画面左上角的文字
      • right_to_txt：画面右上角的文字
      • img_prmpot：画面中间图片生成提示词
    • 注意：这 4 个变量名称要和智能体中提示词的变量对应一致，方便接收用户传入的参数。

  2. “大模型”节点

    • 使用目前大家公认的 DeepSeek R1 模型。
    • 提示词要求不复杂，只要说出需求即可，格式可用大白话说出来。

  3. “文本”节点

    • 为了将文案分句，每一句要生图、配音。
    • 选择按“句号”分句，具体可根据文案格式选择不同方式。

  4. “图像生成”节点

    • 使用官方插件，模型选“LOGO 设计”。
    • 若要生成全景图，此插件效果欠佳，建议选其它插件。

  5. “抠图节点”

    • 将上个节点生成的图片进行抠图。

二、概述

基于其他博主开源的视频生成工作流，做了一些功能优化，实现视频全自动创建。感谢开源的力量，现写一篇教程供大家参考。

三、先看效果

2 月 18 日.mp4

四、功能

通过表单输入主题观点，提交后自动创建文案短视频，创建完成后推送视频链接到飞书消息。

五、涉及工具

  1. Coze 平台（工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成）
  2. 飞书（消息）
  3. 飞书多维表格（字段捷径、自动化流程）

六、大体路径

  1. 通过 Coze 创建智能体，创建工作流，使用 DeepSeek R1 根据用户观点创建文案，再创建视频。
  2. 发布 Coze 智能体到飞书多维表格。
  3. 在多维表格中使用字段捷径，引用该智能体。
  4. 在多维表格中创建自动化流程，推送消息给指定飞书用户。
Content generated by AI large model, please carefully verify (powered by aily)

References

输入观点一键生成文案短视频

这里一共有4个输入变量，分别为:idea_txt:主题观点left_to_txt：画面左上角的文字right_to_txt：画面右上角的文字img_prmpot：画面中间图片生成提示词注意：这4个变量名称要和智能体中提示词的变量对应一致，方便接收用户传入的参数。[heading5]2、“大模型”节点[content]这里是文案好坏的核心，使用目前大家公认的DeepSeek R1模型。对于R1来说，提示词要求不复杂，只要你说出你的需求即可，格式都可以用大白话说出来。提示词如下：[heading5]3、“文本”节点[content]这里是为了将文案分句，每一句要生图、配音。这里选择了按“句号”分句，具体可根据文案的格式，选择不同方式。[heading5]4、“图像生成”节点[content]使用官方插件，模型选“LOGO设计”。注意：若要生成全景图，我感觉这个插件效果堪忧，建议选其它插件。提示词：[heading5]5、“抠图节点”[content]将上个节点生成的图片进行抠图。

输入观点一键生成文案短视频

基于其它博主开源的视频生成工作流，做了一些功能优化，实现视频全自动创建。感谢开源的力量，现在也自己写一篇教程供大家参考。[heading2]先看效果[content][2月18日.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Oe7ib8NfNolVf1xQMRCcJnb0n2e?allow_redirect=1)[heading2]功能：[content]通过表单，输入主题观点，提交后，自动创建文案短视频，创建完成后推送视频链接到飞书消息。视频创建结果通知：[https://agent.mathmind.cn/minimalist/api/video/files/57e1b73f-dafd-49bc-852e-87b1c9a084bc.mp4](https://agent.mathmind.cn/minimalist/api/video/files/57e1b73f-dafd-49bc-852e-87b1c9a084bc.mp4)[heading2]涉及工具：[content]1、Coze平台(工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成)2、飞书（消息）3、飞书多维表格（字段捷径、自动化流程）[heading2]大体路径：[content]1、通过coze创建智能体创建工作流，使用DeepSeek R1根据用户观点创建文案，再创建视频。2、发布coze智能体到飞书多维表格。3、在多维表格中使用字段捷径，引用该智能体。4、在多维表格中创建自动化流程，推送消息给指定飞书用户。

Others are asking
有没有可以生成连贯电影分镜的AI工具
以下是一些可以生成连贯电影分镜的 AI 工具： 1. OpenAI 发布的文生视频模型 Sora，能够根据文字指令创造出逼真且充满想象力的场景，生成长达 1 分钟的一镜到底超长视频，视频中的人物和背景具有惊人的一致性，可随意切换镜头并保持人物稳定性。 2. XiaoHu.AI 日报中提到的工具，支持生成多张连贯图像，保持角色或场景的一致性，可用于影视分镜等多种应用。仅需一块 24GB 显存的 GPU 即可完成训练，适配多种模型架构。详细介绍：
2025-01-20
有没有可以生成电影分镜的AI工具
以下是一些可以生成电影分镜的 AI 工具及相关信息： 1. GPT：可以通过指令逻辑生成视频内容、分镜需要的画面、宣传片朋友圈宣传文案等。比如先让 GPT 生成视频内容，再细化每个分镜需要的内容，最后提炼响亮的名字。 2. Pika Labs：在确定画面后可用于生成相关内容。 3. Midjourney：在生图方面，其语义理解有所提升。可以通过确定影片风格（如皮克斯动画风格）、人物形象等来生成图像。 此外，在利用 AI 拆分镜时，如使用 GPT 生成分镜内容，其优势在于结构化，但可能会有内容丢失，需要人工审核及查缺补漏。同时，在制作分镜时，还应考虑视角等细致的问题。
2025-01-20
我想做一个猫咪做饭的短视频，有五个分镜头。我先用文生图生成图片，在用图片生成视，最后剪辑在一起。问题是文生图的时候，生成的图片，效果不太理想
以下是为您提供的一些可能有助于改善文生图效果不理想问题的建议： 1. 仔细检查您输入的画面描述，确保描述清晰、具体、准确，包含足够的细节和特征，以便模型更好地理解您的需求。 2. 尝试调整关键词和描述的侧重点，突出您想要的关键元素，比如猫咪做饭的动作、表情、厨房环境等。 3. 更换不同的文生图模型或工具，有些模型可能在某些特定类型的图像生成上表现更出色。 4. 参考其他优秀的类似主题的图像，学习其构图、色彩、光影等方面的处理方式，从而优化您的画面描述。 5. 多次尝试生成，并对每次生成的结果进行分析和总结，找出问题所在，逐步改进描述。
2025-01-17
可灵同一画面，多角度分镜头画面
以下是关于镜头和 AIGC 相关的知识： 镜头提示词： 过肩镜头：从角色肩膀后方拍摄，常用于对话场景，提供角色间关系的视角。 反打镜头：常与过肩镜头结合，用于拍摄对话场景中另一个角色的反应或视角。 潜望镜头：使用特殊设备拍摄，常用于捕捉极低或极高角度的画面。 主观晃动镜头：结合角色视角与晃动效果，模拟紧张或晕眩状态。 分屏镜头：将屏幕分成多个部分，展示不同地点或角度的同时事件，增强叙事复杂性和多样性。 显影镜头：逐步揭示重要信息或角色，通常通过镜头移动或焦点转移实现，增加悬念和期待感。 隐喻镜头：通过象征性画面传达深层意义或主题，深化观众对情节的理解。 负片镜头：使用颜色反转等效果创造不寻常视觉风格，常用于表现梦境或幻想场景。 剪影镜头：通过强光源背对着拍摄对象，使其成为黑色剪影，强调形状和姿态。 聚光镜头：使用聚光灯突出特定角色或物体，使其在画面中显得重要。 双重曝光镜头：将两个画面叠加，创造梦幻或象征性效果。 多重曝光镜头：在同一胶片上多次曝光，形成复合画面，常用于表现复杂情感或梦幻场景。 双重镜头：同时对前景和背景的两个对象保持清晰对焦，常用于复杂场景中的多重叙事。 AIGC 电影化叙事： 电影感与 AI 感：一切元素为叙事服务，将观众沉浸在故事中。视频 AI 感可能存在的问题包括固定镜头、运动幅度小易引起视觉疲劳、镜头间缺乏视听语言、画面跳跃未为故事服务、有不和谐画面元素等。 故事叙事：带着故事去制作，采用三幕式结构（设定、冲突、解决），注重角色弧光、隐喻和主题。 画面分镜：先找到桥段中最重要的画面，进行分镜设计，通过不同视角和构图增强叙事感，分解镜头切换方式打造流畅视觉节奏，保持视觉风格一致性。 音乐与音效：把控情感节奏，用音乐引导观众情绪，配合故事起伏增强感染力；设计音效细节，营造氛围为画面增添真实感，实现音乐与视觉的配合。 图像类 AI 产品： 可灵：由快手团队开发，用于生成高质量图像和视频，图像质量高，最初采用内测邀请制，现向所有用户开放，价格相对较高，重度用户年费可达几千元，平均每月 400 600 元，也有每日免费点数和 60 多元单月的最便宜包月选项供轻度用户选择。 通义万相：在中文理解和处理方面出色，用户可选择多种艺术和图像风格，生成图像质量高、细节丰富，操作界面简洁直观，可与阿里其他产品和服务无缝整合，重点是现在免费，每天签到获取灵感值即可，但存在某些类型图像无法生成、处理非中文或国际化内容可能不够出色、处理多元文化内容可能存在偏差等局限性。
2025-01-09
画分镜头的ai工具推荐4个
以下为您推荐 4 个画分镜头的 AI 工具： 1. Pika：对于奇幻感较强的画面把控较好，自然度高，但真实环境画面易糊，更新的唇形同步功能便捷。 2. Pixverse：在高清化方面有优势，对偏风景和纪录、有特定物体移动的画面友好，但生成视频有帧率问题，处理人物时易出戏。 3. Runway：在真实影像质感方面最佳，战争片全景镜头处理出色，控件体验感好，但爱变色，光影不稳定。 4. SVD：整体表现略差，仅在风景片测试中表现较好。 在实际使用中，可根据不同工具对画面的处理能力进行组合使用，例如 Pixverse 擅长物体滑行运动，Runway 可辅助完成有手部特殊运动的画面，需要人物表情自然的画面可用 Pika 生成。
2024-12-22
画分镜头的ai
以下是关于画分镜头的 AI 相关内容： 在利用 AI 拆分镜时，完成前期设定和剧本生成对应的分镜内容后，GPT 虽有结构化的优势，但因分镜较细可能会丢失内容，需人工审核查缺补漏。制作分镜时要考虑视角，如第一人称视角还是第三人称视角，以及视角的切换，使读者更好地理解故事。 设计分镜时要注意详细的定义，例如从本子 311 到 314 的画面，通过视角的来回切换让故事走向更清晰。永远记住，剧本转化为影像时很多表达与文字不同，当前 AI 做不了长镜头，要做减法，分镜指令要明确，如“谁+干什么”“什么东西+在哪里”，不要用难以呈现画面的表述。制作分镜过程要按画面角度思考，以画面驱动文字，设计分镜表时要考虑人物视角、画面描述（可实现的动作、人物表情）。 用 AI 制作分镜时，AI 容易把段落当成一句话或把一个画面拆分成几个镜头，这需要人工干预检查景别、画面描述、前后镜关联。AI 拆分的分镜只能作为参考，需人工再看，否则出图会很痛苦，同时要注意前后镜的关系，避免画面割裂。
2024-12-22
coze智能体开发
以下是关于 Coze 智能体开发的相关内容： 1. 创建 Bot：打开 Coze 官网 https://www.coze.cn/home 。 2. 图像工作流：创建图像工作流，图像流分为智能生成、智能编辑、基础编辑三类，Coze 的图像流比 ComfyUI 更普世化且简单易上手。 3. 空间风格化插件：其参数包括 image_url（毛坯房的图片地址）、Strength（提示词强度，即提示词对效果图的影响度）、Style（生成效果的风格，如新中式、日式、美式、欧式、法式等）、user_prompt（用户输入的 Promot 提示词）。 4. 工作流流程：按照构架配置工作流，调试工作流，毛坯房测试用例：https://tgi1.jia.com/129/589/29589741.jpg 。 5. 开始节点解析：开始节点对应配置三项内容，进行提示词优化。 6. 人设和回复逻辑：技能 1 中 3 项中的编译数字来源，然后点击右上角发布，机器人就可以出图。 此外，还有以下相关信息： 1. Code AI 应用开发教学：Code AI 应用背景为智能体开发从最初的 chatbot 只有对话框，到有了更多交互方式，因用户需求扣子推出了 AI 应用，其低代码或零代码的工作流等场景做得较好。但 AI CODING 虽强，目前适用于小场景和产品的第一个版本，复杂应用可能导致需求理解错误从而使产品出错。以证件照为例，说明以前实现成本高，现在有客户端需求并做了相关智能体和交互。创建 AI 应用，需学习操作界面、业务逻辑和用户界面，包括布局、搭建工作流、用户界面及调试发布，重点熟悉桌面网页版的用户界面。 2. 搭建工作流驱动的 Agent，简单情况可分为 3 个步骤： 规划：制定任务的关键方法，总结任务目标与执行形式，将任务分解为可管理的子任务，确立逻辑顺序和依赖关系，设计每个子任务的执行方法。 实施：在 Coze 上搭建工作流框架，设定每个节点的逻辑关系，详细配置子任务节点，并验证每个子任务的可用性。 完善：整体试运行 Agent，识别功能和性能的卡点，通过反复测试和迭代，优化至达到预期水平。
2025-02-23
COZE对话流
以下是关于 Coze 的相关内容： 多 Agent 模式的实现机制： 图 12 中，用户输入“完成”触发执行流程，跳转到【AI 玩家发言】，调用该 Agent 的对话模型，获取所有 AI 玩家的发言。此节点跳转判断时机是“模型回复后”，在执行完工作流之后触发第三次 LLM 调用。 第三次 LLM 调用输入给跳转模型的提示词，由于对话记录变长，需用 GPT4o 这样的强力模型。模型输出“1”，选择【人类玩家投票】节点，然后调用【人类玩家投票】的对话模型，即第四次 LLM 调用。第四次调用的对话模型回复消息引导人类玩家进行投票。 用 Coze 搓乞丐版的秘塔搜索： 工作流是核心，需先梳理清楚。秘塔搜索的主要能力包括使用搜索引擎进行搜索、对搜索内容整理成答案、给出答案中的引用。 Coze 海外版多 discord 账号配置方法： 1. 在 discord 中已配置好的 cozebot 服务器上右键选“邀请其他人”，复制邀请链接备用。 2. 注册新谷歌账号或使用多余的谷歌账号。 3. 用新谷歌账号在未登录过 discord 的浏览器或谷歌无痕浏览器中注册新 discord 账号。 4. 复制邀请链接到新浏览器中，将新账号拉入 cozebot 服务器，如需多个账号则重复以上步骤，注意不要解除前边账号的登陆状态。 5. 按 F12，新账号在对话框中发言，复制新账号的“USER_AUTHORIZATION”值，多个账号依次操作。 6. 在宝塔的/data/cozediscordproxy/dockercompose.yml 文档中，粘贴多个“USER_AUTHORIZATION”值，以逗号分开，然后 dockercompose up d 重启 cdp。 7. 重新扫码后 coze 对话轮次增多。 8. 验证成功的方法：手机下载 discord 登录后打开通知，每条消息发送账号不同则成功；每轮对话会在 discord 以临时聊天框形式存在，也能看到不同账号参与。 Q&A：要保证之前账号的登陆状态，因为账号登出后“USER_AUTHORIZATION”值会变，需重新取用，很多人发现突然登不上去就是因为登出后值变化了。
2025-02-23
Coze制作智能体如何设置拍照按钮
以下是关于在 Coze 制作智能体中设置拍照按钮的相关信息： 搭建证件照应用页面：创建应用并设置第一个 div 容器，页面分为上中下三块或左右两块，进行组件设置调整，包括容器的高度、宽度、排列方向，文本组件的字体、颜色、加粗等属性，处理图片上传，对左侧图片进行数据绑定等。 前端页面搭建技巧：在 DIV10 中选择子容器、复制搭建元素，调整表单组件的尺寸、按钮文案和上传文件类型等设置。 业务逻辑流程设计：包括用户上传照片、图片理解、图像生成、智能换脸、背景修改等步骤，还提及了各步骤中的参数设置、提示词调整和测试方法。 一键改图工作流的设置：工作流未用大模型，每次生成结果唯一，无种子概念，无法保存特定结果。调好后可配东北大花袄等背景，修改名字便于排查问题。添加立即生成事件，表单有多种事件，可设置提交时调用工作流，限制上传文件数量，表单提交时可设置禁用态。进行数据绑定与效果查看，工作流数据绑定要先清空，避免手动输入变量，选工作流时要注意准确。图片生成方式可调好第一张图片后复制成三张，根据背景颜色区分，通过连接节点选择对应图片输出。预览调试方法在用户界面不发布也可调试，有预览功能。识别图片特征有误时需在工作流里优化提示词，可考虑使用视频模型。
2025-02-22
coze的进阶教程有哪些，我需要有整个的搭建过程教程的，可以是共学活动里面的
以下是一些 Coze 的进阶教程和搭建过程的资源： 5 月 7 号（）：大聪明分享，主题为“Agent 的前世今生”，每个分享人分享最初接触 Coze 的经历以及现在用 Coze 做什么。流程为 20:00@🌈AJ 主持开场，20:00 21:00 大聪明分享，21:00 21:30 关于 Coze 随便聊聊。 5 月 8 号（）：大圣分享，主题为“我眼中的 AI Agent 以及通过搭建知识库实例入门 Coze”，20:00 21:20 大圣分享。 5 月 9 号（）：艾木分享，主题为“Agent 系统的核心构成：Workflow 和 Multiagent Flow（以‘Dr.Know’和‘卧底’为例），线上答疑。流程为 20:00 21:00 艾木分享，21:00 21:30 线上答疑。 5 月 10 号（）：罗文分享，主题为“一个方法解锁 COEZ 所有插件的用法+如何自动化解锁每天抓取 X 内容+改写+发布到飞书”，20:00 21:00 罗文分享。 5 月 11 号（）：Itao 分享，主题为“和 AI 成为搭子”，线上答疑。流程为 20:00 21:00 Itao 分享，21:00 21:30 线上答疑。 此外，还有以下案例合集和教程：
2025-02-22
coze知识库是否稳定且保密
Coze 知识库目前存在一些不稳定的情况。例如，在国内版中，某些官方和第三方插件的 API 调用及返回结果不太稳定，可能导致部分信息无法完全显示。但对于以问答为主的客服场景，其表现相对稳定。同时，目前存在不稳定版本，需要不断调试完善。关于保密方面，文中未提及相关内容。
2025-02-22
coze
以下是关于 Coze 的相关信息： 重磅更新：Coze 可以接入抖音评论区，帮用户自动回复评论。若想快速上手，可参考视频。不知 Coze 是什么，可参考文章： 安装 Coze Scraper： 通过应用商店安装： 1. 打开 Chrome 浏览器。 2. 点击在 Chrome 应用商店中打开 Coze Scrapper 扩展程序。 3. 单击添加至 Chrome。 4. 在弹出的页面，单击添加扩展程序。 本地安装： 1. 单击下载安装包，然后解压下载的文件。 2. 打开 Chrome 浏览器。 3. 在浏览器中输入 chrome://extensions 打开扩展程序页面，确认开发者模式处于打开状态。 4. 点击加载已解压的扩展程序，选择已解压的文件夹。 Coze 记账管家： 什么是 COZE：字节跳动旗下子公司推出的 AI Agent 构建工具，允许用户在无编程知识的基础上，使用自然语言和拖拽等方式构建 Agent；目前 coze 可以白嫖海量的大模型免费使用，有丰富的插件生态。 什么是记账管家：基于 COZE 平台的能力搭建的一个记账应用；可以直接和 coze 说收入或支出情况，coze 会自动记账并计算账户余额，每一笔记账记录都不会丢失。点击以下卡片体验记账管家。
2025-02-21
我想做个生成知识点讲解视频的工具，是转成PPT加自动配音好，还是转成不同的网页然后生成每一页的口播稿更好？
在选择生成知识点讲解视频的工具时，转成 PPT 加自动配音和转成不同的网页然后生成每一页的口播稿各有其优缺点。 转成 PPT 加自动配音的优点在于 PPT 形式较为直观、规范，能够以图文并茂的方式展示知识点，自动配音可以节省录制音频的时间。缺点是可能在页面布局和动画效果上需要较多的调整，且自动配音的质量和语气可能不够自然。 转成不同的网页然后生成每一页的口播稿的优点是网页的设计更加灵活，可以融入更多的交互元素，口播稿能够更贴合讲解的需求。但缺点是网页的制作可能相对复杂，需要一定的技术知识，而且口播稿的生成质量可能参差不齐。 最终的选择取决于您的具体需求和技术能力。如果您更注重展示效果的规范性和简洁性，且对音频质量要求不是特别高，PPT 加自动配音可能是个不错的选择。如果您希望有更多的交互和灵活性，并且有能力处理网页制作和口播稿的优化，那么转成网页和生成口播稿可能更适合您。
2025-02-23
可以把视频生成动画吗？
可以把视频生成动画。目前有一些相关的技术和工具，例如： 山寨版阿里 Animate Anyone 开源：利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持，提供照片和视频，即可自动生成动画。 GitHub：https://github.com/novitalabs/AnimateAnyone API：https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 Sora 模型：能够根据图像和提示输入生成视频。 您可以通过上述链接获取更详细的信息和使用这些工具来实现将视频生成动画的需求。
2025-02-23
想学习和北邦一样的图片生成动画视频，应该怎么做？
以下是学习和北邦一样的图片生成动画视频的方法： 1. 使用 Runway： 进入 Runway 官网首页，点击“start with image”。 直接将图片拖进来。 动画幅度尽量用 3，5 有时候会乱跑。 啥都不用改，直接点击生成即可。 注意：不需要等进度条转完，可以直接继续往里放图片，可以同步执行。 直接点删除，然后重新上传下面的图即可（最多可以放几个可自行测试）。 重复步骤即可生成所有视频。 （Runway 是收费的，也可以找免费的，或在闲鱼、淘宝买号。） 2. 使用即梦：上传图片至视频生成模块，提示词简单描绘画面中的动态内容即可生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，主要设置以随机运镜为主，生成速度根据视频节奏选择，比如选择慢速。 3. ComfyUI AniamteDiff： 了解 IPAdapter、Animatediff、controlNet 的用法和这三个之间通过蒙蔽遮罩灵活搭配生成视频的方法。 模型加载用到两个 lora，一个是 Animatediff v3_sd15_mm 运动模型需要的 v3_sd15_adapter，lora 的强度在合理范围内越高，画面越稳定；另一个 more_details 这个 lora 是给画面添加更多细节。 上传 4 张图片，并且使用 image batch 复制图像来制作批次，这是为了在使用 IPAdapter 时候，每一帧都可以参考上传的图片，让风格迁移更像。 上传的蒙版视频是为了在帧与帧之间做遮罩过渡，添加一个动态的效果。 用 IPAdapter 来做图像的风格迁移，对应四张图片。使用遮罩来控制每张图片显示的帧数，从第 0 帧开始计算，一张图片 16 帧，加上中间过渡的 8 帧。需要显示的帧设置为 1，隐藏的为 0，以此类推。这样就把 4 张图片融合成了一个 96 帧的序列，并且使用遮罩控制每一帧显示出来的画面。
2025-02-22
语音处理 视频处理工具
以下是一些语音处理和视频处理工具的相关信息： Notebook LM： 文字文档处理：可导入人工智能相关的 PDF 格式论文，左侧栏快速加载，提供常见问题解答、学习指南、目录、时间轴、简报文档等功能，对不相关问题会拒绝回复。 视频处理：可复制 YouTube 视频网址链接进行处理，操作与文字文档类似，但文本输出格式存在问题。 音频播客处理：可自定义或使用默认设置生成音频播客，能控制时长范围，最长约 15 分钟，最短 1 2 分钟，生成内容自然。 老金：Voice 语音识别与发送语音 音频处理工具 ffmpeg：点击地址进行安装 讯飞 API key 申请：讯飞免费一年，量很大，足够用。在讯飞上申请一个 API Key，网址为：https://www.xfyun.cn/services/rtasr 。进入控制台创建应用，获取 3 个要用到的 Key。 配置 Cow：打开根目录的 config.json 进行总开关配置，按需配置，开启是 true，关闭是 false。因发送语音不能是语音条，所以只开了语音识别。配置讯飞的 key，进入/chatgptonwechat/voice/xunfei 下的 config.json，把对应的 key 配置进来即可。配置完成，重新扫码登录。 MMVid：一个集成的视频理解系统，能处理和理解长视频内容并进行问答。应用场景包括快速的视频剪辑、快速的图生视频、快速诊断等。由 Microsoft Azure AI 开发，结合了 GPT4V 的能力和其他视觉、音频和语音处理工具，能处理和理解长视频和复杂任务。能够自动识别和解释视频中的元素，如人物行为、情感表达、场景变化和对话内容，从而实现对视频故事线的理解。其核心功能是将视频中的多模态信息（如视觉图像、音频信号和语言对话）转录成详细的文本脚本，这样大语言模型就能够理解视频内容。
2025-02-22
几个短视频生成一个全新的新视频用什么好
以下是几种可以将几个短视频生成一个全新视频的工具和方法： 1. Sora： 技术原理：用特别的网络压缩视频，将其变成类似“补丁”的小片段，然后利用变换器技术根据文字提示生成新视频，能生成各种大小和形状的视频，并确保自然衔接。 相关链接：Sora 技术报告原文：https://openai.com/research/videogenerationmodelsasworldsimulators 2. PixVerse V2： 输入提示词：支持文生和图生视频。 上传图片：如无图片上传，可忽略此步骤。 选择视频时长：支持 5s 和 8s 的视频生成。 添加新片段：所有 Scene 画面风格会与 Scene 1 保持一致，可添加多个 Scene，最多支持 5 个同时生成。 生成视频：每次生成需花费 30 Credits，默认将所有片段拼接，不支持单片段下载。 编辑生成的视频：可从角色、环境、动作等方面进行编辑，未修改的 Scene 再次生成时会改变。 3. Video： 使用video 参数创建短视频，展示初始图形生成过程，仅适用于图像网格，可与版本为 1、2、3、test 和 testp 的模型版本一起使用。 获取视频链接：添加video 到提示词结尾，等任务结束后点击表情符号，选择✉️emoji，在私信中收到视频链接，在浏览器中查看并下载。
2025-02-22
文生视频
以下是关于文生视频的相关信息： 文字生成视频的 AI 产品有： 1. Pika：擅长动画制作，支持视频编辑。 2. SVD：可作为 Stable Diffusion 的插件，在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多的文生视频网站可查看：https://www.waytoagi.com/category/38 （内容由 AI 大模型生成，请仔细甄别） PixVerse V2 的使用教程： 单个视频生成（8s）：8s 的视频生成需要花费 30 Credits，5s 的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择，目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，可在提示词中加入“Anime”“Realistic”等词语。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，图生视频暂不支持“Magic Brush”“Camera Motion”“Motion Strength”等功能，如需使用上述功能，请将模型切换至“PixVerse V1”。 Sora 的模型推理策略： 官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。一些有意思的做法如： 1. 文生视频：喂入 DiT 的是文本 embedding+全噪声 patch。 2. 视频编辑：类似 SDEdit 的做法，在视频上加点噪声（不要搞成全是噪声），然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合：喂入 DiT 的是文本 embedding（可选）+特定帧用给定图片的 embedding+其他帧用全噪声 patch。
2025-02-22
模态分解算法的详细代码
很抱歉，目前知识库中没有模态分解算法的详细代码。但您可以通过以下途径获取相关代码： 1. 学术研究网站，如 arXiv 等，许多学者会在上面分享他们的研究成果及代码。 2. 相关的开源代码库，如 GitHub 等，您可以通过搜索关键词找到相关项目。 3. 专业的技术论坛，在那里与其他开发者交流，可能会获得有用的信息和代码示例。
2024-12-30
(defun 生成记忆卡片 (单词) "生成单词记忆卡片的主函数" (let* ((词根 (分解词根 单词)) (联想 (mapcar #'词根联想 词根)) (故事 (创造生动故事 联想)) (视觉 (设计SVG卡片 单词 词根 故事))) (输出卡片 单词 词根 故事 视觉))) (defun 设计SVG卡片 (单词 词根 故事) "创建SVG记忆卡片" (design_rule "合理使用负空间，整体排版要有呼
以下是关于生成记忆卡片和 SVG 卡片的相关信息： 卡片类的应用被定义为词生卡片，如李继刚的《汉语新解》、一泽的《名片设计》、云中江树的《AI 简历》等，都是通过给大模型优化过的 Prompt，让其生成 HTML 代码或 SVG 代码，再通过浏览器渲染效果。 把提示词丢给 Claude ，如在 Poe 平台上的 Claude 模型，大概率会直接输出 SVG 代码，但对于子步骤是否执行等情况难以知晓。Andrej Karpathy 认为，模型需要 tokens 来思考，如果大语言模型未将思考过程外化，则几乎等于没思考。 甲木介绍了让 Claude 生成古诗词卡片的方法，流程包括输入 Prompt 、用户输入主题和风格，AI 输出最终结果。获取提示词已开源，创作过程主要是根据给定主题和方向生成匹配的中国古诗词，创建设计感强烈、富有中国传统美学的 SVG 卡片展示诗词，并提供相关信息，还支持根据用户提供的主题和方向生成对应语境的 prompt 并配图生成 SVGCard 。但对于“逼格高”的看法因人而异，可将选择权交给 AI 。
2024-11-28
可将复杂任务分解为简单子任务的ai工具是什么
以下是一些可将复杂任务分解为简单子任务的 AI 工具和相关策略： OpenAI 官方指南中提到，对于需要大量独立指令集来处理不同情况的任务，可以首先对查询类型进行分类，并使用该分类来确定需要的指令。例如，在客户服务应用程序中，将查询分类为计费、技术支持、账户管理或一般查询等主要类别，并进一步细分次要类别。 如同软件工程中将复杂系统分解为模块化组件，对 GPT 提交的任务也可如此。复杂任务往往可被重新定义为一系列简单任务的工作流程，早期任务的输出用于构造后续任务的输入。 在 AIAgent 系列中，基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力以及对工具的理解。
2024-11-05
将复杂任务分解为简单子任务以简化问题，这样的ai工具都有什么
以下是一些可将复杂任务分解为简单子任务以简化问题的 AI 工具和相关策略： 1. OpenAI 官方指南中提到的策略： 使用意图分类来识别与用户查询最相关的指令。 对于需要很长对话的对话应用程序，总结或过滤之前的对话。 分段总结长文档，并递归构建完整总结。 指示模型在急于得出结论之前先自己找出解决方案。 使用内心独白或一系列查询来隐藏模型的推理过程。 询问模型在之前的回答中是否遗漏了什么。 使用基于嵌入的搜索来实现高效的知识检索。 使用代码执行来进行更准确的计算或调用外部 API。 2. 在 AIAgent 系列中： 基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力，当然也包括对工具的理解。
2024-11-05
什么ai对思路分解做的比较好
以下几种 AI 在思路分解方面具有一定的优势和特点： 1. 专家 AI：鉴于其神经网络基础，可能通过元学习更快地获得知识。通过构建系统深入探索其内部工作机制，能创造学习的飞轮，未来甚至可能成为下一代专家的教师，帮助我们将复杂问题一部分一部分地拆解研究。 2. ChatGPT：在某些实用向话题，如写代码、解数学题等方面表现相对稳定，能够为解决问题提供一定的思路。 3. 大语言模型：可以加速认知提升，指导学习。人类可以利用其培养结构化思维，将复杂问题分解成更小、更易管理的部分，并通过逻辑和有条理的步骤来解决，从而达到解决整体问题的目的。 需要注意的是，不同的 AI 在不同的场景和任务中表现各异，具体的效果还需根据实际需求和使用情况来评估。
2024-11-02
有没有关于工作任务分解为具体步骤的提示词
以下是关于将工作任务分解为具体步骤的提示词相关内容： 提示词工程的任务可分解为两个步骤，如 Pryzant 等人（2023）所做：第一步，模型预期检查当前提示词和一批样本；第二步，模型预期编写一个改进的提示词。 对于复杂任务，可将其分解成更小的步骤，并在提示词中明确每个步骤的具体操作，引导模型逐步完成任务。例如，使用以下逐步说明：步骤 1 用户将提供用三重引号引用的文本。用一个句子总结这段文本，并以“摘要：”作为前缀。步骤 2 将步骤 1 的摘要翻译成西班牙语，前缀为“翻译：”。 如果将任务分解，Claude 在执行任务时犯错或遗漏关键步骤的可能性会降低。 为了鼓励模型仔细检查批次中的每个示例，并反思当前提示词的局限性，可指导提案模型回答一系列问题，如输出是否正确、提示词是否正确描述了任务、是否有必要编辑提示词等。 实际操作中，提示词插入整个输入序列的位置是灵活的，可能位于输入文本之前用于描述任务，也可能出现在输入文本之后以激发推理能力。在元提示词中应明确提示词和输入之间的相互作用。
2024-10-21