Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒，我要如何利用agent自动流实现这个模型可以生成更长，更可靠质量的视频呢

Answer

要利用 agent 自动流实现生成更长、更可靠质量的视频，您可以参考以下几种模型和方法：

  1. PixVerse V2 模型：
    • 8 秒的视频生成需要花费 30 Credits，5 秒的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。
    • 目前仅支持 16:9 画面比例的视频生成。
    • 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。
    • 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。
  2. Meta Movie Gen 模型：
    • Movie Gen 由视频生成和音频生成两个模型组成。
    • Movie Gen Video：30B 参数 Transformer 模型，可以从单个文本提示生成 16 秒、16 帧每秒的高清视频，相当于 73K 个视频 tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。
    • Movie Gen Audio：13B 参数 Transformer 模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。
    • Movie Gen Video 通过预训练-微调范式完成，在骨干网络架构上，它沿用了 Transformer，特别是 Llama3 的许多设计。预训练阶段在海量的视频-文本和图像-文本数据集上进行联合训练，学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。
  3. Sora 模型：
    • 文生视频，图生视频，视频生视频，支持多种视频定制选项，如分辨率（从 480p 到 1080p）、视频长度（从 5 秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人 prompt）。
    • 故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。
    • 混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。
    • 高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。
    • 对于已经拥有 OpenAI Plus 或 Pro 账户的用户，Sora 的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数；OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora 的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。
Content generated by AI large model, please carefully verify (powered by aily)

References

PixVerse V2 使用教程

8s的视频生成需要花费30Credits，5s的视频生成需要花费15Credits，且只能使用PixVerse V2模型，生成时请注意模型选择。目前仅支持16:9画面比例的视频生成。[heading2]文生视频[content]点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。[heading2]图生视频[content]点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。

新王登基-Meta发布Meta Movie Gen文生视频模型

具体来说Movie Gen由视频生成和音频生成两个模型组成。Movie Gen Video：30B参数Transformer模型，可以从单个文本提示生成16秒、16帧每秒的高清视频，相当于73K个视频tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得SOTA性能。Movie Gen Audio：13B参数Transformer模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。Movie Gen Video通过预训练-微调范式完成，在骨干网络架构上，它沿用了Transformer，特别是Llama3的许多设计。预训练阶段在海量的视频-文本和图像-文本数据集上进行联合训练，学习对视觉世界的理解。这个阶段的训练数据规模达到了O(100)M视频和O(1)B图像，用以学习运动、场景、物理、几何、音频等概念。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。扩散模型通过从数据分布逐渐加入噪声，然后在推理时通过逆过程去除噪声来生成样本，用大量的迭代步数逐步逼近目标分布。流匹配则是通过直接学习样本从噪声向目标数据分布转化的速度，模型只需通过估计如何在每个时间步中演化样本，即可生成高质量的结果。

视频模型：Sora

最新消息sora.com域名已经部署好[Sora实测案例](https://waytoagi.feishu.cn/wiki/MKgKw9hg8iZZp1kKYQ4c0B6unWg)2点直播链接：https://www.youtube.com/watch?v=2jKVx2vyZOY有博主已经做了提前测试This Video is AI Generated!SORA Reviewhttps://www.youtube.com/watch?v=OY2x0TyKzIQ12月10日已上线[heading2]Sora功能：[content]文生视频，图生视频，视频生视频1.视频生成：文生视频，图生视频，视频生视频支持多种视频定制选项，如分辨率（从480p到1080p）、视频长度（从5秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人prompt）2.故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。3.混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。4.高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。[heading2]费用和订阅套餐：[content]对于已经拥有OpenAI Plus或Pro账户的用户，Sora的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus订阅：每月50次视频生成次数。OpenAI Pro订阅：无限次慢速队列生成。500次正常速度的视频生成次数。额外信息：用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。

Others are asking
怎么做 agent，有什么 coze做 agent 的视频教程
以下是一些关于如何做 Agent 以及相关的 Coze 视频教程： 基础教程： 大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库 （https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb） 大聪明：保姆级教程：Coze 打工你躺平 （https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb） 安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent （https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb） 基础教程：Coze“图像流”抢先体验 （https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf） YoYo：Coze 图像流小技巧：探索视觉艺术的隐藏宝藏 （https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe） 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 （https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ） 历史活动教程： 5 月 7 号（）：大聪明分享｜主题：Agent 的前世今生，每个分享人分享最初是怎么接触 Coze 的，以及现在用 Coze 做什么 5 月 8 号（）：大圣分享｜主题：我眼中的 AI Agent 以及通过搭建知识库实例入门 Coze 5 月 9 号（）：艾木分享｜主题：Agent 系统的核心构成：Workflow 和 Multiagent Flow（以“Dr.Know”和“卧底”为例，线上答疑 5 月 10 号（）：罗文分享｜主题：一个方法解锁 COEZ 所有插件的用法+如何自动化解锁每天抓取 X 内容+改写+发布到飞书 5 月 11 号（）：Itao 分享｜主题：和 AI 成为搭子，线上答疑
2025-01-18
有哪些AI视频剪辑工具
以下是一些常见的 AI 视频剪辑工具： Morph Studio：https://app.morphstudio.com/ ，还在内测。 Heygen：https://www.heygen.com/ ，数字人/对口型。 Kaiber：https://kaiber.ai/ 。 Moonvalley：https://moonvalley.ai/ 。 Mootion：https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 美图旗下：https://www.miraclevision.com/ 。 Neverends：https://neverends.life/create ，操作傻瓜。 SD：Animatediff SVD deforum ，自己部署。 Leiapix：https://www.leiapix.com/ ，可以把一张照片转动态。 Krea：https://www.krea.ai/ 。 Opusclip：https://www.opus.pro/ ，利用长视频剪成短视频。 Raskai：https://zh.rask.ai/ ，短视频素材直接翻译至多语种。 invideoAI：https://invideo.io/make/aivideogenerator/ ，输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 descript：https://www.descript.com/?ref=feizhuke.com 。 veed.io：https://www.veed.io/ ，自动翻译自动字幕。 clipchamp：https://app.clipchamp.com/ 。 typeframes：https://www.revid.ai/?ref=aibot.cn 。 此外，剪映在视频剪辑方面有很多人性化设计和简单的音效库/小特效，但无法协同工作和导出工程文件。剪辑流程通常包括视频粗剪、视频定剪、音效/音乐、特效、包装（如字幕）等步骤。 还有一些相关的教程： 以下几个工具也值得关注： Opusclip：利用长视频剪成短视频。 Raskai：短视频素材直接翻译至多语种。 invideoAI：输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 descript：屏幕/播客录制>PPT 方式做视频。 veed.io：自动翻译自动字幕。 clipchamp：微软的 AI 版剪映。 typeframes：类似 invideoAI，内容呈现文本主体比重更多。 google vids：一口大饼。
2025-01-18
制作短视频方面，AI 能帮我做些什么
在制作短视频方面，AI 能为您提供以下帮助： 1. 根据视频脚本生成短视频： ChatGPT + 剪映：ChatGPT 生成视频脚本，剪映根据脚本分析出所需场景、角色、镜头等要素并生成素材和文本框架，实现从文字到画面的快速转化。 PixVerse AI：在线 AI 视频生成工具，支持将多模态输入转化为视频。 Pictory：AI 视频生成器，用户提供文本描述即可生成相应视频内容。 VEED.IO：提供 AI 图像生成器和 AI 脚本生成器，帮助从图像制作视频并规划内容。 Runway：将文本转化为风格化视频内容，适用于多种场景。 艺映 AI：专注于人工智能视频领域，提供文生视频、图生视频、视频转漫等服务。 2. 故事创作与剧本写作： 故事来源：可以是原创，如自身或周围人的经历、做过的梦、想象的故事等；也可以是改编，如经典 IP、名著、新闻、二创等。 剧本写作：编剧有一定门槛，建议先写再看书，不断实践和总结经验。短片创作可从自身或朋友经历改编入手，或对短篇故事进行改编，多与他人讨论修改。 3. 视频制作相关工具： 动画工具：用于在视频中为人脸制作动画的 DiD，用于从文本创建视频的 Runway v2。 语音克隆：ElevenLabs。 需要注意的是，深度伪造是一个问题，这些系统需要合乎道德地使用。同时，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-17
我想做一个猫咪做饭的短视频，有五个分镜头。我先用文生图生成图片，在用图片生成视，最后剪辑在一起。问题是文生图的时候，生成的图片，效果不太理想
以下是为您提供的一些可能有助于改善文生图效果不理想问题的建议： 1. 仔细检查您输入的画面描述，确保描述清晰、具体、准确，包含足够的细节和特征，以便模型更好地理解您的需求。 2. 尝试调整关键词和描述的侧重点，突出您想要的关键元素，比如猫咪做饭的动作、表情、厨房环境等。 3. 更换不同的文生图模型或工具，有些模型可能在某些特定类型的图像生成上表现更出色。 4. 参考其他优秀的类似主题的图像，学习其构图、色彩、光影等方面的处理方式，从而优化您的画面描述。 5. 多次尝试生成，并对每次生成的结果进行分析和总结，找出问题所在，逐步改进描述。
2025-01-17
智能视频生成
以下是关于智能视频生成的相关内容： Adobe 相关： 在 Adobe 的 Advanced 部分，您可以使用 Seed 选项添加种子编号，帮助启动流程并控制 AI 创建内容的随机性。如果使用相同的种子、提示和控制设置，可以重新生成类似的视频剪辑。选择 Generate 即可生成。 现阶段应用场景： 1. 专业创作者（艺术家、影视人等）：AI 生成能够为作品赋予独特风格和想象力，为创作者提供灵感。配合高超的剪辑技巧和叙事能力，可以制作出超乎想象的效果。低成本动捕能大幅降低后期制作的门槛和成本，自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑，为后期制作增加更多空间。目前该应用主要集中在音乐 MV、短篇电影、动漫等方向。一些 AI 视频平台也积极寻求创意合作，为创作者提供免费支持。 2. 自媒体、非专业创作者：这部分人群通常有非常具体且明确的视频剪辑痛点。比如科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材，还需注意视频版权问题。一些产品（Invideo AI、Pictory）已经在发力脚本生成分镜、视频，帮助创作者降低视频素材制作门槛。Gamma AI 已经实现了文章高效转 PPT 的能力，若能结合 Synthesia、HeyGen AI、DID 等产品的 Avatar、语音生成能力也可快速转化为视频内容。不同平台适合不同内容形式，创作者想要将同一个素材在不同平台分发意味着制作成本的升高，而 OpusClip 提供的长视频转短视频致力于解决这一痛点。 3. 企业客户：对于没有足够视频制作资金的小企业、非盈利机构来说，AI 视频生成可以大幅缩减成本。 产品分类： 1. 若从生成方式分类，AI 视频生成包含： 文生视频、图生视频（Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation） 视频生视频：又分逐帧生成（SD+Mov2Mov）、关键帧+补帧（SD+Ebsynth、Rerender A Video）、动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI） AI Avatar+语音生成：Synthesia、HeyGen AI、DID 长视频生短视频：Opus Clip 脚本生成+视频匹配：Invideo AI 剧情生成：Showrunner AI 2. 若从产品阶段和可用维度分类：具体内容未详细说明。
2025-01-17
通过图片和文字生成产品介绍视频，用什么工具
以下是一些可以通过图片和文字生成产品介绍视频的工具： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，它是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要注意是收费的。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 此外，您还可以通过以下方式生成产品介绍视频： 1. 使用 TecCreative 工具，输入产品链接，一键生成数字人产品介绍视频。目前产品链接主要支持 Amazon、Shopify、ETSY、Ebay、Appstore、Google Play、WIKI 等，其他网站来源持续接入中。如遇生成失败的问题，可尝试删除链接后缀，点击重新生成。 2. 利用剪映 App 对视频进行简单处理。先准备一段视频中播放的内容文字，然后在电脑端打开剪映 App，点击“开始创作”，选择顶部工具栏中的“文本”，并点击默认文本右下角的“+”号，添加文字内容的轨道，将准备好的文字内容替换默认文本内容。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。请注意，内容由 AI 大模型生成，请仔细甄别。
2025-01-17
有哪些好用的文生图ai
目前好用的文生图 AI 工具主要有以下几种： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格可选，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计，能将上传照片转换为芭比风格，效果很好。 此外，还有一些受欢迎的文生图工具： 1. DALL·E：由 OpenAI 推出，能根据输入文本描述生成逼真图片。 2. StableDiffusion：开源工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量图像生成效果和用户友好界面设计而受欢迎，在创意设计人群中流行。 您可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。但这些工具仍存在一些局限，如偶尔性能不稳定、生成内容不当等问题。
2025-01-17
现在国内最好用的文生视频工具是什么，主要专注于一段文字转换成视频，文档字数300字左右，制作出的视频长度在一分钟左右
以下是一些国内好用的文生视频工具： 1. Pika：出色的文本生成视频 AI 工具，擅长动画制作且支持视频编辑。 2. SVD：若熟悉 Stable Diffusion，可安装此最新插件，能在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 此外，还有以下工具： 1. ChatGPT + 剪映：ChatGPT 生成视频小说脚本，剪映根据脚本自动分析并生成素材和文本框架。 2. PixVerse AI：在线 AI 视频生成工具，支持多模态输入转化为视频。 3. Pictory：允许用户提供文本描述生成相应视频内容。 4. VEED.IO：提供 AI 图像和脚本生成器，帮助规划视频内容。 5. 艺映 AI：专注人工智能视频领域，提供文生视频等服务。 国内的还有： 1. Hidreamai：有免费额度，支持文生视频、图生视频，提示词中文、英文均可，能控制运镜等，可生成 5 秒和 15 秒的视频。 2. ETNA：由七火山科技开发，能根据简短文本描述生成 8 15 秒的视频，画质可达 4K，支持中文，时空理解。 您可以根据自己的具体需求和使用场景进行选择。更多的文生视频网站可查看：https://www.waytoagi.com/category/38 。请注意，内容由 AI 大模型生成，请仔细甄别。
2025-01-15
剪映能识别文生视频的脚本后生成视频吗
剪映可以与 ChatGPT 结合使用来根据视频脚本生成视频。ChatGPT 生成视频脚本，剪映则能自动分析脚本中的场景、角色、镜头等要素，并生成对应的素材和文本框架，从而实现从文字到画面的转化，节省时间和精力。 此外，还有以下一些根据视频脚本生成短视频的工具： 1. PixVerse AI：在线 AI 视频生成工具，支持将多模态输入（如图像、文本、音频）转化为视频。8s 的视频生成需要花费 30Credits，5s 的视频生成需要花费 15Credits，且只能使用 PixVerse V2 模型，目前仅支持 16:9 画面比例的视频生成。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”“Realistic”等词语做到这点。 2. Pictory：这是一个 AI 视频生成器，允许用户轻松创建和编辑高质量视频，无需视频编辑或设计经验。用户可以提供文本描述，Pictory 将帮助生成相应的视频内容。 3. VEED.IO：提供了 AI 图像生成器和 AI 脚本生成器，帮助用户从图像制作视频，并规划从开场到结尾的内容。 4. Runway：这是一个 AI 视频创作工具，能够将文本转化为风格化的视频内容，适用于多种应用场景。 5. 艺映 AI：专注于人工智能视频领域，提供文生视频、图生视频、视频转漫等服务，用户可以根据文本脚本生成视频。 这些工具各有特点，适用于不同的应用场景和需求，能够帮助内容创作者、教育工作者、企业和个人快速生成吸引人的视频内容。内容由 AI 大模型生成，请仔细甄别。
2025-01-14
国内目前文生视频比较好的软件有哪些
国内目前文生视频比较好的软件有以下几种： 1. 可灵：在视频生成质量、生成速度和国内用户的可访问性方面表现出色。其生成的视频质量高，能与国际顶级模型媲美，处理效率高，为国内用户提供了便捷稳定的使用体验。 2. Pika：是一款出色的文本生成视频AI工具，擅长动画制作，并支持视频编辑。 3. Runway：老牌AI视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 此外，还有一些相关的工具和网站，如： 1. GigaStudio：创作者可申请免费会员，文生视频效果好。 2. Dreamina：剪映旗下，动作幅度有很大升级。 更多的文生视频的网站可以查看这里： 。需要注意的是，以上内容由AI大模型生成，请仔细甄别。
2025-01-09
文生视频
以下是关于文生视频的相关信息： 文字生成视频的 AI 产品有： 1. Pika：非常出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：若熟悉 Stable Diffusion，可安装此最新插件，在图片基础上直接生成视频，这是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需注意是收费的。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 （内容由 AI 大模型生成，请仔细甄别） Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。其模型推理策略比如文生视频，喂入 DiT 的就是文本 embedding+全噪声 patch；视频编辑类似 SDEdit 的做法，在视频上加点噪声（不要搞成全是噪声），然后拿去逐步去噪；图生视频、视频反推、视频融合，喂入 DiT 的就是文本 embedding（可选）+特定帧用给定图片的 embedding+其他帧用全噪声 patch。 文生视频是 AI 生成视频中最直接的一种方式，通过输入提示词，让 PixVerse 生成视频。这种方式简单快速，但需要对提示词有较为深入的了解，能够准确描述画面内容，提示词的基本规则可以参考：。为方便创作，还提供了灵感分镜，风格选择等功能，帮助更快掌握文生视频。
2025-01-09
个人怎么在本地搭建AI大模型
个人在本地搭建 AI 大模型可以参考以下步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 如果想要对知识库进行更加灵活的掌控，可以使用 AnythingLLM 软件。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 在 AnythingLLM 中，有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。具体操作包括： 1. 首先创建一个工作空间。 2. 上传文档并且在工作空间中进行文本嵌入。 3. 选择对话模式，AnythingLLM 提供了两种对话模式：Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 测试对话。 本文的思路来源于视频号博主黄益贺，按照他的视频进行实操，并附加了一些关于 RAG 的额外知识。读完本文，您将学习到如何使用 Ollama 一键部署本地大模型，通过搭建本地的聊天工具，了解 ChatGPT 的信息流转，RAG 的概念以及所用到的一些核心技术，如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。
2025-01-17
如何搭建个人AI大模型
搭建个人 AI 大模型主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，还有一种全程白嫖搭建拥有一个 AI 大模型的微信助手的方法： 1. 搭建，用于汇聚整合多种大模型接口，并了解如何白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，若不想接入微信，搭建到此即可，其本身有问答界面。 3. 搭建。 大模型的构建过程包括： 1. 收集海量数据：如同让孩子阅读大量书籍等，研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理资料，研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员需要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构。 4. 训练模型：如同孩子开始阅读和学习，AI 模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词等方式，逐渐学会理解和生成人类语言。
2025-01-17
知识模型对个人有什么用
知识模型对个人具有以下作用： 1. 扩展记忆与智力：OpenAI 的首席科学家伊尔亚·苏茨克维认为，高效压缩信息即得到知识，而 GPT3 及 GPT4 等模型虽通过预测下一个单词进行工作，但已包含世界信息且能持续提高能力。 2. 构建个人知识库：虽然个人搭建本地知识库可能面临机器配置要求较高的问题，如运行大模型需要较高的硬件配置，如生成文字大模型的最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（若要跑 GPT3.5 差不多性能的大模型）；生成图片大模型的最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型的最低配置为 8G VRAM 等。但实操可以加深对大模型构建的知识库底层原理的了解。 3. 形成外脑（ExoBrain）：利用软件工具和大语言模型相关技术扩展记忆和智力的新机制或系统，被称为外脑。语言模型是心智界面，如 ChatGPT 等，除用储备的知识库响应问题外，还能理解复杂文档、生成想法甚至驱动其他软件完成任务，如同心灵副驾，通过自然语言输入和输出实现快速理解、记忆唤起、想法连接和驱动外部软件自动工作。
2025-01-17
Claude大模型背后是什么公司
Claude 大模型背后的公司是 Anthropic。Claude 系列在前段时间推出了 Claude3.5Sonnet 等模型，并且在代码生成等方面表现出色。同时，Anthropic 公司的 Claude 还具有较大的上下文窗口等特点。
2025-01-17
如何部署私有大语言模型？
部署私有大语言模型通常包括以下步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。 2. 部署 Google Gemma： 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型的温度参数等。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。
2025-01-17
是什么大模型
大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可代表单个字符、单词、子单词等。Token 会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 从原理角度，传统机器学习是 p，但这个通用模型未经人工标注，什么都能学会。给出的 Prompt 其实就是 x，让大模型基于 x 知道概率最大的 y，避免人工标注，但依赖 x 给入的信息，更大概率找到合适的 y。比如给一张照片，输入这是一个动物，这是什么，大模型根据输入提取照片特征和提示，最终返回猫。
2025-01-17
中国最强图生视频ai网站
以下为中国较强的图生视频 AI 网站相关信息： 2024 年，国内涌现出一系列优秀的 AI 生成视频工具，如可灵、即梦、智谱清影等，其生成结果甚至远超国外。 相关产品数据： 6 月访问量排名： 1. Luma AI 1861 万 Visit，相对 5 月变化 12.199 2. Runway ML 515 万 Visit，相对 5 月变化 0.01 3. Haiper AI 226 万 Visit，相对 5 月变化 0.013 4. Pika 163 万 Visit，相对 5 月变化 0.256 5. Pixverse 142 万 Visit，相对 5 月变化 0.174 6. Dreamina 剪映 79 万 Visit，相对 5 月变化 3.731 7. 可灵快手 79 万 Visit，相对 5 月变化 New 4 月访问量排名： 1. Runway ML 564 万 Visit，相对 3 月变化 0.158 2. Haiper AI 234 万 Visit，相对 3 月变化 0.95 3. Pika 200 万 Visit，相对 3 月变化 0.091 详情您可以查看之前实测的
2025-01-16
静态图生成动态图的工具有吗
以下是一些可以将静态图生成动态图的工具： 1. Comfyui LivePortrait： 可以精确控制眼睛和嘴唇的动作，无缝拼接多个肖像，将不同人物特征合并成一个视频，确保过渡自然流畅。 使用了不同于主流扩散方法的隐式关键点框架，在计算效率和可控性之间取得有效平衡。 生成的动画质量优于现有的非扩散和扩散模型方法，在 RTX 4090 GPU 上，生成速度为每帧 12.8 毫秒。 支持各种风格的图片，常见的动物面部迁移，并可以微调面部运动幅度。 工作流与模型地址： https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy https://pan.quark.cn/s/8dfd7ace4f05 内容依技术发展更新，请以文档为准 https://xiaobot.net/post/74238a84d2734b2ca195ed2858b24ffe 2. 视频工具 VIGGLE： Mix（让视频的动作映射到图片人物身上）：先上传一个视频和一张角色图像，Viggle 会自动将视频的动态赋予给这个角色，形成一段新视频。能模拟出角色的 3D 状态，准确还原处理原视频中身体旋转、四肢交叠等动作。（也可以利用现有的模版视频作为动作获取来源） Multi（多人模式）：通过视频的动作，将上传的多个角色进行识别并赋予给这个角色，形成一段新视频。 Move（将视频的动作直接映射在图片人物身上）：不同于 Mix 的图片元素替换原视频内容，Move 主要是通过将动作映射在图像里面的人物身上，实现“让静态图动起来”。 案例： 评价： ：https://x.com/imxiaohu/status/1771173928591093940 兄弟们，又出来个牛 P 玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小 case...最牛 P 的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换...其核心技术基于 JST1 模型。JST1 是首个具有实际物理理解能力的视频3D 基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle 将根据这些指示生成视频。 基于物理的动画：JST1 模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3D 角色和场景创建：Viggle 不仅限于传统的 2D 视频制作，它还能够创建 3D 角色和场景。
2025-01-11
图生视频
以下是关于图生视频的相关内容： 什么是图生视频： 输入一张图片+相应的提示词，清影大模型将根据提示将图片转变为视频画面。您也可以只输入一张图片，清影大模型将自行发挥想象力，把图片扩展为一段有故事的视频。 图生视频的两个小技巧： 1. 选用尽可能清晰的图片，上传图片比例最好为 3:2（横版），清影支持上传 png 和 jpeg 图像。如果原图不够清晰，会影响模型对图片的识别，可以采用分辨率提升工具将图片变清晰。 2. 提示词要【简单清晰】： 可以选择不写 prompt，直接让模型自己操控图片动起来。 明确您想动起来的【主体】并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词（一定要有主体，不然可能会出现 AI 狂乱景象）。如果不明确大模型如何理解您的图片，推荐将照片发送到清言对话框进行识图，明确您的【主体】该如何描述。 在其他场景中的应用： 1. 在离谱村的共创故事中，每张图片转视频都进行了大量的尝试。各种工具轮番上场，如 pika、runway、Pixverse 等。中间还找了 ZHO 来做技术指导，他帮忙用 SVD1.1 出来几个精美的视频，甚至还上了 stablevideo.com 的首页官方推荐。 2. 在 PixVerse V3 中，生成视频的比例取决于您上传图片的比例，提示词遵循相关规则。同时为您展示了几个示例帮助拓展创意，还提供了 4 种风格，且支持文生和图生的风格选择和转换。为保证最佳效果，不推荐风格化与其他功能混用。
2025-01-10
图生视频
以下是关于图生视频的相关内容： 什么是图生视频： 输入一张图片和相应的提示词，清影大模型会将图片转变为视频画面。您也可以只输入一张图片，清影大模型将自行发挥想象力，把图片扩展为一段有故事的视频。 图生视频的技巧： 1. 选用尽可能清晰的图片，上传图片比例最好为 3:2（横版），清影支持上传 png 和 jpeg 图像。如果原图不够清晰，可采用分辨率提升工具将图片变清晰。 2. 提示词要“简单清晰”。可以选择不写 prompt，直接让模型自己操控图片动起来；或者明确您想动起来的“主体”，并以“主体”+“主题运动”+“背景”+“背景运动”的方式撰写提示词（一定要有主体，不然可能会出现 AI 狂乱景象）。如果不明确大模型如何理解您的图片，推荐将照片发送到清言对话框进行识图，明确“主体”的描述。 相关示例： 在 PixVerse V3 中图生视频生成视频的比例取决于上传图片的比例，提示词遵循相关规则。为您展示几个示例帮助拓展创意，如：“The camera wraps around to the left and the girl turns,with a blur of fast moving people in the background and the girl relatively still.”（镜头向左旋转，女孩转身，背景中快速移动的人模糊不清，而女孩相对静止。）、“The monkey wear sunglasses and have a cigar while pointing forward with a confident gesture.”（猴子戴上墨镜，叼着雪茄，以自信的姿态指向前方。） 风格化： Style 为您提供了 4 种风格，且支持文生和图生的风格选择和转换。为保证最佳效果，不推荐风格化与其他功能混用。 其他相关信息： 在离谱村的共创故事中，图片是用 Midjourney 生产，图生视频每张图片转视频都进行了大量的尝试，各种工具轮番上场，如 pika，runway，Pixverse。中间还找了 ZHO 做技术指导，相关视频已公测。配音部分都是用 Audiobox 捏出来的，为了离谱熊声线的一致性，用了 GPTsovits 对离谱熊的声音做了专属的训练。
2024-12-31
图生视频的工具或者网站都有哪些比较好用的
以下是一些好用的图生视频的工具或网站： 1. Pika：出色的文本生成视频AI工具，擅长动画制作，支持视频编辑。 2. SVD：若熟悉Stable Diffusion，可安装此最新插件，能在图片基础上直接生成视频，由Stability AI开源。 3. Runway：老牌AI视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频AI，能将原视频转换成各种风格的视频。 5. Sora：由OpenAI开发，可生成长达1分钟以上的视频。 更多的文生视频网站可查看：https://www.waytoagi.com/category/38 。 另外，在图生视频的实际应用中，如制作全国节约粮食日AI短片《爷爷，我会好好吃饭》时，主要使用了Runway和Dreamina。Runway的运动笔刷好用，可控制画面元素的小幅度运动轨迹；Dreamina在人物动效的稳定度上表现较好。但即使Runway有运动笔刷，仍存在一定不可控性，后期剪辑可能需要使用诸如AE的工具做动效。
2024-12-30