Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒，我要如何利用agent自动流实现这个模型可以生成更长，更可靠质量的视频呢

Answer

要利用 agent 自动流实现生成更长、更可靠质量的视频，您可以参考以下几种模型和方法：

  1. PixVerse V2 模型：
    • 8 秒的视频生成需要花费 30 Credits，5 秒的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。
    • 目前仅支持 16:9 画面比例的视频生成。
    • 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。
    • 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。
  2. Meta Movie Gen 模型：
    • Movie Gen 由视频生成和音频生成两个模型组成。
    • Movie Gen Video：30B 参数 Transformer 模型，可以从单个文本提示生成 16 秒、16 帧每秒的高清视频，相当于 73K 个视频 tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。
    • Movie Gen Audio：13B 参数 Transformer 模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。
    • Movie Gen Video 通过预训练-微调范式完成，在骨干网络架构上，它沿用了 Transformer，特别是 Llama3 的许多设计。预训练阶段在海量的视频-文本和图像-文本数据集上进行联合训练，学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。
  3. Sora 模型：
    • 文生视频，图生视频，视频生视频，支持多种视频定制选项，如分辨率（从 480p 到 1080p）、视频长度（从 5 秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人 prompt）。
    • 故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。
    • 混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。
    • 高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。
    • 对于已经拥有 OpenAI Plus 或 Pro 账户的用户，Sora 的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数；OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora 的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。
Content generated by AI large model, please carefully verify (powered by aily)

References

PixVerse V2 使用教程

8s的视频生成需要花费30Credits，5s的视频生成需要花费15Credits，且只能使用PixVerse V2模型，生成时请注意模型选择。目前仅支持16:9画面比例的视频生成。[heading2]文生视频[content]点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。[heading2]图生视频[content]点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。

新王登基-Meta发布Meta Movie Gen文生视频模型

具体来说Movie Gen由视频生成和音频生成两个模型组成。Movie Gen Video：30B参数Transformer模型，可以从单个文本提示生成16秒、16帧每秒的高清视频，相当于73K个视频tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得SOTA性能。Movie Gen Audio：13B参数Transformer模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。Movie Gen Video通过预训练-微调范式完成，在骨干网络架构上，它沿用了Transformer，特别是Llama3的许多设计。预训练阶段在海量的视频-文本和图像-文本数据集上进行联合训练，学习对视觉世界的理解。这个阶段的训练数据规模达到了O(100)M视频和O(1)B图像，用以学习运动、场景、物理、几何、音频等概念。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。扩散模型通过从数据分布逐渐加入噪声，然后在推理时通过逆过程去除噪声来生成样本，用大量的迭代步数逐步逼近目标分布。流匹配则是通过直接学习样本从噪声向目标数据分布转化的速度，模型只需通过估计如何在每个时间步中演化样本，即可生成高质量的结果。

视频模型：Sora

最新消息sora.com域名已经部署好[Sora实测案例](https://waytoagi.feishu.cn/wiki/MKgKw9hg8iZZp1kKYQ4c0B6unWg)2点直播链接：https://www.youtube.com/watch?v=2jKVx2vyZOY有博主已经做了提前测试This Video is AI Generated!SORA Reviewhttps://www.youtube.com/watch?v=OY2x0TyKzIQ12月10日已上线[heading2]Sora功能：[content]文生视频，图生视频，视频生视频1.视频生成：文生视频，图生视频，视频生视频支持多种视频定制选项，如分辨率（从480p到1080p）、视频长度（从5秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人prompt）2.故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。3.混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。4.高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。[heading2]费用和订阅套餐：[content]对于已经拥有OpenAI Plus或Pro账户的用户，Sora的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus订阅：每月50次视频生成次数。OpenAI Pro订阅：无限次慢速队列生成。500次正常速度的视频生成次数。额外信息：用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。

Others are asking
我需要的是，根据我给出的文本生成分镜，且可制作对应视频的ai
以下是为您提供的根据给出的文本生成的相关信息： 分镜创作流程和方法： 1. 在歌曲创作完成后，根据音乐进行画面生成。画面分为三类：有歌词部分使用 Midjourney 生成，无歌词部分如前奏使用 SD 制作字体设计，转场部分使用 Deforum 制作。 2. 让 GPT 按照每段歌词生成一系列的 MJ 提示词，作为画面参考，再进行调整和编写。 3. 如开篇部分，需自行构思，如通过弹古筝女子引入，为增加神秘感，从女子背景开始，镜头慢慢拉近。若 MJ 出图不理想，可先使用 DALL·E3 绘制构图，再用垫图方式给到 MJ。 不同案例中的分镜特点： 1. 《心 Heart 创作分享》中，分镜完全根据感觉，强调梦境，主色调为蓝色，提示词末尾加上胶片拍摄、蓝色等关键词。因个人制作，未设置复杂元素和构图，挑图大感觉对即可。 2. 视频化部分：分两个部分，Ai 图生视频部分使用 Runway 和 Dreamina，Runway 完成动态感要求不高但质感趋向实拍的画面，Dreamina 实现高动态幅度画面，如电视机里气球漂浮、心形候鸟飞走等，还通过首尾帧叠加剪辑实现时间流逝和穿越感。 AI 视频生成的应用场景： 1. 专业创作者（艺术家、影视人等）：AI 生成能为作品赋予独特风格和想象力，提供灵感，配合高超剪辑技巧和叙事能力可制作出超乎想象的效果。低成本动捕能大幅降低后期制作门槛和成本，自动识别背景生成绿幕、视频主体跟随运动等能辅助视频编辑，为后期制作增加更多空间。目前主要集中在音乐 MV、短篇电影、动漫等方向，一些 AI 视频平台也积极寻求创意合作，为创作者提供免费支持。 2. 自媒体、非专业创作者：这部分人群通常有具体且明确的视频剪辑痛点，如科技、财经、资讯类重脚本内容的视频制作时需花费大量时间找素材和注意版权问题，一些产品已在发力脚本生成分镜、视频，帮助降低制作门槛。不同平台适合不同内容形式，OpusClip 提供的长视频转短视频致力于解决同一素材在不同平台分发导致制作成本升高的痛点。 3. 企业客户：对于资金不足的小企业、非盈利机构，AI 视频生成可大幅缩减成本。
2025-03-06
我想要一个根据我的文本生成对应视频的ai，最好是免费的。
以下为您推荐一些可以根据文本生成对应视频且有免费选项的 AI 工具： 1. Pika Labs：被网友评价为目前全球最好用的文本生成视频 AI。目前内测免费。其生成服务托管在 discord 中，操作步骤如下： 加入 Pika Labs 的 Discord 频道：在浏览器中打开链接 https://discord.gg/dmtmQVKEgt ，点击加入邀请。 在 generate 区生成：左边栏出现一只狐狸的头像就意味着操作成功了，如果没成功点开头像把机器人邀请至服务器。接着在 Discord 频道的左侧，找到“generate”子区，随便选择一个进入。 生成视频：输入/create，在弹出的 prompt 文本框内输入描述，比如/create prompt:future war,4Kar 16:9，按 Enter 发送出去就能生成视频了。也可以输入/create 后上传本地图片生成对应指令动态效果。喜欢的效果直接右上角点击下载保存到本地。如果对生成的视频不满意，可点击再次生成按钮优化效果。 2. Hidreamai（国内，有免费额度）：支持文生视频、图生视频，提示词使用中文、英文都可以。文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可以生成 5s 和 15s 的视频。网址：https://hidreamai.com//AiVideo 3. ETNA（国内）：由七火山科技开发的文生视频 AI 模型，可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。支持中文，时空理解。网址：https://etna.7volcanoes.com/ 此外，还有以下工具供您参考： 1. SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 2. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 3. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 4. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38 （内容由 AI 大模型生成，请仔细甄别）
2025-03-06
视频实时翻译
以下是为您提供的关于视频实时翻译的相关信息： 在官方发布的视频中，GPT 能够帮助英语用户和西班牙语用户进行实时翻译，取代了翻译官的角色，准确清晰地表述用户想要表达的内容。 StreamSpeech 是一种实时语言翻译模型，能够实现流媒体语音输入的实时翻译，输出目标语音和文本，具有同步翻译、低延迟的特点，并能展示实时语音识别结果。
2025-03-06
怎么可以通过好好利用“waytoagi”生成视频？从文字到图片最后到视频？具体可以用到哪些工具？
以下是关于如何通过“waytoagi”从文字生成视频以及相关工具的介绍： 在视频制作中，对于规避多人脸崩的镜头，AI生成多人脸易崩，可借助工具修复，如放大工具。终极解决办法是抽出有问题的帧进行修复，但时间成本高，也可换脸，但存在光影和边缘模糊等问题。 解决文字糊掉的问题，推荐使用将 2D 图片转成 3D 效果的工具，用可灵也能在很大程度上保持文字不变。 视频补帧一般使用 top video 黄玉，美图工具 still 可氪金提升视频帧率和画质，但对显卡要求高。 处理团队意见分歧，在传统片子和 AI 片子中，若对镜头或节点分歧较大，一般听写本子和拆分镜的人的意见。 扩图工具可用吉梦扩图，一次只需一个积分，操作方便，如上传图片后调整尺寸和扩图范围。 去水印工具如 HID 工具，还有很多其他去水印工具可选择。 利用现有工具生成艺术字和图片的流程：先点导入参考图，选择免费无版权且字体不太细的字，通过设置边缘轮廓或景深、参考程度、添加关键词等生成，还可进行细节修复和超清放大。利用参考图改变生成效果，参考程度可影响生成结果，不同风格的参考图能带来不同效果。生成视频和首尾帧，多生成几张图制作视频，通过首尾帧让图片有变化效果，但要注意写好提示词。同时，收集参考图时注意版权，可先在其他地方生成保存再当参考图。 以下是一些文字生成视频的 AI 产品： Pika：擅长动画制作，并支持视频编辑。 SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但收费。 Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看： 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-03-06
如何利用ai把一段文字,变成视频里的人说的话
以下是利用 AI 将一段文字变成视频里人说的话的步骤： 1. 准备文字内容： 可以是产品介绍、课程讲解、游戏攻略等任何您希望推广或让大家了解的文字。 您也可以利用 AI 生成这段文字。 2. 制作视频： 使用剪映 App ，电脑端打开点击“开始创作”。 选择顶部工具栏中的“文本”，点击默认文本右下角的“+”号，为视频添加文字内容轨道。 在界面右侧将准备好的文字内容替换默认文本内容，这将为数字人提供语音播放的内容以及生成相对应的口型。 3. 生成数字人： 在显示区域拖动背景图的角将其放大到适合尺寸，并将数字人拖动到合适位置。 点击文本 智能字幕 识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 4. 为视频加入旁白（人物配音）： 打开剪映，点击左上角菜单 文本，从默认文本开始，点击默认文本。 在右边文本框输入文字，可以是人物对话或短片旁白介绍。 输入文字后，点击上面菜单栏 朗读。 在朗读下面有克隆音色和文本朗读两个按钮。 克隆音色步骤：点击克隆音色 点击克隆（电脑版未检测到麦克风时无法使用，手机版可直接点击开始录制）。 至此，数字人视频就完成了，点击右上角“导出”按钮导出视频以作备用。如果希望数字人换成自己希望的面孔，需要用另一个工具来进行换脸。
2025-03-06
如何建立数字人视频口播
建立数字人视频口播可以通过以下几种方式： 1. 利用剪映： 优势：作为字节跳动旗下产品，在抖音平台广泛应用，海外版 CapCut 成绩斐然。具有多项 AI 功能，能在编辑器内完成脚本生成、语音克隆、数字人口播等环节。 下载地址：剪映 制作流程：打开剪映，添加文本到文字轨道并修改文字，点击朗读进行声音克隆（念一句话即可完成），选择喜欢的数字人形象并换上克隆音色，一键智能生成字幕，调整文字样式并校准。 2. TecCreative 创意工具箱： 数字人口播配音：输入口播文案，选择期望生成的数字人形象及目标语言，即可生成数字人口播视频。操作指引：输入口播文案——选择目标语言——选择数字人角色——选择输出类型——点击开始生成。 图片换脸：上传原始图片和换脸图片，一键实现素材换脸。操作指引：上传原始图片——上传换脸图片——点击开始生成。图片大小上限 5M，支持 JPG、PNG 格式。 视频换脸：自动识别视频中的人脸并替换。操作指引：上传原始视频——上传换脸图片——点击生成。 音频合成数字人：上传音频文件，基于音频合成对应的数字人视频。操作指引：上传音频文件——选择数字人角色——选择输出类型——点击开始生成。音频文件支持 MP3 和 WAV 格式，文件大小上限 5M。 AI 配音：多语种智能配音，区分男声和女声。操作指引：输入需配音文案——选择音色——点击立即生成。注意输入的配音文案需和选择音色语种保持一致。 3. 其他工具： HEYGEN： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法：点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片，上传后效果在 My Avatar 处显示，点开大图后，点击 Create with AI Studio 进入数字人制作，写上视频文案并选择配音音色，也可以自行上传音频，最后点击 Submit 得到数字人视频。 DID： 优点：制作简单，人物灵活。 缺点：免费版下载后有水印。 使用方法：点击网址，点击右上角的 Create vedio，选择人物形象，可添加照片或使用给出的形象，配音时可选择提供文字选择音色或直接上传音频，最后点击 Generate vedio 生成视频，打开生成的视频可下载或分享。 KreadoAI： 优点：免费，功能齐全。 缺点：音色很 ai。 使用方法：点击网址注册后获得 120 免费 k 币，选择“照片数字人口播”的功能，点击开始创作，选择自定义照片，配音时可选择提供文字选择音色或直接上传音频，打开绿幕按钮，点击背景添加背景图，最后点击生成视频。
2025-03-06
怎么在AI文生图中精准的输出想要的文字
要在 AI 文生图中精准输出想要的文字，可以参考以下方法： Recraft 模型： 提供提示词加上文本位置，因为模型获得的输入数据越多，越容易产生精确输出。遵循指令比仅理解提示词更容易。 Tusiart 模型： 定主题：明确生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找内容重叠的 lora 以控制图片效果及质量。 ControlNet：可控制图片中特定的图像，如人物姿态、生成特定文字等，属于高阶技能。 局部重绘：下篇再学。 设置 VAE：选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，用英文半角逗号隔开，不用管语法和长句。 负向提示词 Negative Prompt：用英文写避免产生的内容，同样用单词和短语组合，用英文半角逗号隔开，不用管语法。 采样算法：一般选 DPM++2M Karras，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据个人喜好和需求选择。 Liblibai 模型： 定主题：明确生成图片的主题、风格和表达的信息。 选择 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找内容重叠的 lora 以控制图片效果及质量。 设置 VAE：选择 840000 即可。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，使用单词和短语组合，用英文半角逗号隔开，不用管语法和长句。 负向提示词 Negative Prompt：用英文写避免产生的内容，同样用单词和短语组合，用英文半角逗号隔开，不用管语法。 采样方法：一般选 DPM++2M Karras，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据个人喜好和需求选择。 生成批次：默认 1 批。
2025-03-06
我想大规模进行文生图，然后图生视频，用什么方案比较好
以下是一些大规模进行文生图然后图生视频的方案： 1. 可以选择大语言模型 chatgpt、kimi 进行剧本分镜设定，文生图使用 midjourney 生成视觉画面，图生视频选择即梦 dreamina 制作动态画面，suno 音乐编曲，ondoku 主角台词配音，视频剪辑使用剪映。同时，视频中的小部分音效可在网上无版权下载，剪映中也有大量音效可用。 2. 对于视频的大部分片段，可以用 runway（https://app.runwayml.com/）制作，少数片段用即梦（https://jimeng.jianying.com/aitool/home）的动效画板和首尾帧。登录 runway 账户后，在首页左侧点击“Text/Imagine to Video”，上传图片，更改模型版本、输入提示词、修改生成的视频时长等。 3. 以下是一些图生视频模型的特点（从高到低排序）： pd 2.0 pro：即梦生成的画面有点颗粒感，p2.0 模型理解能力更强，更适合连续运镜，适合做一些二次元动漫特效。 luma 1.6：画面质量挺好，但价格昂贵。 可灵 1.6 高品质：表现出色。 海螺01live：文生视频比图生视频更有创意，图生也还可以，但大幅度动作下手部会出现模糊，整体素质不错，价格较贵。 runway：画面质量不算差，适合做一些超现实主义的特效、特殊镜头。 智谱 2.0：画面特效出众，价格便宜，量大，但整体镜头素质稍差。 vidu1.5：适合二维平面动画特效，大范围运镜首尾帧出色，但价格贵。 seaweed 2.0 pro：适合动态相对小、环绕旋转运镜动作小的情况。 pixverse v3 高品质：首尾帧表现好，画面美学风格有待提升。 sora：不好用，文生视频较强，但图生视频抽象镜头多，不建议使用。
2025-03-06
分析文生视频怎么用
文生视频的使用分析如下： 优势：制作便捷高效，能提供多元的创作思路。 缺点：较难保证主体或画面风格的稳定性。 主要使用场景：更多作为空镜头、非叙事性镜头、大场面特效镜头的制作。 实际运用案例： 《科幻预告片》：通过对同类型视觉元素的空镜头制作，利用“爆破”等优质表现的画面作为主要节奏点，制作出充满紧张感的科幻电影伪预告片。 《雪崩灾难片预告》：根据“雪崩”主题，设计多组空镜头、大场面镜头组合，通过节奏感较强的剪辑，制作出以简单故事线串联而成的预告片。 文字生成视频的 AI 产品有： Pika：擅长动画制作，支持视频编辑。 SVD：可在 Stable Diffusion 图片基础上直接生成视频。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 不同文生视频模型的特点（从高到低排序）： |模型|特点（优缺）| ||| |海螺|语意遵循不错，模型解析有待提高，自带电影滤镜，但有些用力过猛，得益于海量的影视数据| |可灵 1.5|颜色失真，缺少质感，偏科严重，物理规律和提示词遵循较强| |智谱|语意遵循，质感较差，画质一言难尽| |mochi|动态丰富，想象力丰富，美学质感较好| |pd 2.0 pro|PPT 效果，训练数据较少，但是联想启发性很好| |runway|空间感强，语意遵循较差，流体效果一绝| |Seaweed 2.0 pro|质感略弱于可灵 1.5，整体感觉师出同门| |sora|运镜丰富，物理逻辑混乱| |Pixverse v3|动态稳，丝滑，整体美学强于可灵 1.5| |luma 1.6|语意遵循差，提示词随便，动起来算我输| 更多的文生视频网站可查看：https://www.waytoagi.com/category/38 。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-03-05
文生图
以下是关于文生图的详细教程： 1. 定主题：明确您需要生成一张具有何种主题、风格和表达信息的图。 2. 选择基础模型 Checkpoint：根据主题，选择内容贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora：基于生成内容，寻找重叠的 lora 以控制图片效果和质量，可参考广场上好看的帖子中使用的 lora。 4. ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 即可。 7. Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语组合，用英文半角逗号隔开，无需管语法和句子长度。 8. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，同样是单词和短语组合，用英文半角逗号隔开，无需语法。 9. 采样算法：一般选 DPM++2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 时，采样次数一般在 30 40 之间。 11. 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图工具： 1. Tusiart 2. Liblibai 3. 腾讯混元 4. luma 5. Recraft 6. 文生图大模型 V2.1L（美感版） 7. 美图奇想 5.0 8. midjourney 9. 快手可图 10. Flux.1.1 11. Stable Diffusion 3.5 Large 12. Imagen 3 网页版 以下是一个提示词示例：赛博哥特时尚摄影，风格化的身材瘦高细长的男性，类似《质量效应》中的生物机械两栖类星种植物外星怪物，身着全套赛博朋克街头服饰。机械天使手持超级等离子步枪，融合本・埃尔特、库尔特・帕普斯坦、亚历杭德罗・阿尔瓦雷斯的风格，色调为深海蓝色与靛蓝色，类似漫威漫画风格，带有幽灵般的形态，青蛙核风格，身形拉长，超写实细节，纤细，3D 雕刻感，石板灰、丁香色、奶油冰棒色、铜色、薄荷绿，极简主义，烟熏眼影，亮白色凸起的生物形态点状图案，发光的眼睛，发光的反向图案背景，色彩鲜艳，发光的未来主义赛博朋克盔甲与武器，变焦模糊，空灵的打光，逆光
2025-03-04
文生图在线工具
以下是一些常见的文生图在线工具： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和用户友好的界面设计而受欢迎，在创意设计人群中流行。 在 WaytoAGI 网站（https://www.waytoagi.com/category/104），可以查看更多文生图工具。 Stability AI 推出的基于 Discord 的媒体生成和编辑工具的文生图使用方法： 1. 点击链接进入官方 DISCORD 服务器：https://discord.com/invite/stablediffusion 。 2. 进入 ARTISAN 频道，任意选择一个频道。 3. 输入/dream 会提示没有权限，点击链接，注册登录，填写信用卡信息以及地址，点击提交，会免费试用三天，三天后开始收费。 4. 输入/dream 提示词，和 MJ 类似。 5. 可选参数有五类： prompt（提示词）：正常文字输入，必填项。 negative_prompt（负面提示词）：填写负面提示词，选填项。 seed（种子值）：可以自己填，选填项。 aspect（长宽比）：选填项。 model（模型选择）：SD3，Core 两种可选，选填项。 Images（张数）：1 4 张，选填项。 Tusiart 文生图的简易上手教程： 1. 定主题：确定需要生成的图片的主题、风格和表达的信息。 2. 选择基础模型 Checkpoint：按照主题找内容贴近的 checkpoint，如麦橘写实、麦橘男团、墨幽人造人等效果较好。 3. 选择 lora：寻找内容重叠的 lora 帮助控制图片效果及质量。 4. ControlNet：控制图片中一些特定的图像，如人物姿态、生成特定文字、艺术化二维码等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 这个即可。 7. Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语的组合，用英文半角逗号隔开，不用管语法和长句。 8. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，单词和短语组合，用英文半角逗号隔开，不用管语法。 9. 采样算法：一般选 DPM++2M Karras，也可留意 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 11. 尺寸：根据个人喜好和需求选择。
2025-03-03
有哪些平台提供文生图API
以下是一些提供文生图 API 的平台： Coze：在国内低代码 Agent 平台中体验较好，即使即将收费但仍具性价比。其 API 更新开放了多模态对话和知识库修改能力，可玩性增强。通过 API 可在微信中实现多种图片功能，如重绘风格、微调内容等。使用时需在 chatgptonwechat 中的 config.json 中配置自己的 Coze API Key 和 Coze Bot ID。 Stability AI：发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo，可通过其开发者平台 API 使用。ComfyUI 中的 Stable Diffusion 3 API 已更新，目前支持多种比例的 SD3 文生图，使用时先申请 API 再填入 config.json 文件，每账户有 25 免费积分，SD3 每张图 6.5 积分。项目地址：https://github.com/ZHOZHOZHO/ComfyUIStableDiffusion3API 。需注意 SD3 图生图模式不支持选择比例，SD3 Turbo 模型不支持负面提示词。
2025-03-02
你用的大模型是？
我所使用的大模型相关信息未明确告知。但为您介绍一下大模型的相关知识： 大模型指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行“文本生成”“推理问答”“对话”“文档摘要”等工作。 大模型的训练和使用过程可以类比为“上学参加工作”： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。比如：The cat sat on the mat，会被分割成“The”“cat”“sat”等的同时，会生成相应的词汇表。
2025-03-06
yolov 和resnet咋做成大模型？
要将 YOLOv 和 ResNet 做成大模型，需要考虑以下几个方面： 1. 数据准备：收集大量的相关数据，并进行清洗、预处理和标注，以满足模型训练的需求。 2. 模型架构调整：根据具体任务和数据特点，对 YOLOv 和 ResNet 的架构进行适当的修改和优化，例如增加层数、调整通道数等。 3. 训练策略：选择合适的优化算法、学习率调整策略等，以提高训练效果和收敛速度。 4. 计算资源：大模型的训练需要强大的计算资源，包括硬件设施和云计算平台等。 此外，从相关的研究和趋势来看，大模型架构呈现出日益明显的混合趋势，多种有代表性的技术路径在不同程度保留 Transformer 架构优势的基础上，结合 RNN、CNN 等思想做出创新发展。例如类循环神经网络模型（以 RWKV 为代表）、状态空间模型（以 Mamba 为代表）、层次化卷积模型（以 UniRepLKNet 为代表）、多尺度保持机制模型（以 RetNet 为代表）、液体神经网络模型（以 LFM 为代表）等。但需要注意的是，将 YOLOv 和 ResNet 做成大模型是一个复杂的过程，需要深入的研究和实践。
2025-03-06
大模型调优
大模型调优的方法主要包括以下几个方面： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能可能提升一倍左右。 2. 更换 embedding 模型：将默认的 embedding 模型如 LangChain Chatchat 的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工对文件重命名，上传相同文件构建知识库，同时在构建时勾选【开启中文标题加强】选项，重命名文件对结果提升不明显，但勾选该选项后回答的无关信息减少，效果有所提升。 从产品视角考虑大模型调优，主要从以下两个维度分析问题： 1. Context optimization（上下文优化）：所创建的 LLM 应用若需要特定数据、系统和流程等预训练 LLM 中缺失的知识和信息，需进行上下文优化，如企业内部智能问答机器人，应将相关知识提供给大模型，RAG 是解决该问题的技术。 2. LLM optimization（大模型优化）：在进行足够的 prompt 工程后，若 LLM 应用在垂直领域表现仍不足或希望输出特定格式风格等稳定性不及预期，可考虑微调，且需与良好的 prompt 工程结合。 大模型的安全保障可通过对齐，也叫指令调优实现，包括监督微调、获取 reward model 与进行强化学习调整输出分布。但即使如 GPT4 和 Claude 等模型已几乎不回复危险问题，Alignment 仍不足以防护所有安全问题，存在越狱现象。LLAMA2 专门使用安全有监督微调确保语言模型安全。强化学习能让模型根据人类反馈调整分布，面对训练分布外数据也可能学会拒绝不当回答。
2025-03-06
写PPT用哪个大模型比较好
以下是关于写 PPT 可用的大模型及相关信息： 1. 在将 PPTX 格式文件转换为 MD 语言文本方面，Github 上有一个简单项目，可在此基础上接大模型做进一步开发。原项目地址：https://github.com/ssine/pptx2md 。 2. 对于自动 PPT 翻译脚本，推荐使用讯飞大模型。新账户免费送 200 万 tokens，有效期 3 个月。前期准备包括根据自己的 API 资源提前设置，如在 https://xinghuo.xfyun.cn/ 进行相关操作。 3. 关于 PPT 设计相关的 prompt： 主题聚焦：选择中心主题，围绕其设计每张幻灯片。 故事叙述：将内容想象成故事，每张幻灯片是一部分。 视觉元素：利用图片、图表和图标传达信息。 颜色与字体：选择匹配主题和内容的颜色和字体。 简洁表达：每张幻灯片少用文字，突出关键信息。 互动性：加入互动元素，如问答或观众参与活动。 案例分析：使用真实或假设案例说明观点。 对比与比较：通过对比强调观点。 未来视角：展示观点对未来的影响。 结论与行动：结尾清晰总结观点，提供行动指南。
2025-03-06
现在那个大模型效率好，更准确
以下是关于大模型效率和准确性的相关信息： 8 月正式上线的国内大模型： 北京企业机构：百度（文心一言）https://wenxin.baidu.com 、抖音（云雀大模型）https://www.doubao.com 、智谱 AI（GLM 大模型）https://chatglm.cn 、中科院（紫东太初大模型）https://xihe.mindspore.cn 、百川智能（百川大模型）https://www.baichuanai.com/ 上海企业机构：商汤（日日新大模型）https://www.sensetime.com/ 、MiniMax（ABAB 大模型）https://api.minimax.chat 、上海人工智能实验室（书生通用大模型）https://internai.org.cn 能生成 Markdown 格式的：智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的：昇思（可以对文本进行是否由 AI 生成的检测，类似论文查重，准确度不错）、书生 受限制使用：MiniMax（无法对生成的文本进行复制输出，且只有 15 元的预充值额度进行体验，完成企业认证后可以进行充值） 特色功能：昇思——生图，MiniMax——语音合成 阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中，广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品。 让大模型更好工作的关键点： 明确目标和需求，避免广泛需求导致模型产出不佳。 设定明确角色，使模型选择明确知识范围，输出更精确结果。 让大模型一步一步执行，类似于大脑的快系统和慢系统。 对大模型礼貌效果好，可能与使用礼貌用语的数据质量较高有关。 使用思维链的行为模式，让模型将任务拆解并按特定任务思考演进。 OpenAI 的新模型 o1preview/mini： 复杂问题思考过程长达 30s，简单问题 5 10s。 使用条数少，冷却时间长，长达 7 天。 模型发展趋势：生成式应用场景有限，推理模型准确率不断攀升，可渗透到更多行业和高精尖业务中。不要因新模型推理速度慢而忽视其最终结果的正确性，可通过增配硬件解决速度问题。
2025-03-06
有无财务人员可使用的大模型？
以下是一些财务人员可使用的大模型相关信息： 1. Coze 记账管家：通过大语言模型把用户输入的非结构化记账数据转变成结构化数据存入数据库。工作流程包括定义提示词，让大模型拆解识别记账事项、发生时间、变动金额等，并将其存入数据库。 2. 金融服务业中的应用： 客户服务代表：新的客户服务代表可使用经过过去 10 年银行部门客户服务通话训练的大语言模型，快速生成问题答案，减少培训时间。 贷款员：生成式 AI 模型可在相关系统数据上训练，贷款员提供客户名称即可生成贷款文件。 质量保证：生成式 AI 可加速银行和金融科技公司确保符合监管要求的过程。 3. 金融行业·大模型挑战赛：举办“2024 金融行业·大模型挑战赛”，整合公开金融数据打造多轮问答评测赛题，提供基础数据表，参赛选手需采用 GLM4 系列模型 API，可运用多种技术手段完成赛题，设有中文和英文测试集。主办单位为清华大学基础模型研究中心，有多个单位支持。
2025-03-06
图生图
图生图是一种在 AI 绘画领域常见的功能： 概念与功能：上传图片后，AI 会根据图片、选择的模型、输入的 prompt 等信息进行重绘。重绘幅度越大，输出的图与输入的图差别越大。 相关参数： 尺寸：影响生成图片的大小，太小或太大都可能影响生成效果，如需高清图，可设置中等尺寸并用高分辨率修复。 采样算法：决定让 AI 用何种算法生图。 采样次数：AI 调整图片内容的次数，越多调整越精密，理论上出图效果更好，但耗时越长，且效果提升并非线性。 提示词相关性：指图像与 prompt 的匹配程度，数字增大图像更接近提示，但过高会使图像质量下降。 随机种子 seed：每张生成的图都有随机种子，固定种子后可进行“控制变量”操作，首次生成图时无种子。 Clip Skip：一般设为 2，早期无需过多关注。 ENSD：eta 噪声种子增量，默认设为 0。 使用方法： 在星流一站式 AI 设计工具中，prompt 输入框下点击“图生图”可上传本地文件，在无限画布中图片功能区也可进行选择。调整“图生图”功能区参数时，参考程度可选择更像原图（小幅度修改基底图像，有限增加元素）、更创意（大幅度修改基底图像，可搭配增强模型加入更多元素）、自定义（自定义修改重绘幅度），还可增加参考纬度、替换图像、转换提示词、同步生图尺寸。 在 FLUX 之 PULID 换脸中，如果没办法科学上网，可注册 bizyair 拿到 key，在 comfyui 中安装最新节点，没有独立显卡的笔记本也可体验。目前 FLUXPULID 只有文生图，图生图可准备两张图，用 joy 反推，将文字贴到 pulid 工作流里，也可合在一个工作流里。
2025-03-05
如何控制图生图的形象和动作呢
要控制图生图的形象和动作，可以参考以下方法： 1. 使用 ControlNet 插件： 姿态约束类预处理器：包含了所有人物信息的预处理器，可将图片发送到图生图，通过“缩放后留白”和提高重绘幅度改变背景，再次发送到图生图使用 ControlNet 中 tile 模型细化，最后使用 SD 放大插件。 自定义动作骨架：在【扩展】【加载扩展列表】中搜索【posex】安装插件，或将插件文件夹拷贝至指定目录，确保软件是最新版本并重启。重启后点击“将图片发送至 ControlNet”，可通过拖动鼠标左键旋转视角、中键缩放视角、右键拖动视角，玩坏了可点击重置镜头和动作。 2. 参考风格 reference：首先进入文生图，填写提示词生成一张图。然后将图片拖入到 ControlNet 中，预处理器选择 reference only，控制模型选择“均衡”，保真度数值越高对图片的参考越强。可以通过添加关键词的方式来改变人物的服装、表情、动作等。 3. 利用 ControlNet 控制姿势：大模型和关键词正常填写生成想要的小姐姐照片，接着鼠标滑到最下面点击“ControlNet”，上传指定姿势的照片并点击“启用”，在“预处理器”和“模型”里选择“openpose”，点击“预览预处理结果”，最后点击生成照片。
2025-02-28
免费的图生视频软件
以下为一些免费的图生视频软件： Runway：可将图片拖进去生成 4 秒视频，但它是收费的，您也可以在闲鱼或淘宝找号。进入官网首页点击“start with image”，直接拖图片进来，动画幅度用 3，5 有时会乱跑，无需等进度条转完可继续放图。 Haiper：有免费额度，网址为 https://haiper.ai/ 。能生成文生视频、图生视频、素描生视频、扩展视频，还能生成 HD 超高清的视频。文生视频支持选择风格、秒数（2s 和 4s）、种子值，图生视频只能写提示词、秒数（2s 和 4s）、种子值。 DynamiCrafter：免费，网址为 https://huggingface.co/spaces/Doubiiu/DynamiCrafter ，可生成 2 秒图生视频，还能做短视频拼长视频。 此外，还有一些相关模型的特点供您参考： |排序（从高到低）|模型|特点（优缺）| |||| |1|pd 2.0 pro|生成的画面有点颗粒感，p2.0 模型很能打，适合做一些二次元动漫特效，理解能力更强，更适合连续运镜| |2|luma 1.6|画面质量挺好，但太贵| |3|可灵 1.6 高品质|YYDS！| |4|海螺01live|文生视频比图生视频更有创意，图生也还可以，但大幅度动作下手部会出现模糊的情况，整体素质不错，就是太贵| |5|runway|画面质量不算差，适合做一些超现实主义的特效、经特殊就容镜头| |6|智谱 2.0|做的一些画面特效挺出圈，适合整过，但是整体镜头素质还差点，好处就是便宜，量大，管饱，还能给视频加音效| |7|vidu1.5|二维平面动画的快乐老家，适合做特效类镜头，单镜头很惊艳，大范围运镜首尾帧 yyds! 就是太贵| |8|seaweed 2.0 pro|适合动态相对小的，更适合环绕旋转运镜动作小的| |9|pixverse v3 高品质|首尾帧能打，就是画面美学风格还有待提升| |10|sora|不好用，文生视频挺强，但图生视频抽象镜头太多，半成品都算不上，不建议使用|
2025-02-26
将婴儿彩超图生成照片的AI提示词
以下是关于将婴儿彩超图生成照片的 AI 提示词相关信息： 在图生图功能中，除了文本提词框，还有图片输入口。可将照片拖入，通过反推提示词的按钮（如 CLIP 可反推出完整含义的句子，DeepBooru 可反推出关键词组）获取提示词，但可能存在瑕疵，需手动补充信息。调整宽度和高度使红框匹配图片，并注意提示词相关性和重绘幅度这两个重要参数。 以生成蜘蛛侠生日海报为例，可在 Midjoureny Feed 中寻找优秀案例，复制 prompt 来跑，如使用“baby spider man”“birthday”等关键词。还可将 prompt 交给智谱清言拆解以获取更多关键词。找到满意的图后记录 seed 值保障一致性，为增加专属定制感可增加细节，如“4 岁男孩”“英文名 Andy”“西瓜（儿子的小名）”等。MJ 擅长创意和高质量图片，但细节处理随机，可通过调整“权重”和“局部重绘”解决。
2025-02-24
根据户型图生成图片
以下是根据您提供的户型图生成图片的相关方法： 使用 StableDiffusion（SD）生成图片： 1. 设置模型和提示词： 大模型：如 ghostmix_v20Bakedvae。 正向提示词：例如 1girl,solo,long hair,looking at viewer,jewelry,earrings,indoors,bangs,dress,blush,plant,multicolored hair,upper body,shelf,pink eyes,window,potted plant,flower,closed mouth,from side,wavy hair,bare shoulders,sleeveless,pink hair,kitchen,breasts,blue dress,white hair,<lora:Colorful portraits_20230715165729000018:1>。 负向提示词：如 EasyNegative,badhandsv5neg,Subtitles,word。 2. 一口气生成多张图，选择合适的一张，使用差异随机种子进行细节微调。 3. 将满意的图发送到图生图。 4. 使用 tile 和脚本放大。 使用 PS Beta 版本 Firefly lmage 3 模型生成图片： 1. 生成图像： 局部生成图像看起来较自然。 英文关键词生成的结果通常比中文好。 2. 参考图像： 产品外形还原效果一般，颜色还原较好。 3. 调整画笔：功能丰富实用。 4. 生成类似的内容：右侧变化可选择生成类似内容，效果尚可。 5. 生成背景： 有添加背景的 3 种方式，包括生成背景、导入背景和油漆桶。 生成背景效果一般，自动抠图并添加蒙版的功能在处理投影的透明区域时存在不足。 6. 增强细节：先生成一个蝴蝶，点击左上角的增强细节图标，效果有一定提升但不明显。 使用 SD 的 ControlNet 插件生成图片： 1. 以某张图为例，将其导入图生图界面。 2. 根据情况选择大模型，如卡通类选择“revAnimated”，真实类选择“Realistic Vision”，效果不好可尝试其他模型。 3. 图生图中重要参数设置： 缩放模式选择“缩放后填充空白”。 按需求调整尺寸。 单批数量可根据需求填写。 加大“重绘幅度”到 0.8 以上。 4. ControlNet 设置： 升级到最新版本，导入图片。 启用插件，控制类型选择“局部重绘”，预处理器选择“inpaint_only+lama”，控制模式选择“更倾向 Controlnet”，缩放模式选择“缩放后填充空白”。 为使风格统一，可增加 reference_only 通道。 5. 点击生成，选择满意的结果。 6. 试验其他图时，可通过反推提示词增加文本控制，新生成部分可能存在色差，需调整参数修正。 7. 以建筑图为例，使用真实系模型扩展，调整尺寸，将图片分别放入“图生图”和“ControlNet”中，点击生成即可。 请注意，不是每一次生成效果都能非常好，可能需要通过调整各项参数来获得理想的图片。
2025-02-21