Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

现在有哪些开源的文生图大模型？

Answer

以下是一些开源的文生图大模型：

关于 Kolors 模型的教学视频：

Kolors 模型能力总结：改进全面，有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，在看到 Kling 视频生成的强大表现，能体现快手的技术实力。

Content generated by AI large model, please carefully verify (powered by aily)

References

工具教程：Kolors 开源模型

2024.07.17🔥Kolors-IP-Adapter-Plus的权重和推理代码已发布！请查看[IP-Adapter-Plus](https://github.com/Kwai-Kolors/Kolors/blob/master/ipadapter)获取更多详细信息。2024.07.12🤗Kolors已支持Diffusers！使用方式可参考[kolors-diffusers](https://huggingface.co/Kwai-Kolors/Kolors-diffusers)或[下面的例子](https://github.com/Kwai-Kolors/Kolors/blob/master/README_CN.md#using-with-diffusers)！感谢Diffusers官方提供的技术支持。2024.07.10🤖Kolors支持了[ModelScope](https://modelscope.cn/models/Kwai-Kolors/Kolors)。2024.07.09💥Kolors支持了[ComfyUI](https://github.com/comfyanonymous/ComfyUI#manual-install-windows-linux)，感谢[@kijai](https://github.com/kijai/ComfyUI-KwaiKolorsWrapper)的工作。2024.07.06🔥🔥🔥我们开源了基于隐空间扩散的文生图大模型Kolors，该模型基于数十亿图文对进行训练，支持256的上下文token数，支持中英双语，技术细节参考[技术报告](https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf)。

工具教程：Kolors 开源模型

|内容标题|作者|类型|链接|备注||-|-|-|-|-||comfyui/kolors可图大模型本地开箱即用|BlueBomm|教学视频|[comfyui/kolors可图大模型本地开箱即用_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1kpaie1EDE/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|ComfyUI portable||最新开源文生图大模型可图本地部署、推理教程，性能超越midjourneyv6、stable diffusion3！|AI算法工程师01|教学视频|[最新开源文生图大模型可图本地部署、推理教程，性能超越midjourneyv6、stable diffusion3！_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1uJ4m1M7Ev/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，公众号||Kolors模型在ComfyUI中二种详细安装方案模型双盘下载报错问题解决环境配置|峰上智行|教学视频|[Kolors模型在ComfyUI中二种详细安装方案模型双盘下载报错问题解决环境配置_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1KS411w7bs/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，商业培训||快手发布首个生成中文文字的开源大模型Kolors，支持中英文提示词，可生成汉字中文，超强的中国元素理解生成能力，Comfyui部署kolors教程|设计师学Ai|教学视频|[快手发布首个生成中文文字的开源大模型Kolors，支持中英文提示词，可生成汉字中文，超强的中国元素理解生成能力，Comfyui部署kolors教程_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1Zr421T77c/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，商业培训|

模型能力简介

Kolors可以说是最近开源的文生图模型中最给力的一个了。从技术报告来看，改进也是很全面的，更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的noise schedule解决高分辨率图加噪不彻底的问题。可以说是目前主流的文生图训练技巧都用上了，实测效果也确实很不错。在看到Kling视频生成的强大表现，不得不让人赞叹快手的技术实力。

Others are asking
如何让文生图，做到风格一致，人物一致，场景风格一致，
要让文生图在风格、人物和场景风格上保持一致，可以参考以下方法： 1. 图片生成工具：可使用 Midjourney 进行图片生成。 2. 画面电影感： 画幅：常用 21:9 的画幅比例，其会影响构图和光影。 Prompt 风格后缀：例如“________.Shot on Sony Venice 2,muted color tones,green and dark gray,awardwinning composition,cinematic scenear 21:9”。 专用摄影机：在 Prompt 里可添加电影专用摄影机，如 RED Helium 8K 等。 3. 人物一致性： 对于主角，可先跑一张定妆照。 利用 Midjourney 的新功能 Cref 保持发型、人脸、衣服，但对亚洲人脸尤其是老人的一致性效果较差，且对画面审美和构图有一定破坏性，能不用则不用，如只有背影时简单描述即可。 4. 场景一致性：目前尚无很好的解决办法，基本随缘。 此外，还可参考以下方式： 1. 生成人物图片：确定人物形象，如“a little girl wearing a yellow floral skirt+人物动作+风格词”，在 Midjourney 中生成满意的人物图像，为确保人物一致性，取“iw 2”。 2. 合成人物和场景：使用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图（“iw 2”），在 Midjourney 中重新生图。
2025-01-23
如何书写文生视频提示词达到连贯效果 并且根据自己的运镜指导运镜
以下是关于如何书写文生视频提示词达到连贯效果并且指导运镜的方法： 1. 在 PixelDance V1.4 中，支持在 prompt 里写入运镜控制，可用自然语言描述想要的镜头变化，例如“镜头环绕口红拍摄”“黑白风格，镜头环绕着戴墨镜的女人拍摄，从她侧面移动到正面，最后聚焦于女人的面部特写”“雨后模糊的玻璃逐渐聚焦，一个男人举着伞，带着一只金毛犬路过”等。 2. 对于更复杂的视频项目，在为 Generate video（beta）编写提示词时，可提供背景或背景故事，有助于生成连贯且引人入胜的序列。同时，Firefly 通常可以模拟真实世界的摄像机工作，可具体说明希望摄像机的角度或移动，如常见的相机方向有特写、广角镜头、平移/缩放/跟踪、从天而降、从下方拍摄等。 3. 在制作商业级的 AI 视频广告时，以汽车内饰片段为例，登录 runway 账户，在首页左侧点击“Text/Imagine to Video”，上传图片，更改大模型版本，在提示词方框中输入运镜方式，如“Roll Clockwise Shot slowly”（摄像机围绕垂直轴顺时针旋转）。不想动脑时可根据分镜表建议填写运镜方式，也可参照“运镜方式大全”。注意提示词不宜过多，可通过改变提示词、生成时长等多尝试几次。
2025-01-23
国内文生图模型
以下是关于国内文生图模型的相关信息： Recraft 模型：用 8 个月自研模型，包含处理数据的模型、标注工作、训练 OCR 模型、新构建的数据集等。Recraft 生成带有长文本图像的流程图解，但存在生成默认是外国面孔而非亚洲面孔且生成的亚洲人不太自然的情况，可能与数据集有关。只有少数公司真正从头训练模型，创建自己的模型困难且成本高，需要超强团队和资金。 模型能力方面： 文本编码器的能力是文生图模型语义理解能力的关键。一开始大部分模型使用 CLIP 作为文本编码器，但存在一些问题。新的模型纷纷优化文本编码器能力，如引入更大更强的 T5XXL 或结合多个特征，但开源模型在中文生图方面能力一般。 腾讯开源的 HunyuanDiT 是较可用的中文生图模型，但仍存在优化空间。 Kolors 是最近开源的给力文生图模型，改进全面，技术实力强。
2025-01-21
文生成图的ai工具
以下是一些文生成图的 AI 工具： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和用户友好的界面设计而受欢迎，在创意设计人群中流行。 您还可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104 ）查看更多文生图工具。 如果您想将小说做成视频，可以参考以下步骤和工具： 步骤：通常包括文本分析、角色与场景生成、视频编辑与合成等。 工具与网址： 1. Stable Diffusion（SD）：AI 图像生成模型，基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney（MJ）：适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/
2025-01-19
我想做一个猫咪做饭的短视频，有五个分镜头。我先用文生图生成图片，在用图片生成视，最后剪辑在一起。问题是文生图的时候，生成的图片，效果不太理想
以下是为您提供的一些可能有助于改善文生图效果不理想问题的建议： 1. 仔细检查您输入的画面描述，确保描述清晰、具体、准确，包含足够的细节和特征，以便模型更好地理解您的需求。 2. 尝试调整关键词和描述的侧重点，突出您想要的关键元素，比如猫咪做饭的动作、表情、厨房环境等。 3. 更换不同的文生图模型或工具，有些模型可能在某些特定类型的图像生成上表现更出色。 4. 参考其他优秀的类似主题的图像，学习其构图、色彩、光影等方面的处理方式，从而优化您的画面描述。 5. 多次尝试生成，并对每次生成的结果进行分析和总结，找出问题所在，逐步改进描述。
2025-01-17
有哪些好用的文生图ai
目前好用的文生图 AI 工具主要有以下几种： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格可选，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计，能将上传照片转换为芭比风格，效果很好。 此外，还有一些受欢迎的文生图工具： 1. DALL·E：由 OpenAI 推出，能根据输入文本描述生成逼真图片。 2. StableDiffusion：开源工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量图像生成效果和用户友好界面设计而受欢迎，在创意设计人群中流行。 您可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。但这些工具仍存在一些局限，如偶尔性能不稳定、生成内容不当等问题。
2025-01-17
你是一名资深程序员和经验丰富的编程教授，能够以通俗保姆式的方法教会小白从0开始编程序。现在要你教我完成如下任务：我需要编写一个程序，能够每天和不同的文生图大语言模型对话，生成不同场景下的机器人设计图片。应该怎么一步步实现？
以下是为您提供的从 0 开始编写一个能够每天和不同的文生图大语言模型对话，并生成不同场景下机器人设计图片的程序的步骤： 首先，对于小白来说，可以参考以下教程进行学习和操作： 1. 张梦飞的【保姆级】一步一图，手把手教你把 AI 接入微信： 重点感谢@熊猫大侠的不厌其烦的答疑解惑，并推荐@熊猫大侠的老王。 作者是看着 WaytoAGI 里大佬的文章学习制作的。有代码基础的同学，可以直接移步到这三篇教程中。 本篇教程适合“小白中的小白”，简单粗暴，不做讲解，复制粘贴即可。一步一图，保姆级指引。 本篇文章中，没有写每一步代码的含义和配置文件的对应含义。如果想要深入研究和调优，请移步上方推荐的三篇文章。 2. 大圣的胎教级教程：万字长文带你理解 RAG 全流程： 这是一篇面向普通人的 RAG 科普，不是面向 RAG 研究者的技术向文章。 文章一共 1.6 万字，旨在让您对 RAG 技术有更全面的认知，在使用 RAG 相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力。 本文适合任何人，包括 AI 爱好者、为企业寻找知识库解决方案的老板、AI 产品经理等。 3. Yeadon 的写给小小白的从游戏入手学习搓图像流 bot： 学会将发布的图像流添加进 bot 中，并测试生成海报，解决无法在聊天界面显示图片的问题，重新调整图像流使其在对话窗口显示图片，最后发布 Bot。 通过这份教程，可以学会如何在 Coze 平台上打造一个有趣的 AI 游戏助手，掌握 AI 人格设定和对话逻辑的设计方法，了解如何配置图像生成功能。 希望以上内容对您有所帮助，祝您编程顺利！
2024-12-29
什么是pony类作图大模型
Pony 类作图大模型可能并非一个常见或明确的特定模型名称。但在相关领域中，有以下几种常见的作图大模型： 1. 快手可图团队开发的 Kolors 大模型：这是基于潜在扩散的大规模文本到图像生成模型，在数十亿图文对下进行训练，在视觉质量、复杂语义理解、文字生成（中英文字符）等方面具有优势，支持中英双语，在中文特色内容理解方面更具竞争力。更多信息可查看其技术报告。 2. 字节跳动豆包大模型团队推出的 SeedEdit 图像编辑模型：这是国内首个产品化的通用图像编辑模型，无需描边涂抹，仅使用简单的自然语言，就能进行换背景、转风格，或者在指定区域进行元素的增删和替换等操作。它能精准理解复杂指令，不仅看得懂中英文提示词，还对成语和专有名词有很好的理解。此外，它支持多轮操作，能够让用户对同一图像进行连续的创意编辑。
2024-12-04
国内文生图大模型，有哪些？
以下是一些国内的文生图大模型： 百度的文心一言：https://wenxin.baidu.com 抖音的云雀大模型：https://www.doubao.com 智谱 AI 的 GLM 大模型：https://chatglm.cn 中科院的紫东太初大模型：https://xihe.mindspore.cn 百川智能的百川大模型：https://www.baichuanai.com/ 商汤的日日新大模型：https://www.sensetime.com/ MiniMax 的 ABAB 大模型：https://api.minimax.chat 上海人工智能实验室的书生通用大模型：https://internai.org.cn 此外，真人效果卓绝的大模型 lofi.v2 也可用于生成真实场景下的字体。在使用 SDXL 大模型时，其分为 base+refiner 以及配套的 VAE 模型，base 用于文生图操作，refiner 用于细化生成的模型，VAE 用于调节图片效果和色彩。要在 webUI 中使用，需将秋叶启动器中 webUI 的版本升级到 1.5 以上，并将模型放入对应文件夹。
2024-11-12
有帮助草图大师建模的ai吗
以下是一些能够帮助草图大师建模的 AI 工具： 1. CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360：Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件，能帮助创建复杂几何形状和优化设计。 3. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 5. 生成设计工具：一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供了基于 AI 的生成设计工具，可根据用户输入的设计目标和约束条件自动产生多种设计方案。 此外，还有一些图片生成 3D 建模的工具，也可能对草图大师建模有帮助： 1. Tripo AI：VAST 发布的在线 3D 建模平台，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 2. Meshy：功能全面，支持文本生成 3D、图片生成 3D 以及 AI 材质生成。 3. CSM AI：支持从视频和图像创建 3D 模型，Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象，再转换为 3D 模型。 4. Sudo AI：支持通过文本和图像生成 3D 模型，适用于游戏领域的模型生成。 5. VoxCraft：免费 3D 模型生成工具，能将图像或文本快速转换成 3D 模型，并提供了图像到 3D、文本到 3D 和文本到纹理等多种功能。 如果您需要绘制逻辑视图、功能视图、部署视图，以下工具可供选择： 1. PlantUML：文本到 UML 的转换工具，可通过编写描述性文本来自动生成序列图、用例图、类图等，从而帮助创建逻辑视图。 2. Gliffy：基于云的绘图工具，提供创建各种架构图的功能，包括逻辑视图和部署视图。 3. Archi：免费的开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图的创建。 4. Rational Rose：IBM 的 UML 工具，支持创建多种视图，包括逻辑视图和部署视图。 请注意，虽然这些工具可以辅助创建相关视图，但它们不都是基于 AI 的。AI 在绘图工具中的应用通常涉及到智能推荐布局、自动生成图表代码或识别图表中的模式和关系。在选择工具时，您应该考虑您的具体需求，比如是否需要支持特定的建模语言、是否需要与特定的开发工具集成、是否偏好在线工具或桌面应用程序等。
2024-08-23
通过semantic-kernel调用文生图大模型接口
Semantic Kernel 是一个由 Microsoft Research AI Interactions 团队开发的框架，它帮助开发者将自然语言处理 功能集成到应用程序中。Semantic Kernel 可以与各种服务、工具和模型配合工作，包括 OpenAI 的 DALLE、GPT3 和 Microsoft 的 Azure OpenAI 服务。 要使用 Semantic Kernel 调用文生图大模型接口，你需要按照以下步骤操作： 1. 设置你的环境： 确保你有 Microsoft Azure 订阅和 Azure Cognitive Services 资源。 安装最新的 .NET SDK。 2. 安装 Semantic Kernel： 通过 NuGet 安装 Semantic Kernel 包： ```shell dotnet add package Microsoft.SemanticKernel ``` 3. 配置 Semantic Kernel： 在你的应用程序中配置 Semantic Kernel，连接到 Azure OpenAI 服务或其他支持的模型。 设置 API 密钥和其他必要配置。 4. 编写代码调用文生图大模型： 使用 Semantic Kernel SDK 创建一个函数来调用文生图大模型接口。 准备输入数据，例如，图像生成的提示（prompts）。 5. 处理响应： 接收并处理模型的输出，可能包括图像数据或其他相关信息。 6. 部署和运行应用程序： 部署你的应用程序，并确保它可以访问 Azure OpenAI 服务。 运行你的应用程序，并通过 Semantic Kernel 调用文生图大模型。 这里是一个简单的代码示例，展示了如何使用 Semantic Kernel 来调用服务： ```csharp using Microsoft.SemanticKernel; // 创建 Semantic Kernel 实例 var kernel = new Kernel; // 配置 Azure OpenAI 服务 var azureOpenAiService = new AzureOpenAiService( new AzureOpenAiSettings { AzureOpenAiDeploymentName = "yourdeploymentname", Endpoint = "https://yourendpoint.openai.azure.com/", ApiKey = "yourapikey" } ); kernel.Config.AddAzureOpenAiService; // 定义函数 var promptFunction = kernel.CreateSemanticFunction; // 调用文生图大模型 var imagePrompt = "A serene landscape with mountains, a river flowing through, and a traditional Chinese pagoda in the distance."; var imageResult = await promptFunction.InvokeAsync; // 处理响应 Console.WriteLine; ``` 请注意，上述代码仅为示例，实际代码将取决于文生图大模型的接口细节和你的具体需求。确保在开发过程中遵守所有适用的法律和政策，并尊重用户隐私和数据保护。
2024-04-25
开源项目数字人
以下是关于开源项目数字人的相关内容： 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大，迭代难度高，对于个人开发者不现实。 推荐借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，它们有大量开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展。 上述 Dify 接口使用注意事项： 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景，比如家庭中有数字人管家，全面接管智能家居或其他设备；学校中有数字人老师，孜孜不倦的为学生答疑解惑；商场里有数字人导购，为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破，比如可以将五感数据作为输入（例如声音、图像、气味、震动等等），将所有可以控制躯壳的参数也作为输入（例如躯壳骨骼节点，面部混合形状参数等）；次世代的算法可以自我迭代升级，也可以拿到感官输入以及躯壳控制方法后，自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目，给大家展现低门槛高度定制数字人的基本思路，但数字人的核心还是在于我们的 Agent，也就是数字人的灵魂，怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到，随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，用户在需要使用 AI 的能力时，AI 既可以给你提供高质量的信息，也能关注到你的情绪，给你一个大大的微笑，也许到了那时，数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高，代表是 UE、Unity、虚幻引擎 MetaHuman 等，但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：省去建模流程直接生成数字人的展示图片，但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高，可以使用，典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向，但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点： 1. AI Agent：要让数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但闭源。 3. 实时性：由于算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：不仅仅是语音交互，还可以通过添加摄像头数据获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流时不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度也很高，对于个人开发者来讲不现实。因此推荐借助开源社区的力量，现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架，它们有大量的开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent，赋予数字人灵魂。在笔者的开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。此外，数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展，比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意： 1. 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。
2025-01-21
国内有哪些开源ai可以调用？
国内有以下一些开源 AI 可供调用： MiniMax 推出的 Hailuo Audio HD 此外，还有一些应用于不同领域的 AI 技术和产品，如： 在游戏领域，有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域，彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域，医渡云的病历分析系统利用 AI 分析医疗病历，辅助诊断。 在会议领域，讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域，书法临摹软件利用 AI 识别书法作品的笔画和结构，为用户提供临摹指导和评价。
2025-01-20
可开源的AI工具是什么意思，我可以看到她的代码吗
可开源的 AI 工具是指其源代码可以被公开获取和使用的人工智能工具。这意味着您有机会查看和研究其代码的实现方式。 以下为您列举一些常见的可开源的 AI 工具： 1. CodeGeeX：由智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，能快速生成代码，提升开发效率。 2. ：一个带 Web 界面简单易用的声音克隆工具。可使用任何人类音色，将一段文字合成为使用该音色说话的声音，或者将一个声音使用该音色转换为另一个声音。 3. ：一个开源的音频、音乐和语音生成整合工具包。 4. ：一键部署私人 GPT/LLM 的聊天机器人。支持语音合成、多模态和可扩展的插件系统，可以联网、画图、爬虫等。 5. ：能够利用爬虫，自动抓取与整合指定 URL 地址中的各种信息，并生成一个 output.json 的数据文件。将其喂给 ChatGPT，便可快速定制您的专属 GPT，打造个人知识库或者智能助理。 6. ：给 AI 看一眼截屏，便能直接生成代码。该项目可借助 GPT4 Vision 的能力，直接给您将屏幕截图转换为 HTML/Tailwind CSS，并利用 DALLE 3 的图像生成能力，生成外观相似的图像。 7. ：可在命令行终端，直接调用与展示各种大模型能力。实现了视频和照片编辑、系统配置更改、自动生成并运行 Demo 源码，AI 一对一聊天问答等功能。 需要注意的是，不同的开源 AI 工具在功能和适用场景上可能会有所不同，您可以根据自己的需求选择最适合您的工具。
2025-01-20
开源数字人
以下是关于开源数字人的相关信息： 数字人组合方案： 第一步：先剪出音频，可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音，做出文案的音频。 第二步：使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 。 构建高质量的 AI 数字人： 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单；另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。
2025-01-11
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类： 国内方面： 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力，在某些方面超过一些闭源模型。 国外方面： OpenAI 发布了开源模型，包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型： 多模态模型方面，推出了具有视觉和语言双模态的模型，如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问：【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html 。
2025-01-06
当前最强AI模型有哪些？
当前最强的 AI 模型包括： 1. OpenAI 的 o3 模型：在 ARCAGI 测试中达到了 87.5%的准确率，几乎与人类水平相当。能够进行自我对话、多角度分析和自我质疑，具备一定的“思考意识”。下一代 o3mini 模型的推理能力能够媲美 o1 模型。 2. Google 的 Gemini 2.0 Flash：在重要的基准能力上直接追平甚至部分超越了 Gemini 1.5 Pro，同时模型速度有极大提升。 3. OpenAI 的 GPT4：是一个大型多模态模型，在各种专业和学术基准测试中表现出与人类相当的水平。 4. Midjourney v5：具有极高的一致性，擅长以更高分辨率解释自然语言 prompt，并支持像使用 tile 这样的重复图案等高级功能。 5. DALL·E 3：代表了生成完全符合文本的图像能力的一大飞跃。 6. Mistral 7B：在所有基准测试上超越了 Llama 2 13B，在许多基准测试上超越了 Llama 1 34B，在代码任务上接近 CodeLlama 7B 的性能，同时在英语任务上表现良好。 此外，还有智谱·AI 开源的一些模型，如 WebGLM10B、MathGLM2B 等。
2025-01-25
有没有辅助文献阅读，并能对文献内容进行整理的ai模型
以下是一些能够辅助文献阅读并对文献内容进行整理的 AI 模型和工具： 1. 智谱 AI 大模型开放平台： 场景介绍：大模型技术能快速总结论文内容、进行精准翻译，节省研究者阅读和整理文献的时间，帮助聚焦核心问题。其通用性可适应不同学科和复杂文本，提炼核心观点，为研究工作提速。 论文处理全景图：包括文献预处理和 LLM 内容处理。海量文献需转换为可供模型解析的文本格式，可借助平台工具完成文件内容提取。将文件内容自动化提取并结合大模型可进行批量分析或任务处理。 2. 利用 AI 写课题的步骤和建议： 确定课题主题，明确研究兴趣和目标，选择有价值和创新性的主题。 收集背景资料，使用学术搜索引擎和文献管理软件搜集相关文献和资料。 分析和总结信息，利用文本分析工具提取关键信息和主要观点。 生成大纲，使用写作助手生成包括引言、文献综述等部分的大纲。 撰写文献综述，利用工具确保内容准确完整。 构建方法论，根据需求设计研究方法。 数据分析，使用工具处理和解释数据。 撰写和编辑，利用写作工具撰写并检查语法和风格。 生成参考文献，使用文献管理工具生成正确格式。 审阅和修改，利用审阅工具检查逻辑性和一致性并修改。 提交前检查，确保原创性和格式调整。 3. 论文写作中常用的 AI 工具和平台： 文献管理和搜索：Zotero 可自动提取文献信息管理参考文献；Semantic Scholar 是 AI 驱动的学术搜索引擎，提供文献推荐和引用分析。 内容生成和辅助写作：Grammarly 提供文本校对等帮助提高语言质量；Quillbot 可重写和摘要优化内容。 研究和数据分析：Google Colab 支持 AI 和机器学习研究便于数据分析和可视化；Knitro 用于数学建模和优化。 论文结构和格式：LaTeX 结合自动化和模板处理格式和数学公式；Overleaf 是在线 LaTeX 编辑器，提供模板库和协作功能。 研究伦理和抄袭检测：Turnitin 和 Crossref Similarity Check 检测抄袭确保原创性。 需要注意的是，AI 工具可作为辅助，但不能完全替代研究者的专业判断和创造性思维，使用时应结合自身需求和写作风格，仔细甄别。
2025-01-25
怎么搭建豆包模型
搭建豆包模型时，关于模型选择： 1. 没有强制必须用某个模型的说法，而是要根据自己的习惯、实测的响应速度、生成质量、调用费用进行综合选择。例如，Doubao Function Call 模型对于插件调用、Coze 内 json 格式输出比较擅长；MiniMax 处理文字速度很快；GLM 对于用户提示词的理解比较好。每个模型都有自己擅长的特点，并且各家模型都在不断迭代，所以模型的选用需要根据实测情况综合调整。 2. 一般可以选择豆包·function call 32k。“function call”代表有着更好的 Coze 的工具调用能力，“32k”代表模型的上下文窗口大小，即模型在处理文本时能够考虑的单词或标记的数量。如果输出和输入的类型不是纯文本，比如是 array、object 结构，请根据实测情况，考虑替换上豆包 function call 版本，其他的 LLM 可能会输出格式比较混乱。 此外，在飞书多维表格 AI 共学中，有王大仙演示中药材识别视频搭建过程，包括新建数据表、设置日期及附件字段，新建 AI 识别中药材列，自定义指令让 AI 识别中药材照片并按要求输出相关信息，最后强调要打开自动更新按钮实现工作效果。王大仙还测试了中药材照片识别结果及探讨产品打造配置，查看生成结果，以当归等中药材照片为例进行探讨，提到当归不太好识别，还谈及当归的使用方法、注意事项等，对结果表示满意，之后提到要用多维表格进一步配置打造产品，介绍豆包大模型能力已接入多维表格封装成 AI 字段，最后询问信息提取字段。同时，还有关于中药材信息提取及结构化标签生成的讨论，包括提取中药材名字，新建字段提取使用方法，提取价值和功效，提取使用注意事项等，还提到表结构需自己定义，可让豆包帮忙完成提取动作，还涉及用 AI 图片识别及提取字段拆解信息形成结构化标签。
2025-01-24
怎么做tts模型训练
以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。
2025-01-24
如何用最简单的方法，训练一个自有数据的大模型
训练自有数据的大模型可以通过以下步骤实现： 1. 了解大模型的概念：大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程，包括找学校（需要大量 GPU 等计算资源）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（进行微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并形成词汇表。 2. 基础训练步骤： 进入厚德云模型训练数据集，如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。可以上传包含图片+标签的 zip 文件，也可单独上传照片，但建议提前打包。Zip 文件里图片名称与标签文件应当匹配，上传后等待一段时间确认创建，返回上一个页面等待上传成功并可点击详情检查，能预览数据集的图片及对应的标签。 Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，触发词可有可无，模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，可默认 20 重复次数和 10 轮训练轮数，按需求选择是否加速，点击开始训练，会显示所需消耗的算力，等待训练完成，会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击可自动跳转到使用此 lora 生图的界面，点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 总的来说，训练自有数据的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-01-24
3d模型自动生成的ai 啊
在 3D 模型生成方面，AI 主要完成了对 3D 模型生成流程的“一步到位”。工作流中的每一个环节几乎都需要一位或一组 3D 美术工程师来完成，而使用 3D 生成模型可以直接完成一个可调整的 3D 粗模，大大提升效率。 以下为一些 AI 生成 3D 模型的工具介绍： 1. 3dfy.ai： 概览：是一家专注于开发先进技术的公司，能将稀疏数据转化为逼真的三维世界，领导团队由计算成像领域资深专家组成。 使用场景：数字 3D 互动体验流行度提升，但受 3D 内容可用性限制，其技术能利用稀疏数据自动创建高质量 3D 模型。 目标用户：数字内容创作者和艺术家、游戏开发者和动画制作人、教育和培训行业专业人士、医疗行业、建筑和工程领域。 应用案例：暂未提及。 2. xiaohu.ai 相关 3D 信息： MakeACharacter：一键生成 3D 数字人，可自定义面部特征，基于真实人类扫描数据，使用 Unreal Engine 渲染，支持中英文提示，兼容多个行业应用。 Rodin Gen1：3D 原生生成模型，拥有 1.5B 参数，可实现 3Dto3D 生成，生成 3D 模型及物理基础渲染材质，支持 3D LoRA 技术。 Skybox AI 0.9 版本更新：可以从文本提示或草图生成 360 度 3D 世界，使用 NeRF 技术，增强图像的空间深度和真实感，提供不同分辨率的 3D 网格下载。 扫描物体生成 3D 模型：使用 APP 扫描物体，完成 3D 全貌捕获，创建 AR QR 码，展示物体于任何地点，在苹果新品官网展示中有应用。
2025-01-23