直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

给出一份目前开源大模型的算力、存储要求和部署方案的报告,可以附带优化方案,字数10000字左右。

回答

由于篇幅限制,我无法直接给出一份 10000 字左右的报告,但我可以为你提供一个简要的大纲: 开源大模型的算力、存储要求和部署方案报告 一、引言 (一)背景介绍 (二)目的和意义 二、大模型的算力要求 (一)训练算力需求

  1. 数据预处理
  2. 模型训练
  3. 超参数调整 (二)推理算力需求
  4. 数据加载
  5. 模型推理
  6. 结果输出 三、大模型的存储要求 (一)训练数据存储
  7. 数据集大小
  8. 数据格式
  9. 数据存储方式 (二)模型参数存储
  10. 模型大小
  11. 模型格式
  12. 模型存储方式 (三)推理结果存储
  13. 结果大小
  14. 结果格式
  15. 结果存储方式 四、大模型的部署方案 (一)云平台部署
  16. 云计算服务提供商
  17. 云计算资源配置
  18. 云计算成本估算 (二)本地部署
  19. 硬件设备需求
  20. 软件环境配置
  21. 网络连接要求 五、大模型的优化方案 (一)数据预处理优化
  22. 数据清洗
  23. 数据增强
  24. 数据压缩 (二)模型架构优化
  25. 模型压缩
  26. 模型剪枝
  27. 模型量化 (三)训练算法优化
  28. 优化器选择
  29. 学习率调整
  30. 训练轮数控制 (四)推理加速优化
  31. 硬件加速
  32. 软件优化
  33. 模型编译优化 六、结论与展望 (一)总结大模型的算力、存储要求和部署方案 (二)提出未来研究和发展方向的建议 请注意,以上只是一个简要的大纲,具体内容需要根据实际情况进行详细调研和分析。如果你需要更详细的报告,请提供更多相关信息,我将尽力为你提供帮助。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

其他人在问
算力怎么提高
提高算力的方法主要有以下几种: 1. 技术创新: 继续在硅基上发展,如采用 3D 堆叠形态,但需要解决更好的散热问题。 材料创新,包括硅基掺杂、石墨烯片等。 探索计算原理的创新,如量子计算,不过目前距离商用还有不少理论和技术需要突破。 2. 提升传输速度:高速网络会进一步进化,片间链接、片上内存等技术都会有明显的进展。 3. 解决能耗和散热问题:高温超导技术是这方面的关键。 4. 白嫖算力的思路: 利用 Groq 平台提供的个人免费 APIKEY 接口,不同模型有相应限制。以 llama370b 为例,每分钟 30 次 request,每分钟 6000 tokens,每天 14400 次。 将 API 调用接入各种平台提供方,无需购买和部署云服务器。 考虑通过代理的方式解决国内 IP 访问限制,如 Cloudflare 或 Deno Deploy 等。 5. 从模型变强的要素来看: 算力方面,根据预估,到 2027 年底很可能会再增加 2 个 OOM,甚至在微软和 OpenAI 的超算合作下,接近 3 个多 OOM 也是有可能的。 算法效率方面,通过对架构的优化,到 2027 年能提升 1 2 OOM。 额外的潜力方面,通过强化反馈学习 RLHF、思考链 CoT、工具和 Scaffolding 等方法微调来提升模型能力。
2024-11-06
有没有推荐的算力租赁平台?
以下是为您推荐的一些算力租赁平台: 揽睿:https://lanruiai.com/register?invitation_code=0659 。WaytoAGI 邀请码 0659 可以得到 10 小时的免费时长。 厚德云:https://portal.houdeyun.cn/register?from=Waytoagi 。厚德云是专业的 AI 算力云平台,隶属于又拍云旗下,又拍云拥有 15 年云服务经验。注册后送 50 元代金券。ComfyUI 悟空换脸特效使用流程: 百度:https://aistudio.baidu.com/community/app/106043?source=appCenter 。新注册 2 个小时,登记一下,明天给大家发放 50 小时。 丹摩:https://damodel.com/register?source=46EF69A0 。20 元券,https://doc.damodel.com/profile/best_practice/SD3+ComfyUI.html 青椒云:https://account.qingjiaocloud.com/signin?inviteCode=3OF611IT 阿里云 PAI Artlab:直达地址:https://x.sm.cn/5hd9PfM 。登录后右上角领取免费试用,领取 500 元算力、OSS 20G 存储。AI 创作你的奥运专属海报,参与 PK 赢取台式升降桌、Lamy 钢笔套盒、双肩包等大奖!活动地址:https://mp.weixin.qq.com/s/y3Sk5PtVT5g8yFTMJASdFw 晨羽智云:直达地址:chenyu.cn 。体验券 9.9 元 10 小时 4090 24G。券码:GSUD7I 。硬件和网络都是顶配,能胜任各种出图模型和模型训练。针对 ComfyUI 和 SDWebUI,做了针对性的适配和镜像预下载处理,用户启动速度非常快,体验较好。协助教学团队/创作者安装镜像,和优化镜像,全程贴身服务。
2024-11-04
和ai结合的去中心化算力项目或者公司或者产品有哪些?
以下是一些与 AI 结合的去中心化算力项目、公司或产品: 智谱·AI 开源模型列表中的 WebGLM10B:利用百亿参数通用语言模型(GLM)提供高效、经济的网络增强型问题解答系统。它旨在通过将网络搜索和检索功能集成到预训练的语言模型中,改进现实世界的应用部署。代码链接: 智谱·AI 开源模型列表中的 WebGLM2B 智谱·AI 开源模型列表中的 MathGLM2B:在训练数据充足的情况下,20 亿参数的 MathGLM 模型能够准确地执行多位算术运算,准确率几乎可以达到 100%,其结果显著超越最强大语言模型 GPT4 在相同测试数据上 18.84%的准确率。代码链接: 智谱·AI 开源模型列表中的 MathGLM500M,模型下载: 智谱·AI 开源模型列表中的 MathGLM100M,模型下载: 智谱·AI 开源模型列表中的 MathGLM10M,模型下载: 智谱·AI 开源模型列表中的 MathGLMLarge:采用 GLM 的不同变体作为骨干来训练 MathGLM,包括具有 335M 参数的 GLMlarge 和 GLM10B。此外,还使用 ChatGLM6B 和 ChatGLM26B 作为基座模型来训练 MathGLM。这些骨干模型赋予 MathGLM 基本的语言理解能力,使其能够有效理解数学应用题中包含的语言信息。模型下载: 智谱·AI 开源模型列表中的 MathGLM10B,模型下载: 智谱·AI 开源模型列表中的 MathGLMChatGLM6B,模型下载:
2024-10-14
AI 算力 衡量
AI 算力的衡量可以从以下几个方面考虑: 1. 神经网络的参数(神经元的数量和连接)规模:人工神经网络与人脑的大小仍有数量级的差距,但在某些哺乳动物面前已具备一定竞争力。 2. 单位计算的成本:我们每花一美元所能得到的计算能力一直在呈指数级增长,现在大规模基础模型所用到的计算量每 3.5 个月就会翻一番。 3. 提升算力的方案: 继续在硅基上发展,如 3D 堆叠形态等,但需要更好的散热。 材料创新,如硅基掺杂、石墨烯片等。 计算原理的创新,如量子计算,但目前距离商用还有不少理论和技术需要突破。 4. 传输速度:高速网络会进一步进化,片间链接、片上内存等技术都会有明显进展。 5. 能耗和散热问题:高温超导技术是解决能耗和散热问题的关键。 此外,对于基础模型的治理,有人认为衡量计算能力可以作为一种潜在工具。但也需要探讨其他更有效的治理方法。
2024-10-12
在哪里可以找到数据 算力 算法的资源
以下是一些可以找到数据、算力、算法资源的途径: 关于数据:数据集对人工智能学习算法发展至关重要,AI 伴随着神经网络的发展而出现,多层神经网络大规模数据分析技术中的数据集是重要资源。 关于算力:您可以通过以下链接了解算力的相关内容: 算力的字面意思就是计算能力,可以直接转化成 GPU 就是算力,电脑里的显卡就是 GPU,哪怕购买云服务,也是服务商买显卡“租”给您用。 关于算法:目前没有明确给出具体的算法资源获取途径,但您可以通过相关的学术网站、技术论坛等渠道进一步搜索。
2024-10-10
算力调度
在多智能体(MultiAgent)系统中,常见的调度模式主要有以下几种: 1. 集中式调度:有一个中央控制器负责收集所有智能体的信息,并做出整体最优的决策和资源分配。常见于需要全局协调的场景,如机器人协作、交通管制等。 2. 分布式调度:每个智能体根据本地信息和与其他智能体的交互来做出决策,无需中央控制器。常用于大规模、动态、开放的系统,如传感器网络、P2P 网络等。 3. 市场驱动调度:智能体通过竞价机制获取资源和任务分配。类似于现实市场的供需规律,常用于电力负载调度、计算资源分配等领域。 4. 约束优化调度:将多智能体协作问题建模为分布式约束优化问题,通过启发式或完全算法求解近似最优解。适用于任务分配、资源规划等约束严格的场景。 5. 组织结构调度:根据特定的组织拓扑结构(层级、同辈、联盟等)对智能体角色和协作模式进行规范,实现有序调度。常见于多机器人协作、组织自动化系统中。 6. 基于规范协议的调度。 在惊人算力成本背后,对于 AI 混战下基础设施的选择,需要注意以下方面:AI 任务的调度可能造成巨大的性能瓶颈或改进。以一种最小化权重交换的方式将模型分配给 GPU,如果有多个 GPU 可用,选择最适合任务的 GPU,以及通过提前批量处理工作负载来最小化停机时间,都是常用的技术。总之,模型优化仍然有点像黑魔法,大多数创业公司都与第三方合作来处理一些软件方面的问题。通常,这些不是传统的 MLops 供应商,而是专门针对特定生成模型进行优化的公司(例如 OctoML 或 SegMind)。
2024-09-26
年终汇报及活动方案最好用的ai
以下是为您提供的一些关于年终汇报及活动方案的 AI 相关信息: 在智能纪要方面,有多种相关技术和活动,如 AI 音乐创作,通过输入更高级词汇与 AI 音乐对话能产生更好效果,有相关版块、挑战、分享会和教程,可加入 AI 音乐社区;数字人语音合成,介绍了声音克隆技术及微软、阿里等的成果,常用 JPT service;config UI 的应用能降低成本、提高效率,在图书出版、引流等方面有应用,社区有相关共学课程。 社区共创项目丰富,包括东京的 confii 生态大会、AI 文旅视频、娃卡奖、李普村共创故事、AI 春晚等活动。 作业是询问对 AI 方向的兴趣和想做的项目,活动报名可通过填写名字和申请新增学校参与。 线下寄送物料组织活动,会给大家寄送线下活动物料,在学校内组织。 AIPO 活动及相关挑战,如 10 月 20 日的 AIPO 活动,可提前构思展示项目,有会话和视频相关的挑战赛。 共学活动与技能提升,接下来 10 天有从零基础到建站等内容的讲解,回放会放在链接里,可先从练习提示词入手。 硬件机器人部分材料需尽快购买。 在自媒体发布与流量扶持方面,在小红书发布活动内容带特定标签有流量扶持,作品也可发布在 GitHub 等平台。 活动奖项与历史玩法,设最佳创业奖和最佳投资奖各四个,有线下摆摊展示交流、IPO 路演等玩法,之前在多个城市举办过 AI 切磋大会。 工具使用与新大赛预告,可使用多种 AI 工具,新的大赛即将开启,有百万奖金池,相关动态会在社区活动栏目公布。 同时,为您提供一些会议总结相关的 AI 工具: 但目前没有直接针对年终汇报及活动方案最好用的 AI 的明确推荐。
2024-11-14
有哪些著名的AI咨询公司?提供方案解决的那种
以下是一些著名的提供方案解决的 AI 咨询公司及相关信息: 在 AI 心理咨询产品方面,有 Woebot、Replika、Talkspace、Wysa、Moodfit、Youper 等。Woebot 是基于聊天机器人的心理健康平台,使用认知行为疗法原理引导用户。Replika 是 AI 驱动的个人朋友,提供情感支持和指导。Talkspace 是在线心理咨询平台,使用 AI 技术匹配咨询师。Wysa 提供情绪管理和心理健康支持。Moodfit 分析用户情绪模式并提供建议。Youper 结合 AI 和虚拟现实改善心理健康。但对于严重心理问题仍需专业帮助,且应作为传统咨询的补充。 在其他 AI 应用方面,如 14 号的小红书穿搭推荐,是 AI 时尚穿搭建议平台,利用图像识别和数据分析,根据用户身材和风格提供穿搭建议。15 号的蚂蚁财富智能理财助手,通过数据分析和机器学习为用户提供专业投资建议。16 号的法信智能法律咨询,运用自然语言处理和知识图谱解答法律问题。17 号的慧植农当家等是 AI 农业病虫害识别系统,借助图像识别和机器学习帮助农民识别病虫害。18 号的小米智能家居系统,基于物联网技术和机器学习实现家居设备智能化控制。19 号的文案狗等是 AI 广告文案生成工具,通过自然语言处理快速生成吸引人的广告文案。 在生成式 AI 平台的基础设施供应商方面,英伟达是目前该领域最大的幕后赢家,其数据中心 GPU 收入可观,建立了坚固的护城河。同时也有其他供应商,如甲骨文等挑战者,以及一些提供针对大模型开发人员解决方案的初创公司,如 Coreweave 和 Lambda Labs 等。此外还有谷歌张量处理单元(TPU)、AMD Instinct GPU、AWS Inferentia 和 Trainium 芯片,以及来自 Cerebras、Sambanova 和 Graphcore 等初创公司的 AI 加速器,英特尔也带着高端芯片进入市场,但新芯片占据的市场份额有限。
2024-11-13
城市智能停车服务系统建设方案
很抱歉,目前知识库中没有关于城市智能停车服务系统建设方案的相关内容。但一般来说,建设城市智能停车服务系统可以从以下几个方面考虑: 1. 需求分析:了解城市的停车需求、现有停车设施状况以及存在的问题。 2. 技术选型:选择适合的传感器、通信技术、数据库管理系统等。 3. 系统设计:包括车位监测与管理、用户端应用设计、后台管理系统等。 4. 数据采集与处理:准确采集车位使用情况等数据,并进行有效的处理和分析。 5. 支付与计费系统:提供便捷的支付方式,并制定合理的计费规则。 6. 与其他系统的集成:如交通管理系统、城市规划系统等。 7. 安全与隐私保护:确保系统的安全性和用户数据的隐私。 8. 维护与升级:定期对系统进行维护和升级,以适应不断变化的需求。 以上只是一个初步的框架,具体的建设方案需要根据城市的实际情况进行详细的规划和设计。
2024-11-12
学习AI方案
以下是为您提供的学习 AI 的方案: 对于新手: 1. 了解 AI 基本概念:建议阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。同时浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅:在「」中,您将找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。您还可以通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习:AI 领域广泛,比如图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。同时,掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试:理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品:与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 对于中学生: 1. 从编程语言入手学习:可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台:可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 与“AI+教育”前辈交流的结论: 1. 学习通常是功利导向的,只有能带来强烈付费意愿的学习才更有动力,比如在 K12 买课场景中,家长更在乎孩子能否通过学习直接提高分数。 2. “突破性新技术+垂直行业知识”的组合能为学习者带来更高的投入产出比。以程序员为例,在很多大行业中,懂行业知识的程序员缺口很大。 3. 在 AI 领域,让 AI 工程师懂行业,让行业专家懂 AI,学习的投入产出比可以很高,但前提是要找到 AI 在该行业的高价值应用场景。 4. 现阶段“AI 口嗨者众,AI 实干家寡”的主要原因是没有能带来足够正反馈的高价值应用场景。
2024-11-11
最好的方案生成视频的软件
以下是一些生成视频的软件及相关介绍: Adobe Firefly: 其“生成视频”(测试版)功能可以将书面描述转换为视频剪辑。 使用文本提示定义内容、情感和设置(包括摄像机角度)来指导摄像机移动并创建传达所需情绪和信息的视频。 还可以合并图像,为视频生成提供视觉提示。 操作步骤: 1. 在 Adobe Firefly 网站(https://firefly.adobe.com/)上,选择“生成视频”。 2. 在 Generate video 页面上,在 Prompt 字段中输入文本提示。也可以使用 Upload 部分中的 Image 选项,将图像用于第一帧,并为视频剪辑提供方向参考。添加图像以提供清晰的视觉引导,使生成的视频更紧密地与您的愿景对齐。在 General settings 部分,您可以确定 Aspect ratio 和 Frames per second。 Pika: 要生成视频,需要进入 generate 频道,目前有 10 个 generate 频道,随便选择一个进入即可。 工作流程: 1. 直接生成视频:在输入“/create”,然后输入 prompt,得到视频。 2. 图片生成视频:使用 MJ/SD 生成图像(可选)+在 PIKA 平台添加 prompt =得到视频。
2024-11-09
我需要用知识库与通用大模型结合的方式满足博物馆的导览助手,请提出完整的实施方案。
目前知识库中没有关于用知识库与通用大模型结合来满足博物馆导览助手的完整实施方案。但以下是为您初步构思的一个可能的方案: 首先,需要对博物馆的展品、历史背景、文化内涵等相关信息进行全面而系统的梳理和整理,形成详细准确的知识库。 然后,选择适合的通用大模型,例如具备强大语言理解和生成能力的模型。 接下来,通过技术手段将知识库与通用大模型进行有效连接和融合。这可能涉及到数据的预处理、模型的训练与优化,以确保模型能够准确理解和运用知识库中的信息。 在实际应用中,为导览助手设计友好的用户界面,方便游客进行交互。例如,可以是语音交互、触摸屏操作等方式。 同时,要不断对导览助手进行测试和改进,根据游客的反馈和实际使用情况,优化知识库和模型的性能,提升导览助手的服务质量和用户体验。
2024-11-08
目前有哪些开源绘画模型
目前常见的开源绘画模型有: Stable Diffusion:生态最完整,能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney:模型风格包罗万象,操作简洁,极富美感和艺术感。 Dall·E3(ChatGPT):具有惊人的语义理解能力,可像甲方一样连续修改。 Fooocus:优化程度高,操作简便,类似本地化 mj。 ComfyUI:门槛高,定制化强。 HunYuanDiT:国内第一个开源绘图模型。 SDXL:开源时间为 2023.7。 SD3:开源时间为 2024.6。 KOLORS:开源时间为 2024.7,目前生图质量最高,有相关的教学视频,如“Kolors 中文生图绘画模型开源,快手接连放出高质量开源项目,是否会成为中国的 StabilityAI”等。 Flux:开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具: 1. HeyGen:AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 此外,还有一些相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型:ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分:可使用 LangChain 的模块自定义,https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用预设人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2024-11-07
有哪些开源免费的数字人工具
以下是一些开源免费的数字人工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。 请注意,这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策,并注意生成内容的版权和伦理责任。 此外,以下是一些与数字人相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义,包含了 Agent 实现的几个组件:https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 人物建模模型可通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现。 以下是部分摊位信息中与数字人相关的内容: |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|
2024-11-07
阿里开源的数字人
阿里开源的数字人相关信息如下: 阿里的虚拟数字人:https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章: 在构建高质量的 AI 数字人方面,建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2024-11-07
开源数字人
以下是关于开源数字人的相关信息: 组合方案: 1. 先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits()克隆声音,做出文案的音频。 2. 使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。这就是目前的本地跑数字人的方案,效果都差不多,都是用的 wav2lip 。产品:https://synclabs.so/ 构建高质量的 AI 数字人: 1. 构建数字人躯壳:建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI 。笔者的开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 相关算法开源代码: 1. ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition(这是一个语音识别的接口集合,里面有不同实现的语音识别的接口): https://github.com/Uberi/speech_recognition 2. AI Agent: 大模型部分:包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。 Agent 部分:可以使用 LangChain 的模块去做自定义,里面基本包含了 Agent 实现的几个组件 3. TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多的分支版本,可以去搜索一下,vits 系列可以自己训练出想要的人声。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注到唱歌上面,前段时间很火的 AI 孙燕姿。 除了算法,人物建模模型可以通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现,这样就完成了一个最简单的数字人。当然这种简单的构建方式还存在很多的问题,例如: 1. 如何生成指定人物的声音? 2. TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作? 3. 数字人如何使用知识库,做出某个领域的专业性回答?
2024-11-06
开源大模型ChatGLM 系列有哪些版本
ChatGLM 系列的开源版本包括: ChatGLM36B:第三代 ChatGLM 对话模型,采用全新设计的 Prompt 格式,原生支持工具调用、代码执行和 Agent 任务等复杂场景。 ChatGLM36Bbase:第三代 ChatGLM 基座模型,采用更多样的训练数据、更充分的训练步数和更合理的训练策略,在 10B 以下的基础模型中性能较强。 ChatGLM36B32k:第三代 ChatGLM 长上下文对话模型,在 ChatGLM36B 的基础上进一步强化了对长文本的理解能力,能处理最多 32K 长度的上下文。
2024-11-04