Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

最新的开源数字人项目

Answer

以下是一些最新的开源数字人项目:

  1. 项目地址:https://github.com/wan-h/awesome-digital-human-live2d ,选择了 live2d 作为数字人躯壳,其驱动方式相比 AI 生成式更可控和自然,相比虚幻引擎更轻量和简单,卡通二次元形象接受度更高。Live2D 的 SDK 驱动方式可参考官方示例:https://github.com/Live2D 。
  2. 开源数字人组合方案:
    • 第一步:先剪出音频,使用 https://elevenlabs.io/speech-synthesis 或使用 GPT-sovitsGPT-SoVITS 实现声音克隆克隆声音,做出文案的音频。
    • 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。产品:https://synclabs.so/ 。
  3. 构建数字人灵魂:可借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架。在开源项目中使用了 dify 的框架,可利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,具体部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如有更高度定制的模型,也可在 Dify 中接入 XInference 等模型管理平台部署自己的模型。数字人 GUI 工程中保留了 LLM、ASR、TTS、Agent 等多个模块,便于扩展。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI 数字人-定义数字世界中的你

[title]AI数字人-定义数字世界中的你[heading2]二、如何构建高质量的AI数字人[heading4]2.1构建数字人躯壳建好的模型可以使用web前端页面(Live2D就提供了web端的SDK)或者Native的可执行程序进行部署,最后呈现在用户面前的是一个GUI。笔者的开源数字人项目(项目地址:https://github.com/wan-h/awesome-digital-human-live2d)选择了live2d作为数字人躯壳,因为这类SDK的驱动方式相比现在的AI生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于live2d的SDK驱动方式可以参考官方示例:https://github.com/Live2D。

开源:数字人组合方案

先剪出音频,使用https://elevenlabs.io/speech-synthesis或使用GPT-sovits[GPT-SoVITS实现声音克隆](https://waytoagi.feishu.cn/wiki/SVyUwotn7itV1wkawZCc7FEEnGg)克隆声音,做出文案的音频。[heading2]第二步[content]使用wav2lip整合包,导入视频和音频,对口型得到视频。基础wav2lip+高清修复整合包下载地址https://github.com/Rudrabha/Wav2Lip这就是目前的本地跑数字人的方案,效果都差不多,都是用的wav2lip产品https://synclabs.so/

AI 数字人-定义数字世界中的你

[title]AI数字人-定义数字世界中的你[heading2]二、如何构建高质量的AI数字人[heading4]2.2构建数字人灵魂上述种种,如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此我们推荐借助开源社区的力量,现在开源社区已经有了像dify、fastgpt等等成熟的高质量AI编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了dify的框架,利用其编排和可视化交互任意修改流程,构造不同的AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时Dify的API暴露了audio-to-text和text-to-audio两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由Dify控制,从而低门槛做出来自己高度定制化的数字人(如下图),具体的部署过程参考B站视频:https://www.bilibili.com/video/BV1kZWvesE25。如果有更加高度定制的模型,也可以在Dify中接入XInference等模型管理平台,然后部署自己的模型。此外,数字人GUI工程中仍然保留了LLM、ASR、TTS、Agent等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加Geek的Agent实现也可以选择直接后端编码扩展实现。

Others are asking
开源模型和闭源模型
开源模型和闭源模型的情况如下: 专有模型(闭源模型):如 OpenAI、Google 等公司的模型,需访问其官方网站或平台(如 ChatGPT、Gemini AI Studio)使用。 开源模型: 可使用推理服务提供商(如 Together AI)在线体验和调用。 可使用本地应用程序(如 LM Studio)在个人电脑上运行和部署较小的开源模型。 例如 DeepSeek、Llama 等开源模型。 Qwen 2 开源,具有多种尺寸的预训练和指令调整模型,在大量基准评估中表现出先进性能,超越目前所有开源模型和国内闭源模型,在代码和数学性能等方面显著提高。 金融量化领域的大模型正趋向闭源,几个巨头的核心模型如 OpenAI 最新一代的 GPT4、Google 的 Bard 以及未来的 Gemini 短时间内不会公开。Meta 的 LLaMA 目前开源,但未来可能改变。OpenAI 未来可能开源上一代模型。
2025-02-17
做chatbi有什么开源项目可以参考
以下是一些可参考的做 chatbot 的开源项目: Inhai:Agentic Workflow:其中介绍了大模型利用「网页搜索」工具的典型例子,还包括 Agent 自行规划任务执行的工作流路径以及多 Agent 协作的内容。 ChatDev:吴恩达通过此开源项目举例,可让大语言模型扮演不同角色相互协作开发应用或复杂程序。 ChatMLX:多语言支持,兼容多种模型,具有高性能与隐私保障,适用于注重隐私的对话应用开发者。链接:https://github.com/maiqingqiang/ChatMLX
2025-02-17
开源文字转语音
以下是为您提供的开源文字转语音相关信息: WhisperSpeech:通过对 OpenAI Whisper 模型的反向工程实现,生成发音准确、自然的语音输出。 相关链接:https://github.com/collabora/WhisperSpeech 、https://x.com/xiaohuggg/status/1748572050271420663?s=20 StyleTTS 2:一个开源的媲美 Elevenlabs 的文本转语音工具,可结合文本角色内容和场景音快速生成有声小说。 主要特点:多样化的语音风格、更自然的语音、高效生成、精确的语音控制、接近真人的语音合成、适应不同说话者。 工作原理:利用风格扩散和与大型语音语言模型(SLM)的对抗性训练来实现接近人类水平的 TTS 合成,通过扩散模型将风格建模为一个潜在的随机变量,以生成最适合文本的风格,而不需要参考语音,实现了高效的潜在扩散,同时受益于扩散模型提供的多样化语音合成。 相关链接:暂无
2025-02-15
采用GPL许可证的AI开源模型有哪些
以下是一些采用 GPL 许可证的智谱·AI 开源模型: 其他模型: WebGLM10B:利用百亿参数通用语言模型(GLM)提供高效、经济的网络增强型问题解答系统,旨在通过将网络搜索和检索功能集成到预训练的语言模型中,改进现实世界的应用部署。代码链接: WebGLM2B:代码链接无,模型下载: MathGLM2B:在训练数据充足的情况下,20 亿参数的 MathGLM 模型能够准确地执行多位算术运算,准确率几乎可以达到 100%,其结果显著超越最强大语言模型 GPT4 在相同测试数据上 18.84%的准确率。代码链接: MathGLM500M:代码链接无,模型下载: MathGLM100M:代码链接无,模型下载: MathGLM10M:代码链接无,模型下载: MathGLMLarge:采用 GLM 的不同变体作为骨干来训练 MathGLM,包括具有 335M 参数的 GLMlarge 和 GLM10B。此外,还使用 ChatGLM6B 和 ChatGLM26B 作为基座模型来训练 MathGLM。这些骨干模型赋予 MathGLM 基本的语言理解能力,使其能够有效理解数学应用题中包含的语言信息。模型下载: 多模态模型: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型。CogAgent18B 拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能的基础上,具备 GUI 图像的 Agent 能力。代码链接:、始智社区 CogVLM17B:强大的开源视觉语言模型(VLM)。基于对视觉和语言信息之间融合的理解,CogVLM 可以在不牺牲任何 NLP 任务性能的情况下,实现视觉语言特征的深度融合。我们训练的 CogVLM17B 是目前多模态权威学术榜单上综合成绩第一的模型,在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接无,模型下载: Visualglm6B:VisualGLM6B 是一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于 Chat 模型: ChatGLM6Bint4:ChatGLM6B 的 Int4 版本。最低只需 6GB 显存即可部署,最低只需 7GB 显存即可启动微调(,模型权重下载链接:魔搭社区、始智社区、启智社区 ChatGLM6Bint8:ChatGLM6B 的 Int8 版本。上下文 token 数:2K,代码链接:,模型权重下载链接:魔搭社区、始智社区、启智社区 AgentLM7B:1. 提出了一种 AgentTuning 的方法;2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct;3. 基于上述方法和数据集,利用 Llama2 微调了具备超强 Agent 能力的 AgentLM7B、AgentLM13B、AgentLM70B。上下文 token 数:4K,代码链接: AgentLM13B:上下文 token 数:4K,代码链接无,模型权重下载链接: AgentLM70B:上下文 token 数:8K,代码链接无,模型权重下载链接:
2025-02-14
开源模型的MIT模式、Apache、GPL、BSD模式的模型案例有哪些?
目前开源模型的 MIT 模式、Apache、GPL、BSD 模式的具体案例众多且不断更新。MIT 模式的开源模型如 TensorFlow Lite;Apache 模式的有 MXNet;GPL 模式的像 Gnuplot;BSD 模式的例如 OpenCV 等。但请注意,这只是其中的一部分,实际情况可能会有所变化。
2025-02-14
开源模型的MIT模式、Apache、GPL、BSD模式的定义和区别
MIT 模式:这是一种相对宽松的开源许可模式。允许使用者对软件进行修改、再发布,并且几乎没有限制,只要求在再发布时保留原版权声明和许可声明。 Apache 模式:提供了较为宽松的使用条件,允许修改和再发布代码,但要求在修改后的文件中明确注明修改信息。同时,还包含一些专利相关的条款。 GPL 模式:具有较强的传染性和约束性。如果基于 GPL 许可的代码进行修改和再发布,修改后的代码也必须以 GPL 许可发布,以保证代码的开源性和可共享性。 BSD 模式:也是一种较为宽松的许可模式,允许使用者自由地修改和再发布代码,通常只要求保留原版权声明。 总的来说,这些开源许可模式在对使用者的限制和要求上有所不同,您在选择使用开源模型时,需要根据具体需求和项目情况来确定适合的许可模式。
2025-02-14
我想了解如何在微信公众号搭建一个能发语音的数字人
以下是在微信公众号搭建能发语音的数字人的相关步骤: 1. 照片数字人工作流及语音合成(TTS)API 出门问问 Mobvoi: 工作流地址:https://github.com/chaojie/ComfyUImobvoiopenapi/blob/main/wf.json 相关文件: 记得下载节点包,放进您的 node 文件夹里,这样工作流打开就不会爆红了!ComfyUI 启动后就可以将 json 文件直接拖进去使用了! 2. 「AI 学习三步法:实践」用 Coze 免费打造自己的微信 AI 机器人: 组装&测试“AI 前线”Bot 机器人: 返回个人空间,在 Bots 栏下找到刚刚创建的“AI 前线”,点击进入即可。 组装&测试步骤: 将上文写好的 prompt 黏贴到【编排】模块,prompt 可随时调整。 在【技能】模块添加需要的技能:工作流、知识库。 【预览与调试】模块,直接输入问题,即可与机器人对话。 发布“AI 前线”Bot 机器人: 测试 OK 后,点击右上角“发布”按钮即可将“AI 前线”发布到微信、飞书等渠道。 发布到微信公众号上: 选择微信公众号渠道,点击右侧“配置”按钮。 根据以下截图,去微信公众号平台找到自己的 App ID,填入确定即可。不用了解绑即可。 最后去自己的微信公众号消息页面,就可以使用啦。
2025-02-18
数字人项目
以下是关于数字人项目的相关信息: 构建高质量的 AI 数字人: 建好的数字人模型可以使用 web 前端页面(如 Live2D 提供的 web 端 SDK)或者 Native 的可执行程序进行部署,最终以 GUI 的形式呈现给用户。 开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择 live2d 作为数字人躯壳,原因是其驱动方式相比 AI 生成式更可控和自然,相比虚幻引擎更轻量和简单。卡通二次元形象的接受度更高,超写实风格在目前技术下易出现一致性问题和恐怖谷效应。Live2d 的 SDK 驱动方式可参考官方示例:https://github.com/Live2D 。 MimicMotion 项目: 腾讯发布的 MimicMotion 项目效果显著优于阿里,支持面部特征和唇形同步,不仅用于跳舞视频,也可应用于数字人。 相较阿里的方案,MimicMotion 的优化包括:基于置信度的姿态引导机制,确保生成视频更加连贯流畅;基于姿态置信度的区域损失放大技术,显著减少图像扭曲和变形;创新的渐进式融合策略,在可接受的计算资源消耗下,实现任意长度视频生成。项目地址:https://github.com/tencent/MimicMotion ,节点地址:https://github.com/AIFSH/ComfyUIMimicMotion 。 爱的传承·数字母亲: 内容负责人:朱睿电子酒 统筹负责人:张小琳电子酒 摄影:万阳 剪辑:萧川布丁子健 数字人:大萌子 使用工具:剪辑:剪映、imovie、美图秀秀;数字人:heygen 为完成数字人的拍摄,朱妈妈吃了 4 片吗啡。2 月 4 号制作完数字人,2 月 5 号拍摄,布丁川川子健凌晨开始剪辑,协调补拍追加了很多镜头,朱哥也熬了几个通宵来丰满素材。虽然最后呈现的效果不完美,但相信这部片子具有一定的社会价值。
2025-02-18
数字人
数字人是运用数字技术创造出来的人,目前业界还没有一个关于数字人的准确定义,但一般可根据技术栈的不同分为两类,一类是由真人驱动的数字人,另一类是由算法驱动的数字人。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业以及现下很火热的直播带货,其表现质量与手动建模的精细程度及动捕设备的精密程度直接相关,不过随着视觉算法的不断进步,现在在没有昂贵动捕设备的情况下也可以通过摄像头捕捉到人体骨骼和人脸的关键点信息,从而做到不错的效果。 制作数字人的工具主要有: 1. HeyGen:是一个 AI 驱动的平台,可以创建逼真的数字人脸和角色。使用深度学习算法生成高质量的肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:是一个 AI 视频制作平台,允许用户创建虚拟角色并进行语音和口型同步。支持多种语言,并可用于教育视频、营销内容和虚拟助手等场景。 3. DID:是一家提供 AI 拟真人视频产品服务和开发的公司,只需上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后就能合成一段非常逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时,请确保遵守相关的使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。 每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频,具体步骤如下: 在显示区域,拖动背景图的一个角,将图片放大到适合的尺寸,比如覆盖视频窗口。并将数字人拖动到合适的位置。 增加字幕,点击文本 智能字幕 识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。 至此,数字人视频就完成了。点击右上角的“导出”按钮,导出视频以作备用。如果希望数字人换成自己希望的面孔,就需要用另一个工具来进行换脸。
2025-02-17
数字员工如何实现?
数字员工的实现方式主要包括以下步骤: 1. 声音克隆:先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits(GPTSoVITS 实现声音克隆)克隆声音,做出文案的音频。 2. 视频整合:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 从学习路径的角度来看,结合“一人公司”的愿景,需要大量的智能体(数字员工)替我们打工。未来的 AI 数字员工会以大语言模型为大脑,串联所有已有的工具和新造的 AI 工具。数字员工(agent)=学历(大模型)+察言观色(观察)+逻辑思维(推理)+执行(SOP)。创造者的学习也依照这个方向,用大语言模型和 Agent 模式把工具串起来,着重关注在创造能落地 AI 的 agent 应用。 Agent 工程(基础版)如同传统的软件工程学,有一个迭代的范式: 1. 梳理流程:梳理工作流程 SOP,并拆解成多个单一「任务」和多个「任务执行流程」。 2. 「任务」工具化:自动化每一个「任务」,形成一系列的小工具,让机器能完成每一个单一任务。 3. 建立规划:串联工具,基于 agent 框架让 bot 来规划「任务执行流程」。 4. 迭代优化:不停迭代优化「任务」工具和「任务执行流程」规划,造就能应对实际场景的 Agent。 在摊位信息方面,有摊位主题为“AI 数字员工”的展示,内容为为企业和个人提供数字劳动力,解决重复性、创意性工作难题。体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等。
2025-02-17
ai数字人
AI 数字人是运用数字技术创造出来的人,目前业界尚无准确定义,一般可根据技术栈分为两类: 1. 真人驱动的数字人:重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关,不过随着视觉算法进步,在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人:强调自驱动,人为干预更少,技术实现更复杂。其大致流程中的三个核心算法分别是: ASR(语音识别):能将用户音频数据转化为文字,便于数字人理解和生成回应。 AI Agent(人工智能体):充当数字人大脑,可接入大语言模型,拥有记忆模块等使其更真实。 TTS(文字转语音):将数字人依靠 LLM 生成的文字转换为语音,保持语音交互一致性。 此外,还有一些关于 AI 数字人的摊位活动,例如:为企业和个人提供数字劳动力,解决重复性、创意性工作难题的“AI 数字员工”体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等;“AIGC(图生图)趣味定制;AI 数字人定制”等。
2025-02-17
ai数字人
AI 数字人是运用数字技术创造出来的人,目前业界没有关于其的准确定义,但一般可根据技术栈分为两类: 1. 真人驱动的数字人:重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关,不过随着视觉算法进步,在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人:强调自驱动,人为干预更少,技术实现更复杂。其大致流程中的三个核心算法分别是: ASR(语音识别):能将用户音频数据转化为文字,便于数字人理解和生成回应。 AI Agent(人工智能体):充当数字人大脑,可接入大语言模型,拥有记忆模块等使其更真实。 TTS(文字转语音):将数字人依靠 LLM 生成的文字转换为语音,保持语音交互一致性。 此外,摊位活动中也有关于 AI 数字人的主题,如为企业和个人提供数字劳动力,解决重复性、创意性工作难题,包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等体验 demo。还有 AIGC 数字艺术挂画、AI 智能体应用、AI 数字人定制等相关内容。
2025-02-17
哪里可以学习最新AI
以下是一些学习最新 AI 的途径和建议: 1. 持续学习和跟进:AI 是快速发展的领域,新成果和技术不断涌现。关注 AI 领域的新闻、博客、论坛和社交媒体,保持对最新发展的了解。 2. 加入相关社群和组织:参加研讨会、工作坊和会议,与其他 AI 爱好者和专业人士交流。例如“通往 AGI 之路”这样的中文知识库和社区平台,它汇集了上千个人工智能网站和工具,提供最新的 AI 工具、应用、智能体和行业资讯,还有丰富的学习资源、实践活动,并倡导开放共享的知识体系。 3. 参考学习日记:如《雪梅 May 的 AI 学习日记》,其中提到适合纯 AI 小白的学习模式,即输入→模仿→自发创造。但需注意学习内容可能因 AI 发展而变化,可在相关社区发现自己感兴趣的领域,学习最新内容。 4. 利用免费开源资源:很多学习资源是免费开源的,充分利用这些资源进行学习。
2025-02-18
最新的AI行业动态和进展有哪些,包含2025年
以下是关于最新的 AI 行业动态和进展(包含 2025 年)的内容: 2024 年: 图片超短视频的精细操控:包括表情、细致动作、视频文字匹配。 有一定操控能力的生成式短视频:风格化、动漫风最先成熟,真人稍晚。 AI 音频能力长足进展:带感情的 AI 配音基本成熟。 “全真 AI 颜值网红”出现,可以稳定输出视频,可以直播带货。 游戏 AI NPC 有里程碑式进展,出现新的游戏生产方式。 AI 男/女朋友聊天基本成熟:记忆上有明显突破,可以较好模拟人的感情,产品加入视频音频,粘性提升并开始出圈。 实时生成的内容开始在社交媒体内容、广告中出现。 AI Agent 有明确进展,办公场景“AI 助手”开始有良好使用体验。 AI 的商业模式开始有明确用例:数据合成、工程平台、模型安全等。 可穿戴全天候 AI 硬件层出不穷,虽然大多数不会成功。 中国 AI 达到或超过 GPT4 水平;美国出现 GPT5;世界上开始现“主权 AI”。 华为昇腾生态开始形成,国内推理芯片开始国产替代(训练替代要稍晚)。 AI 造成的 DeepFake、诈骗、网络攻击等开始进入公众视野,并引发担忧。 AI 立法、伦理讨论仍然大规模落后于技术进展。 2025 2027 年: AI 3D 技术、物理规则成熟:正常人无法区别 AI 生成还是实景拍摄。 全真 AI 虚拟人成熟:包含感情的 AI NPC 成熟,开放世界游戏成熟;游戏中几乎无法区别真人和 NPC。 AR/VR 技术大规模商用。 接近 AGI 的技术出现。 人与 AI 配合的工作方式成为常态,很多日常决策开始由 AI 来执行。 AI 生产的数据量超过全人类生产数据量,“真实”成为稀缺资源。 具身智能、核聚变、芯片、超导、机器人等技术有明显进展突破。 “人的模型”出现,出现“集中化 AGI”与“个人 AGI”的历史分叉。 AI 引发的社会问题开始加重,结构性失业开始出现。 AGI 对于地缘政治的影响开始显露。 此外,还有以下相关动态: 算力瓶颈不只是单纯的技术和建设问题,而是影响整个行业竞争格局的重要变量。 逐渐进入多模态灵活转换的新时代,实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换。 人类劳动形式逐步“软件化”,复杂劳动被抽象为可调用的软件服务,劳动流程被大幅标准化和模块化,劳动能力像“即插即用”的工具一样易于获取。 AI 行业目前仍处于严重亏损的阶段,商业化进程仍有巨大提升空间。 云厂商是产业链中毋庸置疑的“链主”。 2024 年,头部 AI 应用的品类变化并不显著。创意工具(如图像和视频内容创作)依然占据最大比重。To P(面向专业用户)应用展现出强大的市场潜力,ToB(面向企业)应用发展路径相对复杂,ToC 应用面临较大的挑战。 在 AI 应用领域,Copilot 和 AI Agent 是两种主要的技术实现方式。 北美和欧洲贡献了 AI 移动应用市场三分之二的份额,众多中国 AI 公司积极出海。 2024 年 10 月的大事记包括: Gartner 发布 2025 年十大战略技术趋势。 DeepSeek 开源多模态 LLM 框架 Janus。 司南开源大模型能力评估模型 CompassJudger。 Anthropic 发布新功能 computer use,发布 Claude 3.5 Haiku,更新 Claude 3.5 Sonnet。 Stability AI 发布 Stable Diffusion 3.5。 x.AI 正式推出 API。 ComfyUI V1 官方桌面版开放内测。 华为发布纯血操作系统鸿蒙 OS NEXT。 Jina AI 推出高性能分类器 Classifier API。 OpenAI 发布图像生成模型 sCM。 Midjourney 上线外部图片编辑器。 Runway 发布动画视频功能 ActOne。 Ideogram 推出 AI 画板工具 Canvas。 Genmo 开源视频生成模型 Mochi 1。 荣耀发布操作系统 MagicOS 9.0。 美国 14 岁少年与 C.AI 聊天后离世。 新华社发文表示警惕「AI 污染」乱象。 港中文&趣丸推出 TTS 模型 MaskGCT。 科大讯飞发布讯飞星火 4.0 Turbo。 阿里通义代码模式开始内测。 Anthropic Claude 新增数据分析功能。 北京市大中小学推广 AI 学伴和 AI 导学应用。 稚晖君开源「灵犀 X1」全套资料。 OpenAI 高管 Miles Brundage 离职。
2025-02-17
最新的AI行业动态和进展有哪些
以下是最新的 AI 行业动态和进展: 1. 《2024 年度 AI 十大趋势报告》发布,其中提到大模型创新方面,架构优化加速涌现,融合迭代大势所趋;Scaling Law 泛化方面,推理能力成皇冠明珠,倒逼计算和数据变革;AGI 探索方面,视频生成点燃世界模型,空间智能统⼀虚拟和现实;AI 应用格局方面,第⼀轮洗牌结束,聚焦 20 赛道 5 大场景;AI 应用竞争方面,多领域竞速运营大于技术,AI 助手兵家必争;AI 应用增长方面,AI+X 赋能类产品大干快上,原生 AI 爆款难求;AI 产品趋势方面,多模态上马,Agent 席卷⼀切,高度个性化呼之欲出;AI 智变千行百业,左手变革生产力,右手重塑行业生态;AI 行业渗透率方面,数据基础决定初速度,用户需求成为加速度;AI 创投方面,投融资马太效应明显,国家队出手频率提升。 2. 2024 年 9 月的 AI 行业大事记: 9 月 12 日:李继刚再现神级 Prompt,玩法持续翻新;Mistral 发布首个多模态模型 Pixtral 12B。 9 月 13 日:商汤 Vimi 相机开放微博小程序;元象开源中国最大 MoE 大模型 XVERSEMoEA36B;OpenAI 发布 o1 模型。 9 月 14 日:人工智能生成合成内容标识办法(征求意见稿);Jina AI 发布 ReaderLM 和 Jina Embeddings V3。 9 月 18 日:DeepSeek 发文庆祝登上 LMSYS 榜单国产第一,几小时后 Qwen 新模型表示不服。 9 月 19 日:云栖大会;通义万相 AI 生视频上线;快手可灵 1.5 模型新增运动笔刷能力。 9 月 20 日:腾讯元器智能体对外发布;秘塔科技产品经理 JD 走红 AI 圈;阶跃跃问接入 Step2 万亿参数 MoE 语言大模型。 9 月 21 日:大模型测试基准研究组正式成立。 9 月 23 日:钉钉 365 会员上线。 9 月 24 日:讯飞星火 API 全新升级;豆包大模型全系列发布&更新。 9 月 25 日:Vidu API 正式开放,加速企业级视频创作;OpenAI 发布高级语音功能;西湖心辰开源 WestlakeOmni。 3. 2024 年,国内 AI 行业融资总金额增加,但事件数同比下降,马太效应越发明显,资本更青睐热点和高成熟度赛道。智能驾驶在各细分赛道中独占鳌头,AI+教育、AI+游戏、AI+医疗等赛道投资总额也有增长。政府积极推进 AI 原生行业发展,北京、上海、武汉等城市出台系列政策吸引人才和企业,国家队频繁投资体现政策支持。
2025-02-17
最新的AI行业动态和进展有哪些
以下是最新的 AI 行业动态和进展: 1. 《2024 年度 AI 十大趋势报告》发布,其中提到: 大模型创新方面,架构优化加速涌现,融合迭代大势所趋。 Scaling Law 泛化,推理能力成皇冠明珠,倒逼计算和数据变革。 AGI 探索中,视频生成点燃世界模型,空间智能统⼀虚拟和现实。 AI 应用格局方面,第一轮洗牌结束,聚焦 20 赛道 5 大场景。 AI 应用竞争中,多领域竞速运营大于技术,AI 助手兵家必争。 AI 应用增长方面,AI+X 赋能类产品大干快上,原生 AI 爆款难求。 AI 产品趋势为多模态上马,Agent 席卷一切,高度个性化呼之欲出。 AI 智变千行百业,左手变革生产力,右手重塑行业生态。 AI 行业渗透率方面,数据基础决定初速度,用户需求成为加速度。 AI 创投方面,投融资马太效应明显,国家队出手频率提升。 2. 2024 年 9 月的 AI 行业大事记: 9 月 12 日:李继刚再现神级 Prompt,玩法持续翻新;Mistral 发布首个多模态模型 Pixtral 12B。 9 月 13 日:商汤 Vimi 相机开放微博小程序;元象开源中国最大 MoE 大模型 XVERSEMoEA36B;OpenAI 发布 o1 模型。 9 月 14 日:人工智能生成合成内容标识办法(征求意见稿);Jina AI 发布 ReaderLM 和 Jina Embeddings V3。 9 月 18 日:DeepSeek 发文庆祝登上 LMSYS 榜单国产第一,几小时后 Qwen 新模型表示不服。 9 月 19 日:云栖大会;通义万相 AI 生视频上线;快手可灵 1.5 模型新增运动笔刷能力。 9 月 20 日:腾讯元器智能体对外发布;秘塔科技产品经理 JD 走红 AI 圈;阶跃跃问接入 Step2 万亿参数 MoE 语言大模型。 9 月 21 日:大模型测试基准研究组正式成立,国家队来了。 9 月 23 日:钉钉 365 会员上线。 9 月 24 日:讯飞星火 API 全新升级;豆包大模型全系列发布&更新。 9 月 25 日:Vidu API 正式开放,加速企业级视频创作;OpenAI 发布高级语音功能;西湖心辰开源 WestlakeOmni。 3. 从行业视角来看,2024 年国内 AI 行业融资总金额增加,但事件数同比下降,马太效应越发明显,资本更青睐热点和高成熟度赛道。智能驾驶在各细分赛道中独占鳌头,AI+教育、AI+游戏、AI+医疗等赛道投资总额也有增长。在政策方面,政府积极推进 AI 原生行业发展,北京、上海、武汉等城市出台系列政策吸引人才和企业,国家队频繁出手投资体现政策支持。
2025-02-17
配置最新的ai
以下是关于配置最新 AI 的相关内容: 1. Yaki:GPT/MJ 接入微信 检查环境 安装 Python 安装 git 克隆项目代码 安装 pip 环境 更改名称 配置文件:在 FinalShell 窗口下找到 root/chatgptonwechat/config.json 文件打开进行配置。 OpenAI API 的基础 URL(如果调用的不是官方的 key,需要更改这部分的内容):"open_ai_api_base":"https://api.gptapi.us/v1" 使用的模型版本(如果想要使用其他模型,记得需要更改这里):"model":"gpt4" 启动命令 注:扫码登录是模拟电脑登录微信号,需要保持在线才会触发,如果切换退出等,那么服务器中的微信也会掉线。 更详细内容参考:https://github.com/zhayujie/chatgptonwechat/tree/master 2. python 安装 FittenAI 编程助手 安装 python 的运行环境: 安装步骤:点击左上角的 FileSettingsPluginsMarketplace 注册:安装完成后左侧会出现 Fitten Code 插件图标,注册登录后即可开始使用 智能补全:按下 Tab 键接受所有补全建议;按下 Ctrl+→键接收单个词补全建议 AI 问答:通过点击左上角工具栏中的 Fitten Code–开始新对话打开对话窗口进行对话 自动生成代码:Fitten Code 工具栏中选择"Fitten Code生成代码",然后在输入框中输入指令即可生成代码 代码转换:Fitten Code 可以实现代码的语义级翻译,并支持多种编程语言之间的互译。选中需要进行翻译的代码段,右键选择"Fitten Code–编辑代码",然后在输入框中输入需求即可完成转换 3. 张梦飞:【知识库】FastGPT+OneAPI+COW 带有知识库的机器人完整教程 环境配置: 复制代码时注意复制全,每次只粘贴一行,然后点击一次回车。 回车后,只有最左边显示中括号时,才是上一个命令执行完毕。 1、第一步:cd/root||exit 1 2、第二步:下方两行粘贴进入,然后点击回车,等待下载完成。(如果有卡点,进行不下去,可能是服务器网络问题,去拉取时下载不全,可以复制网址,手动去下载到电脑上。然后进入文件夹,找到 root 文件夹,把下载的文件上传进去。) 2.2、再粘贴下方代码,出现下图,就代表在执行中了。 3、然后把下边这行粘贴进去,点击回车。rm f Anaconda32021.05Linuxx86_64.sh 4、继续粘贴:/root/anaconda/bin/conda create y name AI python=3.8 5、继续,一行一行依次粘贴,依次回车:echo 'source /root/anaconda/bin/activate AI' >> ~/.bashrc 6、执行完成后。刷新一下,重新进入终端,最左侧出现了(AI)的字符则配置完成。
2025-02-16
AI音乐最新资讯
以下是为您整理的 AI 音乐最新资讯: LAIVE: 这是一个利用 AI 技术一次性生成音乐、歌词、主唱等的创作平台。使用者可以选择喜欢的类型和情调,上传参考音源,AI 分析后生成音乐,还能选择主唱和修改歌词。目前为开放测试阶段。 输入促销代码“LAIVEcreator”(入口在个人资料)可获得 50 代币,令牌有效期为输入代码后的 30 天,促销码失效日期为 4 月 17 日。链接:https://www.laive.io/ Combobulator: DataMind Audio 推出的基于 AI 的效果插件,利用神经网络通过样式转移的过程重新合成输入音频,从而使用您自己的声音重现其他艺术家的风格。链接:https://datamindaudio.ai/ 新的文生音乐工具预告: Manglemoose 最近展示了由他们最新开发的音乐生成器制作的视频案例,该工具的名称尚未公布。Manglemoose 集结了五位音频技术专家,提供多种服务。详情可点击链接查看:https://www.manglemoose.com/en/ bGPT 字节级变换器: 论文:https://arxiv.org/abs/2402.19155 代码:https://github.com/sanderwood/bgpt 传统深度学习常忽略字节,bGPT 是具有下一个字节预测功能的模型,用于模拟数字世界,在模拟数字世界方面表现出色。 2.26 资讯: 作者:叮当不是机器猫,公众号:智音 Brook 20240226 16:00 广东 原文:https://mp.weixin.qq.com/s/MNqxjDvzMLZOZJoYDmCzEw FoleyGen:视觉引导音频生成 演示:https://xinhaomei.github.io/foleygen_demo/ 论文:https://arxiv.org/abs/2309.10537 具有不可微分规则引导扩散的符号音乐生成 FIGARO:通过精细的艺术控制生成象征性音乐 资源受限的立体声歌声消除 物理驱动的扩散模型来产生撞击声 世界上第一个自然语言音乐搜索引擎
2025-02-14
我想做一个产品(生涯规划领域的垂直大模型),这个产品服务的对象是所有人:帮助所有人进行更好的职业规划。每个人都能通过使用这个产品更好地了解自己,了解自己的天赋、兴趣、优势,然后找到自己的热爱的领域和热爱的事业,并且能够个性化地推荐相关的行业和职业,包括职业的主要工作内容和核心能力要求等等。 请对这个产品进行可行性分析,并给出产品的发展规划,别忘了给这个项目起一个名字。
以下是对您提出的生涯规划领域垂直大模型产品的可行性分析和发展规划,并为项目取名为“生涯智途”。 可行性分析: 1. 需求广泛:帮助人们进行职业规划是一个普遍存在的需求,涵盖了各个年龄段和职业阶段的人群。 2. 数据可用性:可以通过各种渠道收集大量与职业相关的数据,包括行业报告、职位描述、人才需求等。 3. 技术支持:当前大模型技术的发展为实现这样的产品提供了可能,能够处理和分析大量复杂的数据。 发展规划: 1. 数据收集与整理:广泛收集各类职业数据,建立丰富的数据库,确保数据的准确性和完整性。 2. 模型训练与优化:利用收集到的数据进行模型训练,不断优化模型,提高预测和推荐的准确性。 3. 功能开发: 个性化测评:开发能够准确评估用户天赋、兴趣、优势的功能模块。 精准推荐:根据用户的特点,提供个性化的行业和职业推荐,并详细介绍职业的工作内容和核心能力要求。 持续学习与更新:随着行业变化,及时更新数据和模型,以提供最新的职业信息。 4. 用户体验优化:设计简洁、易用的界面,提供良好的用户交互体验。 5. 市场推广:通过线上线下多种渠道进行推广,提高产品的知名度和用户覆盖面。 希望以上分析和规划对您有所帮助。
2025-02-18
AI如何在项目中运用
AI 在项目中的运用非常广泛,主要包括以下几个方面: 1. 辅助创作与学习:例如 AI 智能写作助手可帮助用户快速生成高质量文本,还有 AI 语言学习助手、诗歌创作助手、书法字体生成器、漫画生成器等为用户的学习和创作提供支持。 2. 推荐与规划:涵盖 AI 图像识别商品推荐、美食推荐平台、旅游行程规划器、时尚穿搭建议平台、智能投资顾问等,能根据用户需求和偏好推荐合适的产品、服务或制定个性化计划。 3. 监控与预警:像 AI 宠物健康监测设备、家居安全监控系统、天气预报预警系统、医疗诊断辅助系统等,可实时监测各种情况并提供预警。 4. 优化与管理:涉及办公自动化工具、物流路径优化工具、家居清洁机器人调度系统、金融风险评估工具等,有助于提高工作效率和管理水平。 5. 销售与交易:包括 AI 艺术作品生成器、书法作品销售平台、摄影作品销售平台、汽车销售平台、房地产交易平台等,为各类产品和服务提供销售渠道。 对于技术纯小白开发真正的应用,可逐步学习和实践。按照项目规划,学习一个 POC 并应用到大项目中。当遇到错误时,可复制错误信息和相关代码让 AI 找错修复,若使用可识图的 Claude 或 GPT4o,截图、错误信息和代码三件套会很有用。但可能会遇到一些问题,如 AI 给出错误的代码版本,此时更有效的方式是找文档(可让 GPT 提供文档链接或问 perplexity),或去 stackoverflow 上找答案(注意回答和评论的日期),然后将这些信息提供给 AI 让其修复。如有可能,找老师傅支援会更好。 在有具体需求的项目中运用 AI 仍存在困难,但其能提高生产效率,如创造美术资源,在创意瓶颈时也能提供启发和灵感。
2025-02-18
生成式AI教育场景应用 项目式学习 中小学案例
以下是一些中小学在生成式 AI 教育场景应用中采用项目式学习的案例: 北京市新英才学校: 开设“AI 创作家”小学课后服务特色课程,12 个五、六年级的学生在老师的引导和帮助下,主导设计一款实用的桌游。 学生们提出解决学校面积大导致新生和访客迷路的问题,决定制作一款学校地图桌游。 课程中,学生有时听老师讲解人工智能知识和工具使用方法,有时自己写 prompt 与大语言模型对话,还使用文生图 AI 工具生成桌游卡牌背后的图案,手绘第一版学校地图,选择游戏机制并梳理游戏流程。 在教育领域,生成式 AI 带来了诸多改变: 解决了教育科技长期以来在有效性和规模之间的权衡问题,可大规模部署个性化学习计划,为每个用户提供“口袋里的老师”,如实时交流并给予发音或措辞反馈的语言老师。 出现了众多辅助学习的产品,如教授新概念、帮助学习者解决各学科问题、指导数学作业、提升写作水平、协助创建演示文稿等。
2025-02-18
AI的项目
以下是为您整理的一些 AI 项目相关信息: 1. AI 春晚:这是由 WaytoAGI 社区组织的一场由 AI 技术驱动的春节晚会,由 300 多位 AI 爱好者共同创作。在 20 多天里运用多种先进技术,作品时长约 150 分钟,涵盖多种节目类型。于 24 年大年初一直播,18 万人在线观看,后续视频播放量超 200 万,媒体曝光量超 500 万,多个节目登录央视网,孵化了数个优质项目与团队。您可以通过以下链接观看:完整版:https://www.bilibili.com/video/BV15v421k7PY/?spm_id_from=333.999.0.0 相关进度: 2. 2024 年盘点:融资过亿的美国 AI 初创公司: Liquid AI:完成 2.5 亿美元 A 轮融资,公司估值达 23.5 亿美元。由 AMD Ventures 领投,专注开发高效通用 AI 模型,计划用资金扩展计算基础设施和加速产品部署。 Tractian:完成 1.2 亿美元 C 轮融资,公司估值 7.2 亿美元。由 Sapphire Ventures 等机构参与,其解决方案帮助企业实现零停机时间和提高生产力,计划用资金加速制造业 AI 创新。 Tenstorrent:完成 6.93 亿美元 D 轮融资,公司估值 27 亿美元。由三星证券等领投,专注开发高性能 AI 处理器,计划用资金扩充工程团队和构建训练服务器。 xAI:完成第二轮巨额融资,筹集 60 亿美元,公司估值 500 亿美元。由红杉资本等机构参与。 3. AI 市集:包括 AI 调酒、AI 占卜、AI 绘画等。还有 AI 音乐节,由 AI 作词作曲做 MV;AI 即兴喜剧,由 AI 原创剧本。每个 AI 项目通过支付宝百宝箱搭建智能摊位,顾客可直接提问,机器人助手回答并生成文字或图片。如妙刷,可通过上传图片生成艺术作品和视频。杭州“AI 创作者基地”揭牌,将联合社区输出高质量 AI 技术支持。12 月的切磋大会在筹备中,未来会去更多城市和学校。
2025-02-04