Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

现在数字人直播还有发展趋势吗?

Answer

数字人直播仍有发展趋势。

数字人是运用数字技术创造出来的,虽现阶段不能高度智能,但已在生活场景中常见,且随 AI 技术发展迎来应用爆发。业界对其尚无准确定义,一般可分真人驱动和算法驱动两类。真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,应用于影视和直播带货,其表现质量与建模和动捕设备精度有关,不过视觉算法进步使无昂贵设备时也能有不错效果。

数字人直播的盈利方式包括直接卖数字人工具软件(分实时和非实时驱动,价格不等)和提供数字人运营服务按成交额抽佣。适用品类和场景方面,适用于不需要强展示的商品如品牌食品饮料、虚拟商品,店播效果较好,数据能保持跟真人一样,不适用于促销场景和服装等过品快、建模成本高的商品。

AI 直播存在一定壁垒,如更真实的对口型、更低的响应延迟等,目前仍有技术门槛,但时间拉长技术上无壁垒,不会一家独大,可能有 4 - 5 家一线效果公司,大多为二三线效果公司。真正把客户服务好、能规模化扩张的公司更有价值,有资源和业务的大平台下场可能带来降维打击。同时,在电商领域,数字人配套的运营服务才是关键,不能依赖数字人,其目前只能是辅助。在店播场景下,实时互动必要性不高。

Content generated by AI large model, please carefully verify (powered by aily)

References

AI 数字人-定义数字世界中的你

数字人,是指运用数字技术创造出来的人,虽然在现阶段不能做到像科幻作品中的人型机器人一样具备高度智能,但它已经在生活的各类场景中触手可及,而且随着AI技术的发展,也正在迎来应用爆发。目前业界还没有一个关于数字人的准确定义,但一般可以根据技术栈的不同分为两类,一类是由真人驱动的数字人,另一类是由算法驱动的数字人。[heading4]1.1真人驱动的数字人[content]这类数字人重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业以及现下很火热的直播带货,其表现质量与手动建模的精细程度及动捕设备的精密程度直接相关,不过随着视觉算法的不断进步,现在在没有昂贵动捕设备的情况下也可以通过摄像头捕捉到人体骨骼和人脸的关键点信息,从而做到不错的效果。

7月2日 张晟、汗青讨论数字人

1.直接卖数字人工具软件。分实时驱动和非实时驱动两类,实时驱动在直播时能改音频话术,真人接管。市面价格在一年4-6万往上(标准零售价)。非实时一个月600元,效果很差,类似放视频的伪直播,市场价格混乱,靠发展代理割韭菜。2.提供数字人运营服务,按直播间成交额抽佣。[heading2]AI直播卖货适用品类和场景?[content]1.适用于不需要强展示的商品,如品牌食品饮料。如果服装就搞不了,过品快,衣服建模成本高。2.适用于虚拟商品,如门票、优惠券等。3.不适用于促销场景,这涉及主播话术、套路,调动直播间氛围能力等。4.电商直播分为达播跟店播,数字人直播跑下来效果最好的是店播,数据基本能保持跟真人一样(朋友公司数据)。[heading2]AI直播的壁垒和未来市场格局是什么?[content]1.时间拉长,技术上没壁垒。但目前看仍有技术门槛,单纯靠开源算法拼的东西,实时性、可用性不高。比如更真实的对口型,更低的响应延迟等。2.不会一家独大,可能4-5家一线效果,大多二三线效果公司。因为它只是工具,迁移成本低。3.真正把客户服务好,能规模化扩张的公司更有价值。疯狂扩代理割韭菜,不考虑客户效果的公司,售后问题很麻烦。4.有资源、有业务的大平台下场,可能会带来降维打击,例如剪映马上要做,如果不仅提供数字人,还提供货品供应链、数据复盘分析等等,全环节打通会绑定商家,很难打。

会议讨论:7 月 2 日AI数字人(虚拟人)讨论

‍​⁢‬⁢⁡⁡⁡‬‍⁤⁣​‍​​⁤​​⁢⁤​​⁢⁢‬​⁡​​‍‌⁤‌​​‍⁢​‍​⁢⁣‌昨晚参与了一场AI数字人(虚拟人)的会议讨论,向阳把两个小时的内容浓缩总结了下-大家可以直接看飞书云文档对数字人感兴趣的可以听一下会议原声,以下链接中有上传[AI数字人(虚拟人)讨论总结](https://bytedance.feishu.cn/docx/ZYladJDfrocZOGxylnucJeMXn0b)有一位从业者的发言也比较有内容我这里引用下:有几个点很认同也是我们半年跑下来的一些结果(我负责的业务线也是在做数字人,目前也是在电商直播上探索)1.之所以现在做电商,不是因为电商适合数字人,可能只是因为前期硅基他们宣传的猛+确实还没发现其他更好的场景2.在电商领域,数字人不能也无法成为壁垒,跟数字人配套的运营服务才是,我们目前续费的客户全不是因为数字人而是因为配套的服务跟上。3.电商直播分为达播跟店播,目前数字人直播跑下来效果最好的是店播,数据基本能保持跟真人一样4.给所有的商家建议都是别依赖数字人,数字人服务在目前这个阶段还只能是辅助(如果只是单纯的数字人那就连辅助都算不上)5.xx公司就纯隔韭菜对商家伤害太大6.目前有几个领域数字人效果也很棒roi比电商还高7.在店播场景下,实时互动的必要性没那么高,我们做几轮ab测效果差不多

Others are asking
目前写直播脚本的AI工具有哪些
以下是一些可以写直播脚本的 AI 工具: 1. GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE,能为程序员快速提供代码建议。 2. 通义灵码:阿里巴巴团队推出,提供多种编程相关能力。 3. CodeWhisperer:亚马逊 AWS 团队推出,由机器学习技术驱动,为开发人员实时提供代码建议。 4. CodeGeeX:智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型,可提升开发效率。 5. Cody:代码搜索平台 Sourcegraph 推出,借助强大的代码语义索引和分析能力了解开发者的整个代码库。 6. CodeFuse:蚂蚁集团支付宝团队为国内开发者提供的免费 AI 代码助手。 7. Codeium:由 AI 驱动的编程助手工具,提高编程效率和准确性。 更多辅助编程 AI 产品,还可以查看这里:https://www.waytoagi.com/category/65 。每个工具的功能和适用场景可能不同,您可以根据自身需求选择最适合的工具。
2025-01-19
做网络直播卖货,如何用人工智能回答客户问题
以下是关于您提出的问题的相关内容: 在网络直播卖货中使用人工智能回答客户问题,可以参考以下方面: 在其他领域中利用人工智能的经验: 1. 零售和电子商务: 产品推荐:利用人工智能分析客户数据,为客户推荐可能感兴趣的产品。 搜索和个性化:改善搜索结果,提供个性化购物体验。 聊天机器人:回答客户问题并解决问题。 2. 阿里巴巴营销和产品页面优化: 市场分析:借助人工智能工具研究市场趋势、消费者行为和竞争对手情况。 关键词优化:分析和推荐高流量、高转化的关键词,优化产品标题和描述。 产品页面设计:利用 AI 设计工具生成吸引人的页面布局。 内容生成:使用 AI 文案工具撰写有说服力的产品描述和营销文案。 图像识别和优化:借助 AI 技术选择或生成高质量产品图片。 价格策略:分析不同价格点对销量的影响。 客户反馈分析:了解客户需求,优化产品和服务。 个性化推荐:根据用户购买历史和偏好提供推荐。 聊天机器人:提供 24/7 客户服务。 营销活动分析:了解活动效果。 库存管理:预测需求,优化库存。 支付和交易优化:分析支付方式对交易成功率的影响。 社交媒体营销:在社交媒体上找到目标客户群体。 直播和视频营销:分析观众行为,优化内容。 在客户服务方面,例如自然语言处理在客服聊天机器人中的应用,其具有适应性和自主性,能根据大量数据集训练来识别语言模式,为客户提供实时响应并生成类似人类的输出,但可能存在无意包含不准确或误导信息的风险。在医疗分诊系统中,能预测患者状况并推荐干预和治疗,但存在提供错误医疗建议导致不良后果且责任不明确的风险。 需要注意的是,在使用人工智能回答客户问题时,要确保回答的准确性和有效性,不断优化和改进人工智能的算法和模型,以提高服务质量和客户满意度。
2025-01-13
ai直播转写工具
以下是为您提供的关于 AI 直播转写工具的相关信息: 1. 作者开发了一个使用 GPT4 技术的实时转录工具 Ecoute,它可以在文本框中为用户的麦克风输入(You)和用户的扬声器输出(Speaker)提供实时转录,还使用 OpenAI 的 GPT3.5 生成建议的响应,开源地址:https://github.com/SevaSk/ecoute 。 2. 视频配音效的 AI 工具具有以下功能特点: 支持 50 多种语言的配音,音质自然流畅。 提供实时配音功能,适用于直播和演讲。 将语音转录为文本,方便后期字幕制作和编辑。 与多种生产力和学习工具整合。 例如 Vidnoz AI 支持 23 多种语言的配音,音质高保真,支持文本转语音和语音克隆功能,提供语音参数自定义和背景音乐添加工具,提供面向个人和企业的经济实惠的定价方案。 3. 季逸超 Peak 在《一个 AI 创业者的反思、观察和预测》中提到,在 AI 产品中构建数据飞轮非常重要,如 Midjourney 让用户从生成的 4 张图中挑选,默认选中的更好,完成了数据飞轮构建,而 ChatGPT 的反馈方式相对较弱。同时指出 ToB 方向懂 AI 的产品经理更稀缺,所有人都要考虑如何应对 AI 的冲击,如在文生图领域,可能到今年年底无法区分是否为 AI 生成,这会给小红书等平台带来信任问题,需从产品层面解决。
2025-01-07
无人直播工具
以下是为您提供的关于无人直播工具的相关信息: Notebook LM 工具: 分享者:严三在读学生金僖康,是 open academic 发起人。 内容:主要分四部分,包括工具介绍、操作流程、反思收获以及类似工具对比,还做了简单自我介绍及自身学习和工作经历。 简介:2023 年 7 月已存在且改过名,背后模型支持最长 200 万 token,覆盖多国家地区(不含中国大陆),支持多种文件格式、具有播客功能等。 来源:金僖康分享了知晓该工具的途径。 使用体验:金僖康分享了自己的使用体验和最初的疑惑。 免费试用:Google Labs 旗下的 Notebook LM 工具提供免费试用。 操作演示:有相关的操作演示。 关于音乐制作方面的工具: Audition:在音频处理阶段大部分使用。 Studio One:由 PreSonus 公司开发的专业 DAW 软件,功能全面,适合编曲、录音、混音和母带处理等音乐制作流程,在本文中用于编曲、混音、母带处理等环节。 Waves XNoise:由 Waves 公司出品的降噪 VST 插件,用于降低音频中的噪声,操作简单,易于使用,在本文中用于处理一些高频背景噪音。 iZotope RX 11:专业的音频修复和降噪软件,功能强大,具备多种音频修复和编辑工具,在本文中用于处理高频杂音,检查音频质量等。 iZotope Ozone 11:专业的母带处理软件,提供全面的母带处理工具,在本文中用于最后出品前的母带处理。
2025-01-02
有直播间口播的prompt案例吗
以下为直播间口播的 prompt 案例: 脱口秀编剧李继刚的相关 prompt: 分类:文本 说明:专门编写 Oneliner 风格的脱口秀段子编剧 约束:段子必须包含铺垫和包袱两部分,段子要求有幽默感,能打破预期 示例:面试官说了半天 链接地址:
2024-12-30
AI直播主要财务假设
以下是关于 AI 直播的主要财务假设相关内容: AI 数字人直播盈利方式: 1. 直接销售数字人工具软件,实时驱动类一年价格在 4 6 万往上(标准零售价),非实时驱动类一个月 600 元,但效果差,市场价格混乱。 2. 提供数字人运营服务,按直播间成交额抽佣。 AI 直播卖货适用品类和场景: 1. 适用于不需要强展示的商品,如品牌食品饮料;不适用于服装,过品快且建模成本高。 2. 适用于虚拟商品,如门票、优惠券等。 3. 不适用于促销场景,涉及主播话术、套路和调动氛围能力等。 4. 电商直播中,数字人直播在店播方面效果较好,数据基本能保持跟真人一样。 AI 直播的壁垒和未来市场格局: 1. 长期来看技术上无壁垒,但目前仍有技术门槛,如更真实的对口型、更低的响应延迟等。 2. 不会一家独大,可能有 4 5 家一线效果的公司,大多为二三线效果公司。 3. 真正把客户服务好、能规模化扩张的公司更有价值,疯狂扩代理割韭菜、不考虑客户效果的公司售后问题麻烦。 4. 有资源、有业务的大平台下场可能带来降维打击,例如剪映若不仅提供数字人,还提供货品供应链、数据复盘分析等全环节服务,会绑定商家,竞争难度大。 RPA + 财务税务问答机器人制作教程相关: 1. 关于 AI 税务机器人的直播准备与开场,包括封面制作、声音测试、人员分工等,并进行了直播开场。 2. AI 在税务工作中的应用及实现方式,包括利用引刀 AP 创建网页实现智能解答税务问题,结合飞书避免信息泄露和实现自动回复等。 3. 使用引到 AP 创建税务 AI 智能助手及相关部署,包括搭建知识库、创建并部署 AI 工作流,还提及结合飞书功能使用的原因。 4. 飞书机器人与引到 AP 的结合及相关问题,包括操作步骤、常见问题及与其他产品的区别等。 5. RPA 产品介绍及应用场景,杭州分叉智能公司成立三四年,获几亿美金融资,其 RPA 产品可控制桌面软件,实现办公流程自动化。RPA 是流程自动化机器人,可替代电脑办公中的重复有逻辑工作,为企业降本增效,底层语言用 Python,使用界面为全中文。适用场景如开具大量发票、查询大量出租车违章、朋友圈点赞等,在财务领域可用于开票、网银流水下载等。还展示了创建 RPA 机器人的流程,通过指令控件让机器人执行任务,操作比代码更简单。公司多人多部门使用 RPA 可实现无人化办公专区,提高办公效率,节省人力时间成本。
2024-12-26
ai在人力资源服务行业上的发展趋势
以下是关于 AI 在人力资源服务行业发展趋势的相关内容: 人工智能和机器学习在金融服务行业的应用已有十多年,促成了信贷评估、欺诈评分等方面的改进。大型语言模型通过生成式人工智能代表着重大飞跃,正在改变多个领域,包括教育、游戏、商业等。与传统 AI/ML 侧重基于现有数据进行预测或分类不同,生成式人工智能能创造全新内容。这种能力结合对大量非结构化数据的训练和无限计算能力,可能带来金融服务市场数十年来最大的变革。在金融服务行业,预计优秀的新公司和现有企业将立即开始接纳生成式人工智能。 在人力资源服务行业,相关报告如《用友:AI 在企业招聘中的应用现状调研报告》预测,随着技术进步,AI 将进一步推动个性化人力资源管理,创造无人值守的 HR 平台,推动企业持续发展。 知名投资机构 Nfx 分析指出,AI 正在强制逆转 SaaS 缩写的含义,从“软件即服务”转变为“服务即软件”,软件既能组织任务也能执行任务,无需雇佣额外劳动力,传统劳动力市场将和软件融合成新市场。从企业组织结构来看,提供这种 AI 劳动力的产品有两种形式。
2024-12-10
ai的现状和未来发展趋势
目前人工智能的现状和未来发展趋势如下: 现状: 更多资金投入:预计明年会有团队花费超过 10 亿美元来训练单个大型模型,生成式 AI 的热潮持续且更加“奢华”。 计算压力挑战:政府和大型科技公司承受着逼近电网极限的计算需求压力。 AI 介入选举:虽预期影响尚未成真,但需保持警惕。 未来发展趋势: 专业化细分:从通用能力转向专注特定领域或功能,如图像生成(Midjourney、Stable Diffusion 等)、视频制作(Pika、Runway 等)、音频处理等,各细分领域不断提升核心能力,提供更精准高质量服务。 商业模式创新:包括 ToB 市场深耕(如针对内容创作者的 ReadPo)、新型广告模式(如天宫搜索的“宝典彩页”)等,从技术展示向解决用户痛点和创造商业价值转变。 应用场景不断扩展,包括但不限于: 自动驾驶,提高交通安全性和效率。 交通管理,优化信号灯和交通流量,缓解拥堵。 物流和配送,优化路线和计划,降低运输成本。 无人机送货,快速送达偏远地区。 教育,提供个性化学习体验。 农业,分析农田数据,提高农作物产量和质量。 娱乐,开发虚拟现实和增强现实体验。 能源,优化能源使用,提高能源效率。 未来人工智能将对我们的生活产生更加深远的影响。
2024-12-07
目前中国国内AI大模型的发展趋势
目前中国国内 AI 大模型的发展呈现出以下趋势: 1. 发展阶段:自 ChatGPT 发布以来,大致经历了准备期(国内产学研迅速形成大模型共识)、成长期(大模型数量和质量逐渐增长)、爆发期(各行各业开源闭源大模型层出不穷,形成百模大战的竞争态势)。 2. 竞争态势:2023 年上半年,国内众多企业纷纷投入资源研究类 GPT 架构,试图创造国产 AGI;下半年则纷纷转向“垂直应用”和“商业化”。 3. 技术差距:中美在 AGI 技术上仍存在差距,国内最领先的模型水平大概在准 ChatGPT3.5 的水平,和 GPT4 有不小差距。 4. 企业表现:百度的“文心 4.0”是当前国内能力较好的模型之一,即将发布的阿里的“通义千问”也备受关注。但大厂们在冲击 AGI 方面虽有资源优势,但实际效果尚未有明确亮点,且受内部短期考核压力和其他业务、政治考量的影响。 要获取最新的中国国内大模型排名,您可以查阅相关的科技新闻网站、学术论坛或关注人工智能领域的社交媒体平台,在通往 AGI 之路的知识库里,会定期更新相关的排名报告,可供您查阅。但请注意,内容由 AI 大模型生成,请仔细甄别。
2024-12-04
ai是大发展趋势吗
AI 是大发展趋势。以下是一些支持这一观点的理由: 持续学习和跟进:AI 是一个快速发展的领域,新的研究成果和技术不断涌现。关注该领域的新闻、博客、论坛和社交媒体,保持对最新发展的了解。考虑加入相关社群和组织,参加研讨会、工作坊和会议,与其他爱好者和专业人士交流。 金融服务业将比想象得更快地接纳生成式 AI:人工智能和机器学习在金融服务行业已有十多年应用历史,促成了一系列改进。大型语言模型通过生成式人工智能代表重大飞跃,正在改变多个领域,这种能力结合对大量非结构化数据的训练和无限计算能力,可能带来金融服务市场数十年来最大的变革。 红杉资本观点:AI 正处于重要发展阶段,一年内实现了与 SaaS 行业十年相同的收入。产业变革规模大,相关行业的 TAM 将扩展到几乎所有人类参与的行业。应用层大量创新,重点将转移到更高层次认知任务。拥抱 AI 的公司竞争优势将因成本降低、投资成本降低、收入增长及创新传统行业而上升。 综上所述,AI 具有巨大的发展潜力和趋势。
2024-11-22
未来AI的发展趋势是什么?
未来 AI 的发展趋势主要包括以下几个方面: 1. 技术模型方面:o1 preview 模型升级迅速,将很快达到 GPT4 水平。 2. 发展阶段方面:AI 会经历从聊天机器人到推理系统、智能体、创新者,最终到完整组织的五个阶段。 3. 研究方向方面:OpenAI 坚持专注于深度学习,并实现 AGI 且持续调整策略。 4. 应用领域方面:看好 AI 在医疗、教育和科学领域的应用,有可能降低这些关键领域的成本,使人们更容易获得和负担得起相关服务。AI 可以通过抽象出琐碎的工作,让人们把注意力集中在更重要的问题上,并为未来提供更好的工具。 5. 资金投入方面:预计明年会有团队花费超过 10 亿美元来训练单个大型模型,生成式 AI 的热潮不会消退,只会变得更加“奢华”。 6. 计算压力方面:政府和大型科技公司将继续承受计算需求的压力,这些需求已经逼近电网的极限。 7. 社会影响方面:虽然预期的 AI 对选举和就业的影响尚未成真,但仍需警惕。AI 的影响如同潘多拉魔盒,一旦打开,将会在未来长期存在。 8. 领域拓展方面:从 2024 年 AI50 强榜单中可以看出,AI 涉及的领域有扩大的趋势,预计在未来几年,这份榜单的深度和广度都将不断扩大。
2024-10-30
AI 未来的发展趋势是什么?
AI 未来的发展趋势主要包括以下几个方面: 1. 模型升级:o1 preview 模型升级迅速,将很快达到 GPT4 水平。 2. 发展阶段:从聊天机器人到推理系统、智能体、创新者,最终到完整组织。 3. 技术专注:OpenAI 坚持专注方向,实现 AGI 并持续调整策略。 4. 应用领域:看好在医疗、教育和科学领域的应用。 5. 企业赋能:提示词工程作为人机交互关键接口,重要性日益凸显。AI 能力持续提升,为企业带来超级个性化、预测性决策、自动创新、智能流程优化等新机遇。 6. 成本与生产力:AI 革命促使成本下降,有可能降低医疗、教育等关键领域成本,改变成本结构并提高生产力。 7. 领域扩展:从 AI50 强榜单可看出,AI 涉及领域有扩大趋势,预计未来榜单的深度和广度将不断扩大。
2024-10-30
开源项目数字人
以下是关于开源项目数字人的相关内容: 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大,迭代难度高,对于个人开发者不现实。 推荐借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展。 上述 Dify 接口使用注意事项: 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的 Agent,也就是数字人的灵魂,怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用 AI 的能力时,AI 既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
方案一生成的数字人效果怎么样
生成数字人的效果因使用的工具和方法而异。以下是一些常见的情况: 在剪映中生成数字人: 打开“数字人”选项,选择免费且适合的形象,如“婉婉青春”,软件会播放其声音,可判断是否需要,点击“添加数字人”将其添加到视频中,剪映会根据提供的内容生成对应音视频并添加到轨道中。左下角会提示渲染完成时间,可点击预览按钮查看效果。 腾讯的 MimicMotion 项目: 效果显著优于阿里,支持面部特征和唇形同步,不仅用于跳舞视频,也可应用于数字人。其优化包括基于置信度的姿态引导机制确保视频连贯流畅、基于姿态置信度的区域损失放大技术减少图像扭曲变形、创新的渐进式融合策略实现任意长度视频生成。项目地址:https://github.com/tencent/MimicMotion 节点地址:https://github.com/AIFSH/ComfyUIMimicMotion 此外,还有适合小白用户的开源数字人工具,如: 特点:一键安装包,无需配置环境,简单易用。 功能:生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选。 系统兼容:支持 Windows、Linux、macOS。 模型支持:MuseTalk(文本到语音)、CosyVoice(语音克隆)。 使用步骤:下载 8G+3G 语音模型包,启动模型即可。 GitHub: 官网:
2025-01-21
我想组织一个团队,完成属于自己的一套数字人制作技术
以下是组织一个团队完成属于自己的一套数字人制作技术的相关内容: 方案一:剪映数字人“个性化“—无限免费私模数字人 1. 准备谷歌账号(可在淘宝或“”购买)。 2. 第一步:打开谷歌浏览器,点击链接https://github.com/facefusion/facefusioncolab 并点击 open colab 进入程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”,无需安装和付费。点击红框对应的 URL 打开操作界面。 3. 第二步:点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。 4. 第三步:等待专属数字人视频出炉。 方案二:借助开源社区力量构建高质量的 AI 数字人 1. 推荐借助开源社区的像 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流模型供应商、工具及算法实现等。 2. 可通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。 在开源项目中,使用 dify 框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,实现相对复杂功能,如知识库搭建、工具使用等,无需编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于此可将数字人的语音识别和语音生成都交由 Dify 控制,低门槛做出高度定制化的数字人。具体部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 若有更高度定制的模型,也可在 Dify 中接入 XInference 等模型管理平台部署自己的模型。 数字人 GUI 工程中保留了 LLM、ASR、TTS、Agent 等多个模块,能保持更好的扩展。 注意事项: 1. 使用 Dify 接口时,必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,可自行选择方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可根据个人喜好添加。 制作数字人的工具: 1. HeyGen:AI 驱动的平台,可创建逼真的数字人脸和角色,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会变化,使用时请遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2025-01-21
ai数字人怎么生成
生成 AI 数字人主要有以下步骤: 1. 在剪映中生成数字人: 打开剪映右侧窗口顶部的“数字人”选项,选取免费且适合的数字人形象,如“婉婉青春”。 软件会播放数字人的声音,可判断是否需要,点击右下角“添加数字人”将其添加到当前视频中,软件会生成对应音视频并添加到轨道中,左下角会提示渲染完成时间,可点击预览查看效果。 2. 增加背景图片: 删除先前导入的文本内容,因为视频音频已包含文字。 点击左上角“媒体”菜单并“导入”,选择本地图片上传,如一张书架图片,点击图片右下角加号添加到视频轨道(会覆盖数字人)。 拖动轨道最右侧竖线使图片与视频对齐,选中轨道,拖动图片角放大到合适尺寸,并将数字人拖动到合适位置。 3. 增加字幕: 点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段形成字幕。 4. 算法驱动的数字人实现流程: 核心算法包括 ASR(语音识别),能将用户音频数据转化为文字,便于数字人理解和生成回应。 AI Agent(人工智能体)充当数字人大脑,可接入大语言模型,拥有记忆模块等使其更真实。 TTS(文字转语音)将数字人依靠 LLM 生成的文字输出转换为语音。 完成上述步骤后,点击右上角“导出”按钮导出视频备用。若希望数字人换脸,则需使用其他工具。
2025-01-20
数字人
数字人是运用数字技术创造出来的人,虽现阶段不能如科幻作品中的人型机器人般高度智能,但已在生活各场景中常见,且随 AI 技术发展迎来应用爆发。目前业界对其无准确定义,一般按技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,主要用于影视行业及直播带货,表现质量与手动建模精细度及动捕设备精密程度直接相关,不过视觉算法进步使无昂贵动捕设备时,通过摄像头捕捉人体骨骼和人脸关键点信息也能有不错效果。 制作数字人的工具主要有: 1. HeyGen:AI 驱动的平台,能创建逼真数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。 2. Synthesia:AI 视频制作平台,可创建虚拟角色并进行语音和口型同步,支持多种语言,用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人自动转换成语音并合成逼真说话视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。使用这些工具时,请遵守相关使用条款和隐私政策,注意生成内容的版权和伦理责任。 以下是一些包含数字人的节目单示例: 1. 节目“猜真人”:魔术互动类表演,2 个、8 个数字分身,猜哪个是真正的我,需求技术为 AI 数字人。 2. 节目“亲情的应用场景(逝者)”:女儿打扫房间扫到去世父亲二维码再次对话,涉及 AI 分身积累准备。 3. 节目“AI 转绘”:经典电影混剪,涉及短片素材、AI 转绘、Lora 等。 4. 节目“AI 贺岁”:晚会中场致谢,包括共创团队记录、新年祝福等。 5. 节目“打工人共情”:涉及 AI 素材、共情脚本、炫技视频剪辑等。
2025-01-20
在医疗场景,现在有哪些应用
在医疗场景中,AI 有以下应用: 1. 医学影像分析:可用于分析 X 射线、CT 扫描和 MRI 等医学图像,辅助诊断疾病。 2. 药物研发:能够加速药物研发过程,比如识别潜在的药物候选物和设计新的治疗方法。 3. 个性化医疗:通过分析患者数据,为每个患者提供个性化的治疗方案。 4. 机器人辅助手术:用于控制手术机器人,提高手术的精度和安全性。 5. 疾病的诊断与预测:例如利用大模型进行疾病的早期诊断和病情发展预测。 6. 新药物发现:如麻省理工学院利用 AI 发现新型广谱抗生素 Halicin。 7. 中医应用:将人工智能与中医结合,辅助看诊,提高诊疗效率,未来有望实现 24 小时独立问诊开药。 8. 医学问答:像 DoctorGPT 这样的模型,能够准确回答各种医学问题。
2025-01-20
现在有哪些好用的图片生成,或者是修改美化的人工智能,尽量少要一些国内的
目前比较成熟的国外图片生成或修改美化的 AI 产品主要有: 1. Artguru AI Art Generator:在线平台,能生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:AI 工具,可将图片转换为非凡肖像,有 500 多种风格可选,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,能将上传的照片转换为芭比风格,效果很好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可根据文本或参考图像生成有创意且质量不错的相似图像输出,但仍存在一些局限,如偶尔性能不稳定、生成内容不当等问题。
2025-01-20
现在市场的中的AI大模型都有哪些,各自有什么特点
目前市场中的部分 AI 大模型及特点如下: 北京企业机构: 百度:文心一言,网址:https://wenxin.baidu.com 抖音:云雀大模型,网址:https://www.doubao.com 智谱 AI:GLM 大模型,网址:https://chatglm.cn 中科院:紫东太初大模型,网址:https://xihe.mindspore.cn 百川智能:百川大模型,网址:https://www.baichuanai.com/ 上海企业机构: 商汤:日日新大模型,网址:https://www.sensetime.com/ MiniMax:ABAB 大模型,网址:https://api.minimax.chat 上海人工智能实验室:书生通用大模型,网址:https://internai.org.cn 这些大模型在聊天状态下具有不同特点: 能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 特色功能:昇思——生图,MiniMax——语音合成 此外,阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。 中国大模型面临的真实问题包括: 原创大模型:稀少而珍贵,需要强大技术积累和持续高投入,风险大,一旦竞争力不足,投入可能付诸东流。 套壳开源大模型:务实的发展路径,需在借鉴中实现突破创新。 拼装大模型:将小模型拼接,试图整合资源实现飞跃,但整体性能并非简单相加。 在 AI 市场与 AI 产品经理方面: AI 创业市场:一方面行业大佬认为是比移动互联网更大的红利;另一方面观点有碰撞。当前 OpenAI 虽估值高但未盈利,大模型创业可能成泡沫,但 AI 应用不会。小参数大模型盛行,利于开发者。2024 下半年会有一批有代表性的 AI 应用出现。 对于 agent 智能体,个人看好在社交和游戏中的应用。
2025-01-20
chatgpt现在进化到什么地步了
ChatGPT 目前的发展情况如下: 早期 OpenAI 推出 ChatGPT 时称其为一种模型,后来在帮助页面中又称其为一种服务。目前我们所熟知的 ChatGPT 逐渐演变成了一种可以兼容多种 GPT 模型的聊天应用(服务)。 GPT4 于 2022 年 8 月完成训练,是 OpenAI 的旗舰项目,特别强调指令遵循能力,但存在可靠性问题,还不是最终的进化完成体,不过综合能力优秀。 开发过程中,研究人员将指令型数据和聊天数据混合,希望创造出既可以处理具体任务又能流畅聊天的模型,结果表明 chat 模型使用更简单,能更好地了解并处理自身潜在局限性,展现出更连贯的特征和更稳定的行为。 ChatGPT 的出现标志着聊天机器人技术的巨大进步,为人机交互带来了更加自然、智能的体验。它的“Generative”是通过结合上文计算下一个字的概率生成内容,“Pretrained”是基于海量的预训练数据集学习知识。
2025-01-20
ai现在主要用于哪个方面
人工智能(AI)目前已广泛应用于多个领域,主要包括以下方面: 1. 医疗保健: 医学影像分析,辅助诊断疾病。 药物研发,加速研发过程。 个性化医疗,提供个性化治疗方案。 机器人辅助手术,提高手术精度和安全性。 2. 金融服务: 风控和反欺诈,降低金融机构风险。 信用评估,辅助贷款决策。 投资分析,帮助投资者做出明智决策。 客户服务,提供 24/7 服务。 3. 零售和电子商务: 产品推荐,根据客户数据推荐感兴趣的产品。 搜索和个性化,改善搜索结果和购物体验。 动态定价,根据市场需求调整价格。 聊天机器人,回答客户问题。 4. 制造业: 预测性维护,避免机器故障停机。 质量控制,检测产品缺陷。 供应链管理,优化供应链提高效率。 机器人自动化,提高生产效率。 5. 交通运输: 自动驾驶技术,实现自主导航驾驶。 车辆安全系统,预防事故。 个性化用户体验,根据偏好调整车辆设置。 预测性维护,减少停机和维修成本。 生产自动化,提高制造效率和质量。 销售和市场分析,制定营销策略。 电动化和能源管理,优化电池使用和充电策略。 共享出行服务,提高服务效率和满意度。 语音助手和车载娱乐,方便控制和获取信息。 车辆远程监控和诊断,及时了解车辆状况。
2025-01-19
现在AI领域做语音模型比较好的有哪几家?音色复刻做的比较好的有哪些
在 AI 领域,做语音模型较好的有阿里,其 CosyVoice 语音合成模型有以下特点: 精细控制:能生成符合性别、年龄和个性特征的声音。 自然模拟:可模拟笑声、咳嗽和呼吸等人类语音自然特征。 情感和风格:能够为声音添加情感和风格,更具表现力。 GitHub 链接:https://github.com/FunAudioLLM/CosyVoice 相关链接:https://x.com/imxiaohu/status/1818942399705710700 。但关于音色复刻做的比较好的,上述信息中未明确提及。
2025-01-19