ai数字人

以下是为您提供的一些 AI 研报： 2024 年 6 月 18 日： 《》：讨论了生成式人工智能的潜力和银行业的积极探索，预测 AI 将在提高支付处理效率和创造新收入流方面发挥关键作用。 华西证券：AIGC 行业深度报告（14）《》：英伟达新一代 GPU 架构将带来零部件升级，华为的昇腾 910C 芯片和 Atlas 900 SuperCluster 展示了国产算力集群的潜力。 《》：通过访谈 30 余位专家，分析了端到端技术的发展、主要参与者、驱动力和挑战。预计到 2025 年，模块化端到端系统将开始商业化应用，推动技术、市场和产业格局的变革。 《》：来自微软，英国拥有先进科技行业和数字优势，但与其他国家相比领先优势有限，面临基础设施、数字技能和数字技术采用的瓶颈。 2023 年 11 月 15 日： 《》：基于对 235 家企业数字化负责人的调研，其中 63.5％的企业已把 AIGC 列入企业发展战略之中。 《》：结合华为行业智能化实践及面向智能世界 2030 的展望，与业界专家学者进行万场以上座谈研讨，凝聚各方智慧与经验。 《》：从零开始介绍越狱、提示攻击、与传统安全的关系以及大语言模型的安全问题。 《AI50 年度关键词——腾讯研究院.pdf》： 基于全年研究积累的三十余万字 AI 进展数据库，对当前 AI 发展进行阶段性总结。精选 50 个年度关键词，覆盖大模型技术的八大领域，通过“快思考”与“慢思考”两种维度进行分析，形成 50 张 AI 技术图景卡片。 介绍了 DiT 架构，这是结合扩散模型和 Transformer 的架构，用于高质量图像生成的深度学习模型，并给出了核心观察。

以下是一些通过 AI 给自己擅长的领域赋能且已经产生收益的案例： 在法律法规领域，AI 已在多个方面带来重大进展和效率提升，如交通监控、银行账户欺诈检测、工业大规模安全关键实践的控制，以及加速新药发现和应对气候变化的技术等。 在企业应用方面，工作流程自动化平台 ServiceNow 通过 AI 驱动的 Now Assist 实现了近 20%的事件避免率；Palo Alto Networks 利用 AI 降低了处理费用的成本；Hubspot 利用 AI 扩大了能够支持的用户规模；瑞典金融科技公司 Klarna 通过将 AI 融入用户支持，在运行率方面节省了 4000 多万美元。如今，成千上万的公司正在将 AI 整合到他们的工作流程中，以扩张规模和降低成本。

市面上的 AI 产品多种多样，具有以下特点和差异： 为了以更低的门槛帮用户获得更高质量的 Prompt，从而更好地驱动模型，不同产品采取了多种方式，如 GPTs 用对话引导获取用户信息，Jasper 拆解场景流程按步骤收集信息，Leonardo 用画布和实时反馈加速 Prompt 提升，Novel 用交互式、渐进式续写，c.ai 卷生态卷模型，筑梦岛探索更多场景的对话玩法，FlowGPT 直接以 Prompt 的分享为核心，小悟空数据驱动优化 Prompt 等。 在这个过程中，还发现了一些现象：GUI、LUI 的结合会极大提高产品体验；随着模型能力提升，实时反馈会越发重要；模型能力在现阶段依旧是 AI 产品的核心竞争力；互联网产品的很多思维和方法论出现在大量的 AI 产品上；产品形式和模型能力还很接近，产品还在技术应用的阶段。当前阶段的 AI 产品还普遍体现出初级产品化、强行产品化的特征，与传统互联网产品中的佼佼者们对比，在需求和体验上存在巨大差距。或许等到用户无法直接感知这个 AI 产品是在使用什么模型，AI 产品的形态和范式才算真正成熟。 在开发者工具方面，这个选项更加技术化，能让用户对外形因素以及 AI 伴侣的个性有最大的控制权。用户可以组合多种工具创造理想中的伴侣，并通过短信、电话甚至实时视频聊天与其互动。具体包括： 个性（LLM 的文本）：一些开源模型（尤其是 Vicuna 和 Pygmalion）经过微调，在特定个性到无审查的角色扮演等应用场景中表现出色。 记忆（向量存储）：像 Pinecone 这样的向量存储系统可建立持续关系，配置代码存储长期记忆、背景故事等独特信息。 语音（语音合成）：像 ElevenLabs 这样的产品可赋予伴侣声音，控制年龄、性别和口音。 外表（SD 模型作图）：LoRAs（类似于 Civitai 上的那些）可精细控制 AI 伙伴的图像风格、细节和设置。 动画（视频动画）：像 DID 和 HeyGen 这样的工具可使图像“说话”，但可用的高保真度生成说话人脸的模型不多。 平台：是伴侣的基础代码和内部逻辑执行的地方。如今大多数开发者在 GCP 和 AWS 上部署运行，像 Steamship（其中运行 GirlfriendGPT）这样的解决方案正迅速获得关注。 UI 层：一个前端界面，让用户能够与合作伙伴实际互动。SillyTavern、Agnaistic 和 KoboldAI 是受欢迎的选择。 还推出了用于开始构建人工智能应用的开源模板，包含从零开始编码伴侣所需的基本要素，后续还将发布文章和更多开源项目，详细介绍开发者创建人工智能伴侣的技术栈。

以下是一些运用 AI 生成短视频的方法和工具： 1. ChatGPT + 剪映：ChatGPT 可生成视频脚本，剪映能根据脚本自动分析并生成所需素材和文本框架，实现从文字到画面的快速转化，节省时间和精力。 2. PixVerse AI：在线 AI 视频生成工具，支持将多模态输入（如图像、文本、音频）转化为视频。 3. Pictory：AI 视频生成器，用户提供文本描述即可生成相应视频内容，无需视频编辑或设计经验。 4. VEED.IO：提供 AI 图像和脚本生成器，帮助用户从图像制作视频，并规划视频内容。 5. Runway：AI 视频创作工具，能将文本转化为风格化视频内容，适用于多种场景。 6. 艺映 AI：专注于人工智能视频领域，提供文生视频、图生视频、视频转漫等服务，可根据文本脚本生成视频。 此外，在运营方面，腾讯运营可以通过 ChatGPT 生成文案，将其复制到支持 AI 文字转视频的工具内实现短视频自动生成。例如，市面上的一些手机剪辑软件，如腾讯智影的数字人播报功能、手机版剪映的图文成片功能。这类工具操作相对简单，让大众更轻松地制作视频。但需注意，系统匹配的素材不符合要求时可手动替换。 以上内容由 AI 大模型生成，请仔细甄别。

AI 智能体是指类似于 AI 机器人小助手的存在。参照移动互联网，它类似 APP 应用的概念。简单来说，就是拥有各项能力来帮助人们做特定事情的“打工人”。 随着 ChatGPT 与 AI 概念的爆火，出现了很多相关新名词，如“智能体 Agent”“bot”和“GPTs”等。AI 大模型是一种技术，而面向用户提供服务的是产品，因此很多公司开始关注 AI 应用层的产品机会，出现了不少智能体开发平台，如字节的扣子、阿里的魔搭社区等。 在 C 端，比如社交方向，用户注册后先捏一个自己的智能体，然后让其与他人的智能体聊天，两个智能体聊到一起后再真人介入，这是一种有趣的场景；还有借 Onlyfans 入局打造个性化聊天的创业公司。在 B 端，如果字节扣子和腾讯元器是面向普通人的低代码平台，类似 APP 时代的个人开发者，那还有帮助 B 端商家搭建智能体的机会。 AI 智能体包含了自己的知识库、工作流，还可以调用外部工具，再结合大模型的自然语言理解能力，能够完成比较复杂的工作。其出现是为了解决如 GPT 或文心一言大模型存在的胡编乱造、时效性、无法满足个性化需求等问题，用户可以结合自己的业务场景和需求，创建自己的智能体来解决问题。

以下是一些支持视频文字提取的 AI 网站及相关操作方法： 对于 B 站视频，如果视频有字幕，您可以安装油猴脚本“Bilibili CC 字幕工具”（https://greasyfork.org/zhCN/scripts/378513bilibilicc%E5%AD%97%E5%B9%95%E5%B7%A5%E5%85%B7 ）。安装后刷新浏览器，点击字幕会多出一个“下载”按钮，可选择多种字幕格式，如带时间或不带时间的。然后将下载的字幕文字内容全选复制发送给 GPTs 进行总结。 需要注意的是，目前大部分用 AI 总结视频的工具、插件或应用都是通过提取视频字幕来实现的。

以下是在微信公众号搭建能发语音的数字人的相关步骤： 1. 照片数字人工作流及语音合成（TTS）API 出门问问 Mobvoi： 工作流地址：https://github.com/chaojie/ComfyUImobvoiopenapi/blob/main/wf.json 相关文件： 记得下载节点包，放进您的 node 文件夹里，这样工作流打开就不会爆红了！ComfyUI 启动后就可以将 json 文件直接拖进去使用了！ 2. 「AI 学习三步法：实践」用 Coze 免费打造自己的微信 AI 机器人： 组装&测试“AI 前线”Bot 机器人： 返回个人空间，在 Bots 栏下找到刚刚创建的“AI 前线”，点击进入即可。 组装&测试步骤： 将上文写好的 prompt 黏贴到【编排】模块，prompt 可随时调整。 在【技能】模块添加需要的技能：工作流、知识库。 【预览与调试】模块，直接输入问题，即可与机器人对话。 发布“AI 前线”Bot 机器人： 测试 OK 后，点击右上角“发布”按钮即可将“AI 前线”发布到微信、飞书等渠道。 发布到微信公众号上： 选择微信公众号渠道，点击右侧“配置”按钮。 根据以下截图，去微信公众号平台找到自己的 App ID，填入确定即可。不用了解绑即可。 最后去自己的微信公众号消息页面，就可以使用啦。

以下是关于数字人项目的相关信息： 构建高质量的 AI 数字人： 建好的数字人模型可以使用 web 前端页面（如 Live2D 提供的 web 端 SDK）或者 Native 的可执行程序进行部署，最终以 GUI 的形式呈现给用户。 开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择 live2d 作为数字人躯壳，原因是其驱动方式相比 AI 生成式更可控和自然，相比虚幻引擎更轻量和简单。卡通二次元形象的接受度更高，超写实风格在目前技术下易出现一致性问题和恐怖谷效应。Live2d 的 SDK 驱动方式可参考官方示例：https://github.com/Live2D 。 MimicMotion 项目： 腾讯发布的 MimicMotion 项目效果显著优于阿里，支持面部特征和唇形同步，不仅用于跳舞视频，也可应用于数字人。 相较阿里的方案，MimicMotion 的优化包括：基于置信度的姿态引导机制，确保生成视频更加连贯流畅；基于姿态置信度的区域损失放大技术，显著减少图像扭曲和变形；创新的渐进式融合策略，在可接受的计算资源消耗下，实现任意长度视频生成。项目地址：https://github.com/tencent/MimicMotion ，节点地址：https://github.com/AIFSH/ComfyUIMimicMotion 。 爱的传承·数字母亲： 内容负责人：朱睿电子酒 统筹负责人：张小琳电子酒 摄影：万阳 剪辑：萧川布丁子健 数字人：大萌子 使用工具：剪辑：剪映、imovie、美图秀秀；数字人：heygen 为完成数字人的拍摄，朱妈妈吃了 4 片吗啡。2 月 4 号制作完数字人，2 月 5 号拍摄，布丁川川子健凌晨开始剪辑，协调补拍追加了很多镜头，朱哥也熬了几个通宵来丰满素材。虽然最后呈现的效果不完美，但相信这部片子具有一定的社会价值。

数字人是运用数字技术创造出来的人，目前业界还没有一个关于数字人的准确定义，但一般可根据技术栈的不同分为两类，一类是由真人驱动的数字人，另一类是由算法驱动的数字人。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业以及现下很火热的直播带货，其表现质量与手动建模的精细程度及动捕设备的精密程度直接相关，不过随着视觉算法的不断进步，现在在没有昂贵动捕设备的情况下也可以通过摄像头捕捉到人体骨骼和人脸的关键点信息，从而做到不错的效果。 制作数字人的工具主要有： 1. HeyGen：是一个 AI 驱动的平台，可以创建逼真的数字人脸和角色。使用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：是一个 AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。支持多种语言，并可用于教育视频、营销内容和虚拟助手等场景。 3. DID：是一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。 每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频，具体步骤如下： 在显示区域，拖动背景图的一个角，将图片放大到适合的尺寸，比如覆盖视频窗口。并将数字人拖动到合适的位置。 增加字幕，点击文本 智能字幕 识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 至此，数字人视频就完成了。点击右上角的“导出”按钮，导出视频以作备用。如果希望数字人换成自己希望的面孔，就需要用另一个工具来进行换脸。

数字员工的实现方式主要包括以下步骤： 1. 声音克隆：先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（GPTSoVITS 实现声音克隆）克隆声音，做出文案的音频。 2. 视频整合：使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 从学习路径的角度来看，结合“一人公司”的愿景，需要大量的智能体（数字员工）替我们打工。未来的 AI 数字员工会以大语言模型为大脑，串联所有已有的工具和新造的 AI 工具。数字员工（agent）=学历（大模型）+察言观色（观察）+逻辑思维（推理）+执行（SOP）。创造者的学习也依照这个方向，用大语言模型和 Agent 模式把工具串起来，着重关注在创造能落地 AI 的 agent 应用。 Agent 工程（基础版）如同传统的软件工程学，有一个迭代的范式： 1. 梳理流程：梳理工作流程 SOP，并拆解成多个单一「任务」和多个「任务执行流程」。 2. 「任务」工具化：自动化每一个「任务」，形成一系列的小工具，让机器能完成每一个单一任务。 3. 建立规划：串联工具，基于 agent 框架让 bot 来规划「任务执行流程」。 4. 迭代优化：不停迭代优化「任务」工具和「任务执行流程」规划，造就能应对实际场景的 Agent。 在摊位信息方面，有摊位主题为“AI 数字员工”的展示，内容为为企业和个人提供数字劳动力，解决重复性、创意性工作难题。体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等。

AI 数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为两类： 1. 真人驱动的数字人：重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过随着视觉算法进步，在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人：强调自驱动，人为干预更少，技术实现更复杂。其大致流程中的三个核心算法分别是： ASR（语音识别）：能将用户音频数据转化为文字，便于数字人理解和生成回应。 AI Agent（人工智能体）：充当数字人大脑，可接入大语言模型，拥有记忆模块等使其更真实。 TTS（文字转语音）：将数字人依靠 LLM 生成的文字转换为语音，保持语音交互一致性。 此外，还有一些关于 AI 数字人的摊位活动，例如：为企业和个人提供数字劳动力，解决重复性、创意性工作难题的“AI 数字员工”体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等；“AIGC（图生图）趣味定制；AI 数字人定制”等。

AI 数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为两类： 1. 真人驱动的数字人：重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过随着视觉算法进步，在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人：强调自驱动，人为干预更少，技术实现更复杂。其大致流程包含三个核心算法： ASR（语音识别）：能将用户音频数据转化为文字，便于数字人理解和生成回应，以实现像人与人一样的对话交互。 AI Agent（人工智能体）：充当数字人的大脑，可接入大语言模型，拥有记忆模块等使其更真实。 TTS（文字转语音）：将数字人依靠 LLM 生成的文字输出转换为语音，保持语音交互一致性。 此外，还有一些与 AI 数字人相关的摊位活动，如为企业和个人提供数字劳动力，解决重复性、创意性工作难题的“AI 数字员工”体验 demo，包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等；以及“AIGC 数字艺术挂画”“数字生命赋予每个人的新生”“AI 智能体应用”“Ai 心理疏导”“AIGC（图生图）趣味定制；AI 数字人定制”等。