AI数字人

对于 AI 小白入行 AI，您可以参考以下步骤： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您可以找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 此外，您还可以参考《雪梅 May 的 AI 学习日记》： 1. 学习模式：输入→模仿→自发创造。 2. 第一阶段：迈出第一步，看书听课进社区。例如： DAY5 2024.5.26：使用 kimi，参考，抱着每天向 kimi 问 100 个问题的心态，调整思考模式，养成有问题问 AI 的习惯。 DAY6 2024.5.31：应朋友强烈推荐，插队先看吴恩达的课程，在 B 站搜索对应关键词，有很多课程资源，如吴恩达《面向所有人的生成式 AI 入门课程 Generative AI for Everyone》，抽空陆续 3 天学完。 DAY7 2024.6.1：探索用 AI 解决一个真实问题，例如团队要写一份行业研究报告，试试看 AI 怎样能帮到自己。 需要注意的是，学习资源可能会更新变化，您可以去 waytoAGI 社区发现自己感兴趣的 AI 领域，学习最新的内容。本日记中学习资源的内容都是免费开源的。

以下是用 AI 搭建学习平台并完成学习计划的一些方法和建议： 英语学习： 1. 智能辅助工具：利用如 Grammarly 这样的 AI 写作助手进行英语写作和语法纠错，以改进英语表达和写作能力。 2. 语音识别和发音练习：使用如 Call Annie 这样的语音识别应用进行口语练习和发音纠正，获取实时反馈和建议。 3. 自适应学习平台：使用如 Duolingo 这样的自适应学习平台，其利用 AI 技术为您量身定制学习计划，提供个性化的英语学习内容和练习。 4. 智能导师和对话机器人：利用如 ChatGPT 这样的智能对话机器人进行英语会话练习和对话模拟，提高交流能力和语感。 数学学习： 1. 自适应学习系统：使用如 Khan Academy 这样的自适应学习系统，结合 AI 技术为您提供个性化的数学学习路径和练习题，根据您的能力和需求进行精准推荐。 2. 智能题库和作业辅助：利用如 Photomath 这样的智能题库和作业辅助工具，通过图像识别和数学推理技术为您提供数学问题的解答和解题步骤。 3. 虚拟教学助手：使用如 Socratic 这样的虚拟教学助手，利用 AI 技术为您解答数学问题、提供教学视频和答疑服务，帮助您理解和掌握数学知识。 4. 交互式学习平台：参与如 Wolfram Alpha 这样的交互式学习平台的数学学习课程和实践项目，利用 AI 技术进行数学建模和问题求解。 外语学习： 1. 语言学习平台： FluentU：使用真实世界的视频，通过 AI 生成个性化的词汇和听力练习。选择学习语言，观看视频并完成相关练习，积累词汇和提升听力理解能力。 Memrise：结合 AI 技术，根据学习者的记忆曲线提供复习和练习，增强记忆效果。选择学习语言，使用应用提供的词汇卡和练习进行学习。 2. 发音和语法检查： Speechling：提供口语练习和发音反馈，帮助学习者改进口音和发音准确性。录制语音，提交给 AI 系统或人类教练，获取反馈和改进建议。 Grammarly：可以帮助提高写作的语法和词汇准确性，支持多种语言。将写作内容粘贴到 Grammarly 编辑器中，获取语法和词汇改进建议。 3. 实时翻译和词典工具： Google Translate：提供实时翻译、语音输入和图像翻译功能，适合快速查找和学习新词汇。输入或语音输入需要翻译的内容，查看翻译结果和示例句子。 Reverso Context：提供单词和短语的翻译及上下文例句，帮助理解和学习用法。输入单词或短语，查看翻译和例句，学习实际使用场景。 通过结合 AI 技术和传统学习方法，您可以更高效、更个性化地进行学习，并取得更好的学习效果。

以下是为您提供的新手入行 AI 的学习建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您可以找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 此外，为了帮助您更好地理解技术原理与建立框架，以下是一些通俗易懂的内容： 1. 概念：生成式 AI 生成的内容，叫做 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习是基于有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务包括聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。

以下是一些适合团队一起应用开发的 AI 类型及示例场景： 1. 智能体应用（Assistant）： 简介：基于上下文对话，自主决策并调用工具来完成复杂任务的对话式 AI 应用。通过简单配置可快速上手实现基本功能。 示例场景：客户服务（了解诉求、解决问题，如查询订单状态、处理退款等）、个人助理（管理日程安排、提醒事项、发送邮件等）、技术支持（了解技术问题，提供解决方案，排除故障）。 参考链接： 2. 工作流应用（Workflow）： 简介：将复杂任务拆解为若干子任务，以提高工作流程可控性的流程式 AI 应用。用户可通过拖拽节点创建自定义任务流程。 示例场景：AI 翻译（实现初步翻译、内容审校、再次优化的翻译流程，提升翻译质量）。 参考链接： 3. 智能体编排应用： 简介：支持多智能体协作的流程式 AI 应用，能编排多个智能体的执行逻辑，使多个智能体自动规划和执行任务。 示例场景：综合调研报告（组建报告撰写团队，包括负责写作意图识别、大纲书写、总结摘要、智能绘图、事件研判、段落撰写、文笔润色等任务的智能体）、软件开发团队（组建智能体开发团队，包括负责需求分析、系统设计、编码实现、测试调试、文档编写等任务的智能体）。 参考链接： 此外，还有以下摊位展示的相关 AI 应用： 1. 简单高效地构建 AI+装修，AI+行业应用平台，并进行模型的训练和微调。 2. ai+家庭教育咨询与体验服务。 3. 摄影+AI 效果叠加。 4. ai 模型部署，使用，交流的一站式平台。 5. 自传语伴：帮助普通人轻松撰写自传，用户通过与 AI 聊天讲述人生故事，生成自传。 在 6 月 3 日的参赛 bot 试玩分享中，讨论了多个团队的相关产品，包括： 1. AI 秒学团队的儿童绘本故事生成：将新闻转化为绘本故事，结合李普村的 AI 会话和分镜，使用 ByteDance AI 画图。 2. Lux 珀尔团队的卡通头条：在海外版搜索新闻应用中，根据用户选择生成不同风格的图片。 3. 吴琪的 AI 工具：通过简单提问生成小朋友喜欢的图片。 4. 核心搭子团队的产品：帮助父母辟谣的 AI，可识别三种体裁，根据疑问生成对应回复并保存知识，有热情和冷淡回复两种模式。 5. 学以致用团队的产品：提供日本市场实时信息的工具。 6. 李小白聊天机器人：具备陪聊、诗句生成、新闻展示等功能。 7. 两款智能写作机器人：喵喵日报（从 100 条新闻中挑选 5 条科技咨询定时推送，可根据用户问题自动搜索和重新组稿）、芋头小宝（帮助用户列出文章框架、生成配图以及汇总新闻等）。

对于目前做设计工作的人员，可以通过以下方式利用 AI 赋能： 1. 建立针对性的 AI 工作流：构建有效的设计工作流，提高工作效率。 2. 进行实用的模型训练：例如使用 lora 模型训练方式，生成特定形象及 KV 风格，建立包含品牌形象、风格视觉 DNA 的模型，并根据实用场景进行分类。同时，根据市场环境和消费者偏好的变化迅速调整模型，使营销内容更符合目标用户喜好。 3. 储备 AI 设计资产：包括建立和管理 AI 设计资产，沉淀相关知识、技能、工具，促进团队内部的知识积累和提升。团队成员分享设计经验和学习心得，利用参数库快速启动新项目，确保设计准确性并减少重复工作，借助工具、模版、元素提高设计效率和质量。 4. 利用 AI 整合工具平台：如“桃花源|淘宝设计 AIGC”，引入实用功能，增强设计工作的专业性和效率。 随着二次元绘画 AI 的发展和优化，对二次元设计行业影响显著： 1. 降低设计成本和提高效率，更多公司和个人能轻松创作高质量作品。 2. 为设计师提供创作灵感，但市场对大量二次元美术设计师的需求可能降低，从业者需关注行业动态，提升技能和创新能力，注重作品原创性和创新性，学会有效利用工具，提高沟通和协作能力。 在数字营销趋势中，AI 加持的创意与设计方面： 1. 现状：AI 驱动的创意工具已融入设计流程，如素材生成和高级图像编辑，设计师使用 Adobe Firefly 和 Midjourney 等工具加速视觉创作和创建符合品牌的素材。 2. 风险与挑战： 过度依赖 AI 可能导致设计同质化，失去独特创意表达，需平衡 AI 效率与原创创意输入。 设计师要不断适应新的 AI 工具和技术，持续学习保持竞争力并发挥 AI 潜力。 AI 生成的内容可能引发版权问题，需要明确法律框架解决所有权和权利问题。 3. 展望：随着 AI 技术发展，预计在实时、按需设计中发挥更大作用，未来的 AI 工具可能支持更复杂的创意任务，进一步融入创意流程的核心。

目前 AI 仍处于不断发展的阶段，尚未完全成熟。 人类是工具的创造者，每一代都在前人的基础上创造出更强大的工具，如今 AGI 成为了人类进步的又一工具。长期以来，人类创新推动生活各方面繁荣改善，AI 也在持续快速发展。 例如，Transformer 架构早在 2017 年就已提出，但 AI 近几年才爆发，其中神经网络的规模是重要影响因素。以 GPT 模型为例，从 2018 年第一代的 1 亿左右参数量，到 2023 年第四代的万亿规模，规模越大智能程度越高，且在达到一定规模后出现“涌现”能力，智能程度飞速上升，但这种“涌现”出现的机理目前尚无统一解释。 在未来，AI 有望在多个领域取得进展，如 2024 年内，图片超短视频的精细操控、AI 音频能力、“全真 AI 颜值网红”、游戏 AI NPC、AI 男/女朋友聊天、实时生成的内容、AI Agent 等方面会有发展；2025 2027 年，AI 3D 技术、全真 AI 虚拟人、AR/VR 技术、具身智能等技术可能会有明显突破。 然而，AI 立法、伦理讨论仍大规模落后于技术进展，AI 造成的 DeepFake、诈骗、网络攻击等问题开始引发担忧，且可能导致结构性失业等社会问题。

以下是在微信公众号搭建能发语音的数字人的相关步骤： 1. 照片数字人工作流及语音合成（TTS）API 出门问问 Mobvoi： 工作流地址：https://github.com/chaojie/ComfyUImobvoiopenapi/blob/main/wf.json 相关文件： 记得下载节点包，放进您的 node 文件夹里，这样工作流打开就不会爆红了！ComfyUI 启动后就可以将 json 文件直接拖进去使用了！ 2. 「AI 学习三步法：实践」用 Coze 免费打造自己的微信 AI 机器人： 组装&测试“AI 前线”Bot 机器人： 返回个人空间，在 Bots 栏下找到刚刚创建的“AI 前线”，点击进入即可。 组装&测试步骤： 将上文写好的 prompt 黏贴到【编排】模块，prompt 可随时调整。 在【技能】模块添加需要的技能：工作流、知识库。 【预览与调试】模块，直接输入问题，即可与机器人对话。 发布“AI 前线”Bot 机器人： 测试 OK 后，点击右上角“发布”按钮即可将“AI 前线”发布到微信、飞书等渠道。 发布到微信公众号上： 选择微信公众号渠道，点击右侧“配置”按钮。 根据以下截图，去微信公众号平台找到自己的 App ID，填入确定即可。不用了解绑即可。 最后去自己的微信公众号消息页面，就可以使用啦。

以下是关于数字人项目的相关信息： 构建高质量的 AI 数字人： 建好的数字人模型可以使用 web 前端页面（如 Live2D 提供的 web 端 SDK）或者 Native 的可执行程序进行部署，最终以 GUI 的形式呈现给用户。 开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择 live2d 作为数字人躯壳，原因是其驱动方式相比 AI 生成式更可控和自然，相比虚幻引擎更轻量和简单。卡通二次元形象的接受度更高，超写实风格在目前技术下易出现一致性问题和恐怖谷效应。Live2d 的 SDK 驱动方式可参考官方示例：https://github.com/Live2D 。 MimicMotion 项目： 腾讯发布的 MimicMotion 项目效果显著优于阿里，支持面部特征和唇形同步，不仅用于跳舞视频，也可应用于数字人。 相较阿里的方案，MimicMotion 的优化包括：基于置信度的姿态引导机制，确保生成视频更加连贯流畅；基于姿态置信度的区域损失放大技术，显著减少图像扭曲和变形；创新的渐进式融合策略，在可接受的计算资源消耗下，实现任意长度视频生成。项目地址：https://github.com/tencent/MimicMotion ，节点地址：https://github.com/AIFSH/ComfyUIMimicMotion 。 爱的传承·数字母亲： 内容负责人：朱睿电子酒 统筹负责人：张小琳电子酒 摄影：万阳 剪辑：萧川布丁子健 数字人：大萌子 使用工具：剪辑：剪映、imovie、美图秀秀；数字人：heygen 为完成数字人的拍摄，朱妈妈吃了 4 片吗啡。2 月 4 号制作完数字人，2 月 5 号拍摄，布丁川川子健凌晨开始剪辑，协调补拍追加了很多镜头，朱哥也熬了几个通宵来丰满素材。虽然最后呈现的效果不完美，但相信这部片子具有一定的社会价值。

数字人是运用数字技术创造出来的人，目前业界还没有一个关于数字人的准确定义，但一般可根据技术栈的不同分为两类，一类是由真人驱动的数字人，另一类是由算法驱动的数字人。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业以及现下很火热的直播带货，其表现质量与手动建模的精细程度及动捕设备的精密程度直接相关，不过随着视觉算法的不断进步，现在在没有昂贵动捕设备的情况下也可以通过摄像头捕捉到人体骨骼和人脸的关键点信息，从而做到不错的效果。 制作数字人的工具主要有： 1. HeyGen：是一个 AI 驱动的平台，可以创建逼真的数字人脸和角色。使用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：是一个 AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。支持多种语言，并可用于教育视频、营销内容和虚拟助手等场景。 3. DID：是一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。 每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频，具体步骤如下： 在显示区域，拖动背景图的一个角，将图片放大到适合的尺寸，比如覆盖视频窗口。并将数字人拖动到合适的位置。 增加字幕，点击文本 智能字幕 识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 至此，数字人视频就完成了。点击右上角的“导出”按钮，导出视频以作备用。如果希望数字人换成自己希望的面孔，就需要用另一个工具来进行换脸。

数字员工的实现方式主要包括以下步骤： 1. 声音克隆：先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（GPTSoVITS 实现声音克隆）克隆声音，做出文案的音频。 2. 视频整合：使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。产品可参考 https://synclabs.so/ 。 从学习路径的角度来看，结合“一人公司”的愿景，需要大量的智能体（数字员工）替我们打工。未来的 AI 数字员工会以大语言模型为大脑，串联所有已有的工具和新造的 AI 工具。数字员工（agent）=学历（大模型）+察言观色（观察）+逻辑思维（推理）+执行（SOP）。创造者的学习也依照这个方向，用大语言模型和 Agent 模式把工具串起来，着重关注在创造能落地 AI 的 agent 应用。 Agent 工程（基础版）如同传统的软件工程学，有一个迭代的范式： 1. 梳理流程：梳理工作流程 SOP，并拆解成多个单一「任务」和多个「任务执行流程」。 2. 「任务」工具化：自动化每一个「任务」，形成一系列的小工具，让机器能完成每一个单一任务。 3. 建立规划：串联工具，基于 agent 框架让 bot 来规划「任务执行流程」。 4. 迭代优化：不停迭代优化「任务」工具和「任务执行流程」规划，造就能应对实际场景的 Agent。 在摊位信息方面，有摊位主题为“AI 数字员工”的展示，内容为为企业和个人提供数字劳动力，解决重复性、创意性工作难题。体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等。

AI 数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为两类： 1. 真人驱动的数字人：重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过随着视觉算法进步，在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人：强调自驱动，人为干预更少，技术实现更复杂。其大致流程中的三个核心算法分别是： ASR（语音识别）：能将用户音频数据转化为文字，便于数字人理解和生成回应。 AI Agent（人工智能体）：充当数字人大脑，可接入大语言模型，拥有记忆模块等使其更真实。 TTS（文字转语音）：将数字人依靠 LLM 生成的文字转换为语音，保持语音交互一致性。 此外，还有一些关于 AI 数字人的摊位活动，例如：为企业和个人提供数字劳动力，解决重复性、创意性工作难题的“AI 数字员工”体验 demo 包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等；“AIGC（图生图）趣味定制；AI 数字人定制”等。

AI 数字人是运用数字技术创造出来的人，目前业界没有关于其的准确定义，但一般可根据技术栈分为两类： 1. 真人驱动的数字人：重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过随着视觉算法进步，在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人：强调自驱动，人为干预更少，技术实现更复杂。其大致流程中的三个核心算法分别是： ASR（语音识别）：能将用户音频数据转化为文字，便于数字人理解和生成回应。 AI Agent（人工智能体）：充当数字人大脑，可接入大语言模型，拥有记忆模块等使其更真实。 TTS（文字转语音）：将数字人依靠 LLM 生成的文字转换为语音，保持语音交互一致性。 此外，摊位活动中也有关于 AI 数字人的主题，如为企业和个人提供数字劳动力，解决重复性、创意性工作难题，包括抖音运营、AI 客服、智能问诊、企业定制员工、定制知识库等体验 demo。还有 AIGC 数字艺术挂画、AI 智能体应用、AI 数字人定制等相关内容。