Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

虚拟人

Answer

虚拟人是一个涉及多种技术和应用场景的领域：

  • Meta AI 相关项目：可以从音频生成全身逼真的虚拟人物形象，为迈向元宇宙迈出一步。它能从多人对话语音中生成相应的逼真面部表情、完整身体和手势动作。其工作原理包括数据集捕获、运动模型构建、面部和身体运动生成、虚拟人物渲染等多个环节。
  • 数据集捕获：首先捕获丰富的双人对话数据集以进行逼真重建。
  • 运动模型构建：构建包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。
  • 面部运动生成：使用预训练的唇部回归器处理音频提取特征，利用条件扩散模型生成面部运动。
  • 身体运动生成：以音频为输入自回归输出每秒 1 帧的向量量化引导姿势，将音频和引导姿势输入扩散模型生成高频身体运动。
  • 虚拟人物渲染：将生成的面部和身体运动传入训练好的渲染器生成逼真虚拟人物。
  • 虚拟数字人的价值：本质上是 AI，其人类化的外表更具亲和力，能更容易与用户产生信任关系和情感联结，从而带动销售转化和提升品牌忠诚度。
  • 相关计划：
    • 皮皮的计划包括考虑开源，把代码写得更好（如配置化、分层、服务拆分、并发支持等），目标是让任何人扫二维码托管自己微信号，可自定义任意人格，能外部输入图片和语音；运营一个虚拟人自己的 IP（类似于 A soul 或者鹿鸣），拥有自己人设以及训练的脸部 lora 和声音，后面 sora 出来之后可以开始做视频圈粉甚至拍电影；开发自定义性格和语音的微信个人助理，完成日常工作，如搜索、解读 pdf 和 url、个人知识库、提醒、制定学习计划，帮助收集多个群里的信息并汇总提炼。
Content generated by AI large model, please carefully verify (powered by aily)

References

Han：基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||Meta AI：从音频生成全身逼真的虚拟人物形象。|离Meta的元宇宙有迈了一步。|虚拟人|它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。|这些生成的虚拟人物不仅在视觉上很逼真，而且能够准确地反映出对话中的手势和表情细节，如指点、手腕抖动、耸肩、微笑、嘲笑等。|工作原理：<br><br>该项目结合了向量量化的样本多样性和通过扩散获得的高频细节的优势，以生成更具动态性和表现力的动作。<br><br>1、数据集捕获：首先捕获了一组丰富的双人对话数据集，这些数据集允许进行逼真的重建。<br><br>2、运动模型构建：项目构建了一个包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。<br><br>3、面部运动生成：使用预训练的唇部回归器处理音频，提取面部运动相关的特征。<br>利用条件扩散模型根据这些特征生成面部运动。<br><br>4、身体运动生成：以音频为输入，自回归地输出每秒1帧的向量量化（VQ）引导姿势。<br>将音频和引导姿势一起输入到扩散模型中，以30帧/秒的速度生成高频身体运动。<br><br>5、虚拟人物渲染：将生成的面部和身体运动传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。<br><br>6、结果展示：最终展示的是根据音频生成的全身逼真虚拟人物，这些虚拟人物能够表现出对话中的细微表情和手势动作。|||[https://peop

虚拟数字人，好看的皮囊有什么价值？

作者：知识库共建者舟航小冰、度晓晓、洛天依、星曈、柳夜熙……你是否听说过这些名字？他们是虚拟数字人，他们是生活在数字世界的原住民。虚拟数字人本质上就是AI，在这篇文章中，我们不讨论AI的效率价值（如降本增效，提供标准化智能化服务等）。我们重点来讨论给AI套的这层“皮囊”能带来什么价值？主要的价值是人类化的外表会更具亲和力，可以更容易的与用户产生信任关系和情感联结，从而带动销售转化和提升对品牌的忠诚度。

皮皮：你的微信虚拟女友 - 李洛云

把代码写的好一些（配置化，分层，服务拆分，并发支持等等）目标是让任何人扫二维码托管自己微信号，可自定义任意人格，可以外部输入图片和语音[heading3]2虚拟人计划[content]运营一个虚拟人自己的IP（类似于A soul或者鹿鸣）拥有自己人设，以及自己训练的脸部lora，声音后面sora出来之后可以开始做视频圈粉，甚至开始拍电影[heading3]3微信个人助理[content]自定义性格和语音的个人助理完成日常工作：搜索，解读pdf和url，个人知识库，提醒，制定学习计划帮你收集多个群里的信息，汇总并提炼[heading1]最后，贴一下联系方式[heading2]李洛云luoyun_project[content]上面就是微信号了，直接搜索添加即可，不过需要我手动通过同时这里安利另一个大佬的虚拟人，可能涉及一些擦边球，目前在试运营他本人不太愿意透露自己的名字，大家有兴趣也可以加来看看效果[heading2]张依依zhangyiyi2004z（已被封）[content]by GM_1999

Others are asking
免费的ai虚拟人物
以下为您介绍一些免费的 AI 虚拟人物相关内容： 1. Vocs AI：这是一个免费的人工智能语音生成器和转换器。您可以按照以下步骤操作： 上传一段清晰的无伴奏人声录音，推荐 wav 或 mp3 格式，更推荐 wav。 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择，将原始无伴奏声音转换成 AI 虚拟艺术家的声音。 点击“转换”，Vocs AI 的语音技术将把您上传的音频转换成 AI 版本的原声。 下载转换后的音频。需要注意的是，输入音频的质量将直接影响 AI 人声转换的输出质量。链接：https://www.vocs.ai/ 2. 剪映数字人“私有化”： 准备谷歌账号（可在淘宝或者在账号解决平台“”购买）。 第一步，打开谷歌浏览器，点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面，在右上角点击“代码执行程序”选择“全部运行”。 第二步，点击“source”上传自己的照片和“target”上传之前的剪映数字人视频，保持默认参数，点击“START”生成。 第三步，等待专属的数字人视频出炉。 3. 关于数字人的一些算法开源代码仓库： ASR 语音识别：openai 的 whisper:https://github.com/openai/whisper ；wenet:https://github.com/wenete2e/wenet ；speech_recognition:https://github.com/Uberi/speech_recognition 。 AI Agent：大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent 部分可以使用 LangChain 的模块去做自定义，里面基本包含了 Agent 实现的几个组件 。 TTS：微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费；VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本；sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面。 简单构建数字人还存在一些问题，例如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作、数字人如何使用知识库做出某个领域的专业性回答等。
2024-12-24
照片人物与虚拟人合成
以下是关于照片人物与虚拟人合成的相关内容： 使用 Midjourney（MJ）生成人物图片： 确定人物形象，如“a little girl wearing a yellow floral skirt + 人物动作 + 风格词”，在 MJ 中生成直到得到满意的人物图像。可使用垫图 URL 及相关提示词，如“In the forest,a little girl wearing a yellow floral skirt is playing happily,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”，其中“iw 取值范围，不填写默认 iw = 1，iw 值越大越接近垫的图像，反之更接近提示词。为了确保人物一致性，取 iw 2”。 合成人物和场景： 使用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图（iw 2），在 MJ 中重新生图，提示词如“垫图 url + Little girl wearing a yellow floral skirt,and her friend brown bear,taking shelter in the cave,rainstorm,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”。 在 StableDiffusion（SD）中绘制一致性多角度头像： 准备工作：准备一张人物的多角度图片，尺寸设置为 1328×800px，放大两倍后保证每张小图都是 512×512px。加上网格图，通过 lineart 来分割不同的块面。设置 controlnet，第一张图选择 openpose_face 得到人物的 15 个面部角度，第二张图选择 lineart_standard得到清晰的表格分区，为防止小图模式下人脸崩坏，可增加 ADetailer 的脸部修复插件。 制作数字人的工具： HeyGen：AI 驱动的平台，可创建逼真的数字人脸和角色，适用于游戏、电影和虚拟现实等应用。 Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关条款和政策，并注意版权和伦理责任。
2024-10-28
如何运用虚拟人提高销售业绩
运用虚拟人提高销售业绩可以通过以下几个策略实现： 1. 个性化推荐：利用虚拟人进行个性化的产品推荐，根据客户的历史购买记录和偏好，提供定制化的产品建议。 2. 24/7客户服务：虚拟人可以提供全天候的客服支持，解答客户的咨询，提供产品信息，从而提高客户满意度和销售转化率。 3. 社交媒体互动：通过虚拟人在社交媒体上与消费者互动，增强品牌形象，提升用户参与度和品牌忠诚度。 4. 直播带货：虚拟人可以作为直播销售的主播，展示产品特点，回答观众问题，增加直播的吸引力，提高销售量。 5. 品牌代言：虚拟人作为品牌代言人，通过其独特的形象和故事背景，吸引目标消费群体，提高品牌知名度和产品销量。 6. 虚拟试穿/试用：在时尚、美妆等行业，虚拟人可以提供虚拟试穿或试用服务，让消费者在线上体验产品效果，促进购买决策。 7. 教育和培训：虚拟人可以用于产品教育和培训，帮助消费者更好地了解产品特性和使用方法，增加产品吸引力。 8. 跨平台营销：虚拟人可以跨越不同的平台进行营销活动，包括线上商城、社交媒体、直播平台等，扩大品牌影响力。 9. 数据收集与分析：虚拟人在与消费者互动的过程中，可以收集用户反馈和行为数据，帮助企业分析消费者需求，优化产品和服务。 10. 创新体验：利用AR技术结合虚拟人，为消费者提供创新的购物体验，如AR试妆、虚拟店铺等，吸引消费者参与并提高购买意愿。 通过这些策略，虚拟人可以有效地提升消费者的购物体验，增强品牌与消费者之间的互动，从而提高销售业绩。
2024-05-23