如何用我的照片建一个数字人分身,不限时长,而且成本低

以下是一些制作数字分身的方法和相关信息： 可以在一些网站如 Elevenlabs.io、speechify.com、Heygen 等自助购买服务，以低成本制作自己的数字人分身。 当 Coze 接入飞书后，将自己的知识数据上传到 Coze，基于个人知识库开发 bot，并将其部署到个人订阅号上，这个 bot 可以作为数字分身与粉丝互动。 通过整合知识库，并结合提示词进行情感或行为上的描述，可以创建一个 bot，形成自己的数字分身。

实现基于个人聊天记录的数字分身的最佳实践包括以下方面： 虚拟数字人的类型和驱动方式： 虚拟数字人通过各种技术创造，具有外观、行为和思想等人类特征，呈现为虚拟形象。 从驱动层面可分为中之人驱动和 AI 驱动两类。中之人驱动运用动作捕捉和面部捕捉技术实现交互，有上限且缺乏高并发和量产化能力；AI 驱动使用 AI 技术创建、驱动和生成内容，赋予感知和表达等交互能力。 虚拟数字人的应用类型： 服务型：如虚拟主播、助手、教师、客服和医生等，为物理世界提供服务。 表演型：如虚拟偶像，用于娱乐、影视等场景。 身份型：是物理世界“真人”进入虚拟世界的数字分身，在元宇宙中有广泛应用场景。 相关开源项目： 熊猫大侠基于 COW 框架的 ChatBot 最新版本支持多端部署、基础对话、语音识别、图片生成、丰富插件、Tool 工具和知识库等功能。可接入个人微信、微信公众号、企业微信应用，支持多种模型和个性化插件扩展，通过上传知识库文件自定义专属机器人，可作为数字分身、领域知识库、智能客服使用。项目地址包括 Github：https://github.com/zhayujie/chatgptonwechat ，Gitee：https://gitee.com/zhayujie/chatgptonwechat 。

以下是使用扣子完成 AI 数字分身搭建的步骤： 1. 登录扣子官网（https://www.coze.cn/）并注册。 2. 创建个人 Bot： 点击个人空间。 点击创建 Bot。 填入 Bot 的名字和功能介绍，以及上传或生成对应的头像。如果没想好，可以先随便填，后面可更改。 3. 在搭建生产力工具的过程中，要先深入了解自己的工作内容和需求，做出有针对性的规划。 4. 通过整合知识库，并结合提示词进行情感或行为上的描述，创建一个 Bot，形成自己的数字分身。 5. 构建整个 Flow 时要尽量减少控件使用（非必要不增加），越少的控件代表越少的逻辑，越少的逻辑代表越小的运行风险。 6. 对于复杂的批处理任务，尽量平衡批处理次数和并发，同时还要考虑模型的推理速度，不然会增大推理失败的概率。 需要注意的是，Coze 目前提供的组件，包括 bot 等工具，能满足一些基本的生产力搭建需求。虽然现阶段它还不支持循环等高级功能，但未来有望支持更多工作流的设计模式。自 Coze 推出以来，它已明确面向 C 端用户，这些用户能从中获得实质性好处。

构建一个 AI 数字人分身主要包括以下两个方面： 一、构建数字人躯壳 数字人的躯壳建模有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，在日本、东南亚等国家比较受欢迎，也深受年轻人喜欢。能将喜欢的动漫人物变成数字人的躯壳。代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高。目前有很多公司都在做这个方向的创业，已经可以实现用户通过手机摄像头快速创建一个自己的虚拟人身体。如 NextHuman、Unity，虚幻引擎 MetaHuman 等。但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：虽然省去了建模流程，直接生成数字人的展示图片，但弊端也明显，算法生成的数字人很难保持 ID 一致性，帧与帧的连贯性上会让人有虚假的感觉。如果项目对人物模型真实度要求没有那么高，可以使用这种方案。典型的项目有 wav2lip等。AIGC 还有一个方向是直接生成 2d/3d 引擎的模型，而不是直接生成数字人的最终展示部分，但该方向还在探索中。 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 二、构建数字人灵魂 有了数字人躯壳，还需要构建数字人的灵魂，让数字人具备各种智能，比如记得个人信息，充当个人助手；在某个领域具备更专业的知识；能处理复杂的任务等等。实现这些能力有以下几个工程关键点： 1. AI Agent：要想数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块，工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过接口定义，躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等，视躯壳部分的实现而定。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对来说成熟一些，但都是闭源的，效果可以参考 Nvidia 的 Audio2Face。 3. 实时性：由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：仅仅是语音交互的数字人是远远不够的，人有五感（听觉、视觉、嗅觉、触觉、味觉），听觉只是其中一种，其他的感官可以根据实际需求来做，比如视觉可以通过添加摄像头数据来获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流的时候不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。

目前在 AI 社交产品领域，有一些相关的探索和尝试。例如，某 AI 社交 APP 创始人认为，在社交场景中，核心分为陌生人社交和熟人社交。他们尝试过纯 AI 虚拟陪聊产品，但发现用户主要是年龄偏低的人群，商业价值相对较低，且可能被模型侵蚀。有效的用户留存来源于真实的人际关系，越接近熟人社交的场景，平台的用户留存能力越高。 同时，AI 赛道投资人认为，产品不应仅限于情感陪伴，应扩展为类人助手，解决理性严肃场景的问题解决和感性需求的满足。AI 社交软件的开发者认为，为用户打造数字分身、创造社交关系是有价值的，通过 AI Agent 可以在人与人之间创造新的社交关系，用户也愿意为这种新型社交互动支付相当的金额。但目前尚未有明确的专门以 AI 分身促进真人交友的成熟产品。

数字分身是指在虚拟世界中代表物理世界“真人”的存在。在不同的场景中有多种应用： 节目表演方面：如在节目单中，有“猜真人”这样的魔术互动类表演，通过数字分身增加趣味性；还有“亲情的应用场景（逝者）”，例如女儿通过逝者的数字分身再次对话。 实战课程方面：通过课程可以获得一比一数字人分身的定制体验，包括熟练使用多种热门数字人工具，掌握相关技术，了解商业应用场景及行业现状，将数字人融入工作流，还能获得进阶学习的自学路径，并且有交流群方便解决问题和交流心得。 价值探讨方面：身份型虚拟数字人在元宇宙中有广泛应用场景。服务型虚拟数字人具有功能属性，隶属于业务层，AI 创造出的虚拟“皮囊”具有一定价值。

以下是关于照片黑白转彩色的几种方法： 基于 ipadapter 工作流的方法： 1. 基于 ipadapter 最新工作流“ipadapter_advanced.json”，其中 controlnet 模型用于控制生成的图片。 2. 将一张黑白素材图片和一张彩色风格图片进行风格迁移完成转绘。 3. 具体步骤包括： 先创建节点加载图片。 读取一张所需风格的图片作为参考图。 将图像用蓝色的线连接到 cn 应用，通过 cn 的深度学习模型（SDxl 版本），采用 Zoe 深度预处理器。 对要生成的图片进行填写提示词，如正向提示词：illustration of clouds and meadows and mountains and trees,calm,executable,high quality。 生成（添加到提示词队列）。 使用 MutiDiffusion 插件的方法： 启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染的功能，在显存不够的情况下将图片放大到足够的倍数。对于复杂的照片，如人物多、场景复杂、像素低的情况，可以先在 ps 里面进行角度的调整和照片的裁切，然后使用上述步骤进行上色。如果直接上色效果不佳，可以放弃人物服装的颜色指定，只给一个场景方向，如从网上找一张参考照片让 AI 去匹配色调，加入第二个 controlnet 来控制颜色，使用 t2ia_color 的模型，并给出简单的关键词，如蓝天、绿树、灰石砖。 使用 DALL·E 编辑功能的方法： 1. 在 DALL·E 编辑器界面更改完图片后点击保存。 2. 可以在编辑器界面右侧的对话面板中输入提示来更改图片，例如输入「make it black and white」将图像更新为黑白。 3. 在 ChatGPT 移动应用程序上使用 DALL·E 进行编辑，选择左下角的「编辑」调出提示选项，选择「Select」访问选择工具，突出显示要编辑的图像部分，通过屏幕左侧的滑块更改图片大小，选择完图像部分后选择屏幕右下角的「Next」按钮，在弹出的对话面板中输入提示对图像进行更改。

以下是一些可以将人物老照片转彩色并生成视频动起来的工具和方法： 1. 对于给老照片上色，可以使用 Stable Diffusion 及其相关插件，如 MutiDiffusion 插件。在显存不够的情况下，可利用分块渲染功能放大图片。还可以加入第二个 controlnet 来控制颜色，使用 t2ia_color 的模型，通过简单的关键词如“蓝天、绿树、灰石砖”来匹配色调。同时，将照片放入后期处理，使用 GFPGAN 算法将人脸变清晰。 2. 对于生成视频让图片动起来，可以使用即梦进行图生视频。只需上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，能生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，以随机运镜为主，生成速度可选择慢速。

以下是一些可用于两张照片还原人脸的 AI 工具和方法： 1. Stable Diffusion： 启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染功能，在显存不够时放大图片。 利用 GFPGAN 算法将人脸变清晰，可参考文章。 将图片发送到图生图中，打开 stableSR 脚本放大两倍，切换到 sd2.1 模型进行修复，vae 选择 vqgan，提示词可不写。 2. Midjourney（MJ）：加上简单的相机参数、写实风格，使用 MJ v 6.0 绘图，可调整图片比例。 3. InsightFaceSwap： 输入“/saveid”，idname 可随意填写，上传原图。 换脸操作输入“/swapid”，id 填写之前设置的名称，上传分割好的图。 选择效果较好的图片，注意插件每日免费使用次数。 此外，还会用到 PS 进行图片的角度调整、裁切、裁剪、拼接等操作。

以下是关于照片转线稿的相关信息： 教程：线稿上色 Midjourney + Stable Diffusion sd 上色： 正关键词：主要前面添加了增加照片质感常用的 + mj 生成线稿的关键词调整（去掉 mj 里线稿的关键词，一开始嘴巴效果不好，添加了张开嘴巴等关键词，颜色都是可以单独调整控制）+ 风格参数。 负关键词：看自己的效果添加。添加一切您不想要的东西，前面调用了词嵌入（bad_prompt_version2neg, badhandv4, easynegative）需要去 c 站下载，这些主要是为了控制人手部错误的，在最后一步放大的时候，却起到了反作用，强行给小猫咪小动物 5 个手指（建议不加，或者建议生成的时候加，放大的时候去掉）。 正关键词示例：, CG, unity, official art, amazing, finely detail, an extremely delicate and beautiful, extremely detailed, 3d, rendering, c4d, blender, octane render, Chinese festive color scheme, open mouth, 1 tooth, The cat has a pair of white gloves, a cute cat cartoon IP character, black line sketch, wearing a hat, wearing a collar around the neck, carrying a huge red bag, matching rope and straps at his wrists, Chinese element style, poular toys, blind box toys, Disney style。 负关键词示例：back and white, green, blue, purple。 真实系大模型：revAnimated v1.2.2 版本。 尺寸：最好和您的草稿图保持一致（前面的步骤没有截图。这里重新做了一张）如果尺寸太大爆显存可以保持和草图一样的比例缩小尺寸。 最重要的 ControlNet 设置：上传自己的草图到 ControlNet，点击启用。记得点💥的图标让预处理器生效。 摊位信息： AI 3D 打印纹身印章：通过 AI 将图片转绘成简约线条插画风格，然后现场 3D 打印出来，最终交付定制化的纹身印章产品。具体流程：适用 comfyui 工作流生成 + 输出线稿素材；将线稿生成模型文件；输入 3D 打印机，输出定制图案模型（预计打印时间 3 5 分钟）。印章图案为软性材料，印章颜料为可水洗安全材料，可另选半永久植物染料。摊位区域为 E，摊位编号为 69，摊位类型为 3D 印章。 星流一站式 AI 设计工具： 右侧生成器入门模式图片参考： 全部图片参考功能：原图、景深、线稿轮廓、姿势、Lineart 线稿、Scribble 线稿、光影、Segmant 构图分割。 其他参考功能：SoftEdge 线稿、配色参考、配色打乱、法线贴图、MLSD 线稿。

以下是一些用于老照片修复的方法和工具： 1. 使用 SD 中的 ControlNet 模型，特别是其中的 Recolor 新模型，可对黑白老照片进行重新上色。在处理人物照片还原时，可选择 realisian 的写实大模型，提示词直接描述颜色和对应的内容。ControlNet 选择 Recolor 时，预处理器选择“recolor_luminance”效果较好。 2. 超清无损放大器 StableSR：需要使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型，放入指定文件夹，同时安装 StableSR 模块和 VQVAE。通过不同的放大方法测试，如“Ultimate SD upscale”脚本、“后期处理”的放大方法和 StableSR 的放大，StableSR 对原图还原较为精准，重绘效果较好。 3. 将照片放入后期处理中，使用 GFPGAN 算法将人脸变清晰，但无法使头发、衣服等元素变清晰。之后可将图片发送到图生图中，打开 stableSR 脚本进行放大修复。 相关参考文章： 1. 【SD】用 AI 给老照片上色，岁月不改它模样：https://mp.weixin.qq.com/s/hlnSTpGMozJ_hfQuABgLw 2. 【Stable Diffusion】图片高清化+面部修复+一键抠图，一些你不知道的事儿：http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487422&idx=1&sn=9cdf7ef37c2acb3c0fc3328d0ba8af74&chksm=c251597af526d06c921ea6728cb2a32bdf1d5f699e19d6ba13b849994e4d01af8a5144132aad&scene=21wechat_redirect 3. 【Stable Diffusion】超清无损放大器 StableSR：http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487403&idx=1&sn=cbb96534fa6f58c37cf9fc64bc7ade0c&chksm=c251596ff526d0792b4bba0e21b69427b23e780824bdc75b22f1073e8bad6f61f30199fc8344&scene=21wechat_redirect

以下是一些让老照片动起来的方法和相关信息： 1. 参加“时光印记”AI 公益挑战赛：该挑战赛采集了杨浦 20 位老一辈建设者老照片与故事，期望用 AIGC 技术创作影视频、AIMV、动图。作品要求任选百年主题，创作视频短片、音乐 AIMV 或动态老照片，AI 制作内容不低于 70%，视频短片时长 60 秒以上，音乐 AIMV 至少 30 秒，图片组让老照片动起来 5 10s。报名及创作时间为即日起至 2024 年 11 月 20 日。参赛方式为填写报名问卷和进群获取素材。 2. 使用 Dreamina 即梦工具：不需要🪜，每天有免费额度。注册可用抖音号或手机号，上传照片即可尝试让老照片动起来。 3. 使用 Sora 工具：优点是发布的成果好，集成在 openai 一套里可用，但需要🪜，需要 gmail 注册，需要订阅后才能使用。