直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

ai数字人app

回答

以下是关于 AI 数字人 app 的相关内容:

如何构建高质量的 AI 数字人: 数字人的灵魂如同大脑,需具备一定智能水平,能理解交互对象信息并给予有效回应。构建数字人灵魂时,要让其具备各种智能,如记住个人信息、充当个人助手、拥有专业知识、处理复杂任务等。实现这些能力有几个工程关键点:

  1. AI Agent:要让数字人像人一样思考,需编写类似人的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建存在挑战。
  2. 驱动躯壳的实现:灵魂部分通过定义接口,躯壳部分通过 API 调用,调用方式视躯壳实现而定,如 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配存在困难,目前主流方案只能预设一些表情动作,再做逻辑判断来播放预设,语音驱动口型相对成熟但闭源,效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。

生成数字人: 在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象,如“婉婉-青春”。选择数字人形象时会播放其声音,可判断是否需要,点击右下角“添加数字人”将其添加到当前视频中,软件会生成对应音视频并添加到轨道中,左下角提示渲染完成时间,可点击预览查看效果。之后可删除先前导入的文本内容,为视频增加背景图片,如通过点击左上角“媒体”菜单并导入本地图片,将其添加到视频轨道上。

数字人“私有化”: 尽管剪映有很多公模数字人,但私模数字人更受欢迎。可使用 AI 换脸软件完成,需谷歌账号(可在淘宝或“有号”购买)。具体步骤:

  1. 第一步打开谷歌浏览器,点击链接 https://github.com/facefusion/facefusion-colab 并点击 open colab 进入运行界面,在右上角点击“代码执行程序”选择“全部运行”,点击红框对应的 URL 打开操作界面。
  2. 第二步,点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。
  3. 第三步:等待专属数字人视频出炉。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

AI 数字人-定义数字世界中的你

有了数字人躯壳,我们就需要构建数字人的灵魂,让数字人具备各种智能,比如记得你的个人信息,充当你的个人助手;在某个领域具备更专业的知识;能处理复杂的任务等等。这些能力实现有以下几个需要注意的工程关键点:1.AI Agent:我们要想数字人像人一样思考就需要写一个像人一样的Agent,工程实现所需的记忆模块,工作流模块、各种工具调用模块的构建都是挑战;2.驱动躯壳的实现:灵魂部分怎样去驱动躯壳部分,我们可以将灵魂部分的所有接口定义出来,然后躯壳部分通过API调用,调用方式可以是HTTP、webSocket等等,视躯壳部分的实现而定。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对来说成熟一些,但都是闭源的,效果可以参考Nvidia的Audio2Face(https://www.nvidia.cn/omniverse/apps/audio2face/)或则Live Link Face(Iphone APP)+ Face AR Sample(UE);

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

3.1生成数字人在剪映右侧窗口顶部,我们打开“数字人”选项,选取一位免费的、适合的数字人形象,这里我选择“婉婉-青春”。当你选择一个数字人形象时,软件会马上播放出该数字人的声音。你可以判断是否是你需要的,点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。剪映App将会根据之前提供的内容,来生成对应音视频,并添加到当前视频文件的轨道中。左下角会提示你渲染何时完成。然后你可以点击预览按钮,查看生成的数字人效果。3.2增加背景图片接下来,可以直接删除先前导入的文本内容。这是因为视频中的音频中已经包含文字内容了。鼠标点击下方代表文字的轨道,或者点击软件中间文字内容,按删除键删去文字:为了让视频更美观,我们为视频增加背景图片。当然你可以增加多个背景图片,为简化演示,这里增加1张图片。点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传:我选择一张书架图片上传,然后像添加文字内容一样,点击图片右下角的加号,将这个图片添加到视频的轨道上(会覆盖数字人):

方案:剪映数字人“个性化“—无限免费私模数字人

尽管剪映已经有很多公模数字人,但是从抖音上大火的数字人账号上看,私模数字人更受欢迎所以这里我将教大家用AI换脸软件来完成最后一步。📍注意:需要谷歌账号(淘宝或者在我们账号解决平台“[有号](https://www.learnprompt.pro/aiMarket)”就可以直接购买)1.第一步打开谷歌浏览器,点击链接https://github.com/facefusion/facefusion-colab并点击open colab就进到程序主要运行界面.在右上角点击“代码执行程序”选择“全部运行”就行,无需安装,无需付费。点击红框对应的URL就会打开操作界面1.第二步,点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”就能生成!反复调试后给大家选出了最佳参数!1.第三步:等着自己专属的数字人视频出炉!

其他人在问
有没有用来写播客稿子的AI工具
以下是一些可以用来写播客稿子的 AI 工具: 1. 写作:写书与查找资料:在写书(包括文章)时,可帮忙查找资料(尤其是找案例),还能作为编辑挑毛病,比如评估结构、论点是否明确等。偶尔没灵感时能展开启发。 链接: 2. 学习:用 AI 做播客笔记:干货为主的播客可以做笔记,以后也许能按此方式做英文播客笔记并顺便学英语。 链接: 此外,还有许多其他类型的 AI 工具可供选择: 1. 写简历的 AI 工具,例如: Kickresume 的 AI 简历写作器:使用 OpenAI 的 GPT4 语言模型自动生成简历,能为简历摘要、工作经验和教育等专业部分编写内容,并保持一致语调。 Rezi:受到超过 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的每个方面,包括写作、编辑、格式化和优化。 Huntr 的 AI 简历构建器:提供免费的简历模板,以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品,还可以查看这里:https://www.waytoagi.com/category/79 2. 制作 AI 短片的工具,如 Pika、Pixverse、Runway、SVD 等。制作流程包括写剧本/分镜、生图、生视频、AI 声音、剪辑等步骤。写剧本/分镜时,除了使用 GPT4/Claude/Kimi/智谱清言/文心一言等 AI 工具,更重要的是明确想写的故事及来源,比如原创(直接经验):自身或周围人的经历、做过的梦、想象的故事等。
2024-09-19
有哪些ai课程值得学习?
以下是一些值得学习的 AI 课程: 【野菩萨】的预习周课程,包括 AI 绘画电脑配置要求、高效 AIGC 创意者的数字人工具包、SD 插件安装方法、画静为动的 AIGC 视频制作讲解等。 基础操作课,涵盖 AI 绘画通识课、AI 摄影虚拟的真实、AI 电影穿越的大门等内容。 核心范式课程,涉及词汇的纸牌屋、核心范式应用、控制随机性等方面。 SD WebUi 体系课程,包括 SD 基础部署、SD 文生图、图生图、局部重绘等。 ChatGPT 体系课程,有 ChatGPT 基础、核心文风、格式、思维模型等内容。 ComfyUI 与 AI 动画课程,包含部署和基本概念、基础工作流搭建、动画工作流搭建等。 应对 SORA 的视听语言课程,涉及通识欢迎参加电影的葬礼、影像赏析、基础戏剧影视文学等。
2024-09-19
ai 软件测试
以下是关于 AI 软件测试的相关内容: 实践中的应用示例: 1. Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 3. 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 工具和平台: 1. Testim:AI 驱动的自动化测试平台,生成和管理测试用例。 2. Test.ai:基于 NLP 技术的测试用例生成工具,适用于移动应用和 Web 应用。 3. DeepTest:利用深度学习生成自动驾驶系统测试用例。 4. GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 5. Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试。 另外,在 Coze 官方教程中,搭建好第一个 AI Bot 后,配置好 Bot 就可以在预览与调试区域中测试 Bot 是否符合预期,可单击清除图标清除对话记录。
2024-09-19
AI在法律领域的最新应用
以下是 AI 在法律领域的一些最新应用: 1. 专利审查方面:AI 技术通过自动化和智能化手段,帮助专利审查员更高效地处理大量专利申请、检索相关文献、评估专利性和创新性等任务。 2. 法律文书:这是目前 AI 在 2B 行业基本成熟的应用,其格式固定,核心技术是法条/判例的引用,是“搜索”能力和大模型能力的搭配。 3. 虽然目前其他 2B 应用如“AI 客服”等雷声大、雨点小,未达到大量取代人工的预期,但生成式人工智能技术已逐步涵盖艺术创作产业、医疗保健、虚拟现实、数据合成与数据增强等多个领域,为各行业带来创新、效率与价值。
2024-09-19
如何利用AI帮助自己成为一名知识产权律师?我已经获得了法律职业资格证,但还没有实习成为一名律师。
成为一名知识产权律师可以借助 AI 从以下几个方面入手: 1. 知识学习与案例研究:利用 AI 驱动的法律数据库和学习平台,深入了解知识产权领域的法律法规、典型案例和最新动态。 2. 法律文书撰写辅助:借助 AI 工具提高法律文书如起诉书、答辩状等的撰写效率和质量,确保语言准确、逻辑清晰。 3. 模拟案例分析:通过 AI 模拟各种知识产权相关的案例场景,进行分析和应对策略的制定,提升解决实际问题的能力。 4. 客户需求分析:利用 AI 对潜在客户的需求和问题进行分析,以便更好地提供针对性的法律服务。 5. 法律研究与创新:借助 AI 探索知识产权领域的前沿研究和创新趋势,为自己的业务发展提供新思路。 需要注意的是,AI 只是辅助工具,不能替代您自身的专业判断和实践经验。在使用 AI 工具时,要对其结果进行审慎评估和验证。
2024-09-19
网页翻译AI
以下为一些网页翻译 AI 产品及相关信息: 1. DeepL(网站): ,点击页面「翻译文件」按钮,上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译(浏览器插件): ,安装插件后,点击插件底部「更多」按钮,选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML / TXT 文件」、「翻译本地字幕文件」。 3. Calibre(电子书管理应用): ,下载并安装 calibre,并安装翻译插件「Ebook Translator」。 4. 谷歌翻译(网页): ,使用工具把 PDF 转成 Word,再点击谷歌翻译「Document」按钮,上传 Word 文档。 5. 百度翻译(网页): ,点击导航栏「文件翻译」,上传 PDF、Word、Excel、PPT、TXT 等格式的文件,支持选择领域和导出格式(不过进阶功能基本都需要付费了)。 此外,XiaoHu.AI 也具有高质量多语言翻译的特点,能提供沉浸式阅读和写作体验,支持多种语言的高质量翻译。它能够智能识别网页上的内容,如 Twitter、Discord 等,提供鼠标悬停翻译。支持 Chrome、Edge 等主流浏览器,下载插件即可使用。具有简单易用的用户界面,操作方便,还内置了 GPT 的聊天功能,可以随时提问。相关链接:
2024-09-19
克隆自己数字人用哪个app
以下是一些可以克隆自己数字人的方法和相关信息: 剪映数字人“个性化”制作流程:首先打开剪映,添加文本到文字轨道并修改好朗读文字,然后点击朗读进行声音克隆(现在只用念一句话就可完成),接着选择喜欢的数字人形象并换上克隆音色,最后一键智能生成字幕,自行调整文字样式并校准即可完成。 卡尔建立了一套完整的数字人学习体系,放在《克隆你自己》的课程中,带领大家全方位掌握数字人各技能。同时课程还详细回顾了 2023 年数字人领域的破圈事件。数字人的出现能在多个领域优化工作流,若想加入数字人浪潮,此课程可能满足需求。 实战中生成数字人的方法:在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象(如“婉婉青春”),判断声音是否需要,点击右下角“添加数字人”,软件会生成对应音视频并添加到当前视频中。左下角会提示渲染完成时间,可点击预览查看效果。之后还可增加背景图片等操作。
2024-09-10
推荐一些最适合大学生做presentation的人工智能app
以下是一些适合大学生做 presentation 的人工智能 app: 1. Grammarly、Orchard(https://orchard.ink/)和 Lex(https://lex.page/~):帮助学生克服写作难题,提升写作水平。 2. Tome(https://beta.tome.app/)和 Beautiful.ai(https://www.beautiful.ai/):协助创建演示文稿。 3. Gamma:在线 PPT 制作网站,通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式,如 GIF 和视频,网址:https://gamma.app/ 4. 美图 AI PPT:由知名图像编辑软件“美图秀秀”的开发团队推出,通过输入简单的文本描述生成专业的 PPT 设计,网址:https://www.xdesign.com/ppt/ 5. Mindshow:AI 驱动的 PPT 辅助工具,提供自动布局、图像选择和文本优化等智能设计功能,网址:https://www.mindshow.fun/ 6. 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理技术优势,提供智能文本生成、语音输入、文档格式化等功能,网址:https://zhiwen.xfyun.cn/ 目前市面上大多数 AI 生成 PPT 按照以下思路完成设计和制作: 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐您阅读以下两篇市场分析文章: 1. 《》 2. 《》
2024-09-08
免费和ai英文聊天的app
以下是一些可以免费和 AI 英文聊天的 APP: 1. Kimi 智能助手:由 Moonshot AI 出品,有着超大“内存”,能一口气读完二十万字的小说,还会上网冲浪。 2. 文心一言:百度出品的 AI 对话产品,定位是智能伙伴,能写文案、想点子,又能陪你聊天、答疑解惑。 3. 通义千问:由阿里云开发的聊天机器人,能够与人交互、回答问题及协作创作。 4. Pi:聊天渠道众多,包括官网(heypi.com)、Instagram、Facebook、WhatsApp 等。目前免费,未来可能采取订阅等模式变现。能记住一百轮的对话,随着发展将接入更多功能。 5. Open AI ChatGPT:官网链接为 https://apps.apple.com/us/app/openaichatgpt/id6448311069 ,提供免费且无广告的体验,具备一系列有价值的功能。
2024-09-04
请你以用户购买一只股票型基金为例,阐述从购买到TA再到APP,如何计算该基金的资产收益流程
很抱歉,目前知识库中没有关于从购买股票型基金到 TA 再到 APP 计算该基金资产收益流程的相关内容。但一般来说,计算股票型基金的资产收益流程大致如下: 首先,在购买股票型基金时,您需要支付申购费用,申购费用通常会从您的申购金额中扣除。申购成功后,您获得的基金份额 = 申购金额÷(1 + 申购费率)÷ 基金单位净值。 在持有基金期间,基金的资产价值会随着基金投资组合中股票的价格波动而变化。基金的单位净值会定期公布,您可以通过基金公司官网、TA 系统或相关 APP 查看。 当您想要赎回基金时,可能需要支付赎回费用。赎回金额 = 基金份额×基金单位净值×(1 赎回费率)。 您的资产收益 = 赎回金额 申购金额。 需要注意的是,不同的基金产品在申购、赎回费率以及计算方式上可能会有所差异,具体应以您所购买的基金产品的相关规定为准。
2024-09-01
apple Mac 有360AI 浏览器的下载吗?
360AI 浏览器功能强大,安全高效且好看好用。它不只是搜索,而是对标 Arc 的 AI 原生浏览器。您可以在官网 ai.se.360.cn 进行下载。我们可以让 360AI 搜索来总结其功能,搜索“360AI 浏览器的功能拆解”,能看到 AI 通过搜索多篇资讯给出详细回答,包含追问、相关内容、延伸阅读、参考资料等部分,右侧还有相关图片和视频资料,下方还有思维导图。希望 360 的 AI 越来越强,国产 AI 越来越繁荣。所以,抛弃成见,尝试下载一个 360AI 浏览器吧。 需要注意的是,目前不太清楚 360AI 浏览器是否有适用于苹果 Mac 系统的版本,您可以前往官网查看确认。
2024-08-25
移动设备下,可集成到 iOS/anrdroid 的 app 中 的 tts 框架有哪些?
目前常见的可集成到 iOS 和 Android 移动设备 App 中的 TTS(TexttoSpeech,文本转语音)框架有以下几种: 1. Google TexttoSpeech:在 Android 平台上较为常用,提供了多种语言和声音选择。 2. Apple 的 Speech Synthesis:专为 iOS 开发,具有高质量的语音合成效果。 3. Microsoft Azure Cognitive Services Speech:支持多种平台,包括 iOS 和 Android,提供丰富的语音选项和功能。 但具体选择哪种框架,还需要根据您的应用需求、开发技术栈以及预算等因素来综合考虑。
2024-08-23
免费制作数字人程序
以下是免费制作数字人的方法: 1. 打开剪映,添加文本到文字轨道,修改好需要朗读的文字。 2. 点击朗读进行声音克隆,剪映的声音克隆现在只用念一句话就可完成。 3. 克隆完成后,选择喜欢的数字人形象,并把自己的克隆音色换上去。 4. 一键智能生成字幕,自行调整文字样式并校准。 在剪映中生成数字人的具体步骤: 1. 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费且适合的数字人形象,如“婉婉青春”。选择数字人形象时,软件会播放其声音,可判断是否需要,点击右下角“添加数字人”,将其添加到当前视频中,软件会根据提供的内容生成对应音视频并添加到轨道中,左下角会提示渲染完成时间,可点击预览查看效果。 2. 增加背景图片:删除先前导入的文本内容,为视频增加背景图片。点击左上角“媒体”菜单,点击“导入”按钮选择本地图片上传,点击图片右下角的加号将其添加到视频轨道上(会覆盖数字人)。 数字人“私有化”的方法: 1. 尽管剪映已有很多公模数字人,但私模数字人更受欢迎。可使用 AI 换脸软件完成最后一步。 2. 注意需要谷歌账号(淘宝或者在账号解决平台“”可直接购买)。 3. 第一步:打开谷歌浏览器,点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”就行,无需安装,无需付费。点击红框对应的 URL 就会打开操作界面。 4. 第二步:点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”就能生成。 5. 第三步:等待自己专属的数字人视频出炉。
2024-09-17
数字媒体艺术专业,毕设建筑浏览动画,灵感推荐
很抱歉,目前知识库中没有关于数字媒体艺术专业毕设建筑浏览动画灵感推荐的相关内容。但您可以从以下几个方面获取灵感: 1. 研究著名建筑大师的作品及其设计理念,从中汲取创意。 2. 观察不同文化和地域的特色建筑,将其独特元素融入动画。 3. 参考科幻电影或游戏中对未来建筑的想象和呈现方式。 4. 关注当下的建筑趋势,如绿色建筑、智能建筑等,从中获得启发。 5. 从自然景观中获取灵感,例如山脉、河流等的形态和韵律,运用到建筑的造型和布局中。
2024-09-14
数字媒体艺术专业,毕设做三维建筑浏览动画,灵感推荐
很抱歉,目前知识库中没有关于数字媒体艺术专业毕设做三维建筑浏览动画的灵感推荐相关内容。但您可以从以下几个方面获取灵感: 1. 研究不同风格的建筑,如现代主义、古典主义、后现代主义等,从中汲取设计元素和特点。 2. 观察自然景观,如山峦、水流、森林等,将自然元素融入建筑设计中。 3. 参考著名建筑师的作品,分析其创意和表现手法。 4. 从科幻电影、游戏中的虚拟建筑获取灵感,想象未来建筑的可能性。 5. 关注当下的城市发展和社会需求,思考如何通过建筑解决实际问题并展现创新理念。
2024-09-14
开源的数字人方案
以下是开源的数字人方案: 1. 第一步:先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音,做出文案的音频。 2. 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址为 https://github.com/Rudrabha/Wav2Lip 。这就是目前的本地跑数字人的方案,效果都差不多,都是用的 wav2lip 。产品为 https://synclabs.so/ 。 3. 构建数字人躯壳:笔者的开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2024-09-14
用文本生成视频加数字人
以下是用文本生成视频加数字人的方法: 一、创建视频内容 1. 准备内容 先准备一段视频中播放的内容文字,可以是产品介绍、课程讲解、游戏攻略等任何您希望推广让大家了解的文字。您也可以利用 AI 来生成这段文字。 2. 制作视频 使用剪映 App 对视频进行简单处理。电脑端打开剪映 App,点击“开始创作”,进入创作页面。 选择顶部工具栏中的“文本”,点击默认文本右下角的“+”号,为视频添加一个文字内容的轨道。 二、生成数字人 1. 生成数字人 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费且适合的数字人形象,如“婉婉青春”。 选择数字人形象时,软件会播放其声音,可判断是否需要,点击右下角“添加数字人”,软件会根据之前提供的内容生成对应音视频,并添加到当前视频中。 左下角会提示渲染完成时间,然后可点击预览按钮查看生成的数字人效果。 2. 增加背景图片 直接删除先前导入的文本内容,因为视频中的音频已包含文字内容。 点击左上角“媒体”菜单,点击“导入”按钮,选择本地一张图片上传。 选择的图片会添加到视频轨道下方的新轨道,将轨道最右侧竖线向右拖拽至视频最后,使其在整个视频播放时都显示。 选中背景图片所在轨道,在显示区域拖动图片角将其放大到适合尺寸,覆盖视频窗口,并将数字人拖动到合适位置。 3. 增加字幕 点击“文本 智能字幕 识别字幕,点击开始识别”,软件会自动将文字智能分段并形成字幕。 至此,数字人视频就完成了。点击右上角“导出”按钮,导出视频以作备用。如果希望数字人换成自己希望的面孔,则需要用另一个工具来进行换脸。
2024-09-12
AI 数字人最新消息
以下是关于 AI 数字人的最新消息: 目前业界对于数字人的定义尚未统一,一般可根据技术栈分为真人驱动和算法驱动两类。算法驱动数字人的相关开源代码有很多,如 ASR 语音识别方面的 openai 的 whisper(https://github.com/openai/whisper)、wenet(https://github.com/wenete2e/wenet)、speech_recognition(https://github.com/Uberi/speech_recognition,这是一个语音识别的接口集合,包含不同实现的语音识别接口)。AI Agent 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等,Agent 部分可使用 LangChain 的模块进行自定义(https://www.langchain.com/)。TTS 方面,有微软的 edgetts(https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费)、VITS(https://github.com/jaywalnut310/vits)以及专注于唱歌的 sovitssvc(https://github.com/svcdevelopteam/sovitssvc,前段时间很火的 AI 孙燕姿就与其相关)。 4 月 25 日的消息: Synthesia 推出新型虚拟数字人 Expressive1,能通过脚本预测表情,数字人可自动解析和理解文本情绪,实现表情和声音同步。链接:https://x.com/imxiaohu/status/1783505405488054433 360 AI 浏览器新版增加了视频总结、提问、转录和翻译功能,支持本地和网络视频的内容分析,但无法提取无对白视频摘要。链接:http://browser.360.cn/ai https://x.com/imxiaohu/status/1783495437422649719 全球最大 AI 知识库“通往 AGI 之路”网站访问量突破 1000 万,网站内容丰富,旨在推动 AI 知识的普及。链接:http://WaytoAGI.com https://x.com/imxiaohu/status/1783475002815471669 日本横须贺市使用 AI 技术克隆市长,用于发布英语信息,技术应用广泛,包括灾难信息传播和旅游信息发布。
2024-09-12