直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

提取音频中的文字

回答

以下是为您整理的相关内容：

  • 在 TTS 超全教程中，语音合成的文本前端作用是从文本中提取发音和语言学信息，任务包括文本正则化、将特殊符号和数字转换为文本、韵律预测、字形转音素、处理多音字和变调等。例如，“1.5 元”需转换成“一点五元”，“中国”要转化为拼音“zhong1 guo2”，还要准确判断“模型”“模样”中“模”字等多音字及“一个”“看一看”中“一”字的特殊发音情况，否则可能导致后续声学模型合成错误声学特征和不正确语音。
  • Suno 专属音乐生成功能上线，视频会根据画面匹配生成音乐，视频里的文字也可识别并转化为歌词，大家可尝试生成随手拍内容。
  • XiaoHu.AI 日报 10 月 28 日提到 NotebookLlama：Meta 的播客生成教程，包括使用 Llama 模型从 PDF 中提取文本生成干净的.txt 文件，转化文本为播客转录并进行戏剧化处理，最终将文本转换为播客音频，支持多种 TTS 模型。详细介绍链接：[https://xiaohu.ai/p/15036]，GitHub 链接：[https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama]
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

TTS超全教程

文本前端文本前端的作用是从文本中提取发音和语言学信息，其任务至少包括以下四点。2.1.文本正则化2.2.在语音合成中，用于合成的文本存在特殊符号、阿拉伯数字等，需要把符号转换为文本。如"1.5元"需要转换成"一点五元"，方便后续的语言学分析。2.3.韵律预测2.4.该模块的主要作用是添加句子中韵律停顿或起伏。如"在抗击新型冠状病毒的战役中，党和人民群众经受了一次次的考验"，如果停顿信息不准确就会出现："在/抗击/新型冠状病毒/的/战役中，党/和/人民群众/经受了/一次/次/的/考验"。"一次次"的地方存在一个错误停顿，这将会导致合成语音不自然，如果严重些甚至会影响语义信息的传达。2.5.字形转音素2.6.将文字转化为发音信息。比如"中国"是汉字表示，需要先将其转化为拼音"zhong1 guo2"，以帮助后续的声学模型更加准确地获知每个汉字的发音情况。2.7.多音字和变调2.8.许多语言中都有多音字的现象，比如"模型"和"模样"，这里"模"字的发音就存在差异。另外，汉字中又存在变调现象，如"一个"和"看一看"中的"一"发音音调不同。所以在输入一个句子的时候，文本前端就需要准确判断出文字中的特殊发音情况，否则可能会导致后续的声学模型合成错误的声学特征，进而生成不正确的语音。

Suno 专属音乐生成功能上线了

[adamantium-temp-file-0145D456-DE8E-4D91-B1BA-FB9546FE0F0B.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/LRDMbJEgso49LCxvBEacNCcnnCb?allow_redirect=1)[adamantium-temp-file-65A466A7-92EC-447C-B367-4F3B4A560252.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/TLuMbvYbaoanP3xyohZcUDxmnH7?allow_redirect=1)[ScreenRecording_10-17-2024 18-45-58_1.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/HhPfbD2E3oOqeLxAUpcc0zChn6f?allow_redirect=1)[adamantium-temp-file-995E3262-6810-4822-8EA3-BE8AD2F949C7.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/LIWqbDb0EoeOvPx2WUJcKvxfnKe?allow_redirect=1)视频会根据画面匹配生成音乐，音乐和视频还卡上了点（案例2）视频里的文字也可以识别并转化为歌词；大家也可以试着生成一些随手拍的内容，感兴趣的可以去试试~[heading2]共创：

XiaoHu.AI日报

🔔Xiaohu.AI日报「10月28日」✨✨✨✨✨✨✨✨🎙️NotebookLlama：Meta的播客生成教程使用Llama模型从PDF中提取文本，生成干净的.txt文件。转化文本为播客转录，创造富有创意的内容。对转录进行戏剧化处理，提高互动性和吸引力。最终将文本转换为播客音频，支持多种TTS模型。🔗详细介绍：[https://xiaohu.ai/p/15036](https://xiaohu.ai/p/15036)🔗GitHub：[https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama](https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama)

其他人在问
音频转文字
以下是关于音频转文字的相关信息： 推荐使用 OpenAI 的 wishper 进行语音转文字，相关链接：https://huggingface.co/openai/whisperlargev2 。还有一分钟搞定 23 分钟音频的相关项目：https://huggingface.co/spaces/sanchitgandhi/whisperjax ，此项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，快 70 多倍，是目前最快的 Whisper API 。 语音转文本 API 提供转录和翻译两个端点，基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。目前文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。默认响应类型为包含原始文本的 JSON，可通过添加更多带有相关选项的form 行设置其他参数。 对于默认情况下 Whisper API 仅支持小于 25MB 的文件，若音频文件更长，需将其分成每个小于 25MB 的块或使用压缩后格式，避免在句子中间断开声音以避免丢失上下文字信息，可使用 PyDub 开源 Python 软件包来拆分声频文件，但 OpenAI 对于 PyDub 这样的第三方软件的可用性或安全性不作任何保证。 可以使用提示来提高 Whisper API 生成的转录质量，如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的跳过、保留填充词汇、处理不同书写风格等。
2024-12-20
免费的文本转音频
以下是一些免费的文本转音频工具和相关的人工智能音频初创公司： 免费的文本转音频工具： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 人工智能音频初创公司： ，将书面内容转化为引人入胜的音频，并实现无缝分发。 ，提供专业音频、语音、声音和音乐的扩展服务。 （被 Spotify 收购），提供完全表达的 AI 生成语音，带来引人入胜的逼真表演。 ，利用合成媒体生成和检测，带来无限可能。 ，一键使您的内容多语言化，触及更多人群。 ，生成听起来真实的 AI 声音。 ，为游戏、电影和元宇宙提供 AI 语音演员。 ，为内容创作者提供语音克隆服务。 ，超逼真的文本转语音引擎。 ，使用单一 AI 驱动的 API 进行音频转录和理解。 ，听起来像真人的新声音。 ，从真实人的声音创建逼真的合成语音的文本转语音技术。 ，生成听起来完全像你的音频内容。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-12-16
生成音频的AI
以下是关于生成音频的 AI 的相关信息： 游戏中的生成式 AI 音频： 声音和音乐是游戏体验的重要部分。在音效方面，AI 是一个有吸引力的开放领域，已有学术论文探讨在电影中生成“现场效果音”的想法，但在游戏中的商业产品尚少。例如为玩家角色生成脚步声，传统方法存在繁琐、重复和不真实的问题，更好的方式是使用实时的生成性 AI 模型制作现场效果音，能根据游戏参数响应。在音乐方面，由于游戏的时长和交互性，音乐创作面临挑战，而生成式 AI 有望解决。 人工智能音频初创公司： ：将书面内容转化为引人入胜的音频，并实现无缝分发。 ：提供专业音频、语音、声音和音乐的扩展服务。 （被 Spotify 收购）：提供完全表达的 AI 生成语音，带来逼真表演。 ：利用合成媒体生成和检测，带来无限可能。 ：一键使您的内容多语言化，触及更多人群。 ：生成听起来真实的 AI 声音。 ：为游戏、电影和元宇宙提供 AI 语音演员。 ：为内容创作者提供语音克隆服务。 ：超逼真的文本转语音引擎。 ：使用单一 AI 驱动的 API 进行音频转录和理解。 ：听起来像真人的新声音。 ：从真实人的声音创建逼真的合成语音的文本转语音技术。 ：生成听起来完全像你的音频内容。 谷歌 Generating audio for video 的工作原理： 为生成更高质量音频和引导模型生成特定声音，在训练过程中添加更多信息，包括 AI 生成的注释，包含声音详细描述和口语对话誊本。通过对视频、音频和附加注释进行训练，技术能学会将特定音频事件与各种视觉场景联系起来，并对注释或文本中的信息做出响应。
2024-12-16
能够通过 给出 伴奏 和 歌词 生成音频文件
Suno 和 Udio 都推出了上传音频文件生成音乐的功能，很多行业大号借此做了各种无厘头编曲，短期能带来很多流量。此功能对于 AI 音乐的作用在于精确的控制力，有了前置旋律，可以精确控制每首歌的速度（Tempo），无需再背绕口的速度词，能精确控制想要的 BPM；旋律（Melody）方面，可自己制作简单旋律让 AI 补全并贯穿整首歌，实现旋律与速度的一谱变速，节省大量 Roll 旋律的时间；配器（Instrumentation）能按自己想法选择乐器，减少提示词里乐器不灵光的情况，还能选择特殊音色；合成（synthesizer）方面，当有两支 BPM 相同、调性相同的音乐时，可尝试更多拆分组合和好玩的效果。 上传音频节省了点数消耗，每月的点数可用于：用提示词多 Roll 一些和流派、心情、场景相关的曲子，减少限制让 AI 音乐发挥更多创造力，把好旋律存起来作为制作素材；用于 roll 更多细节调整，如让某段曲子升调提升作品品质。 UDIO 制作音乐时，除了更改每个部分的提示，还能指定单独的自定义歌词。构建 1.5 分钟长的独立歌曲的最简单工作流程为：使用常规创建模式生成中间（主要）部分，这是曲目的“核心”；为刚创建的部分输入扩展模式，在扩展放置区域中选择添加介绍选项并单击扩展，生成的两部分轨道长 1 分钟；进入 1 分钟曲目的扩展模式，选择“添加尾奏”并单击“扩展”，即可创作有正确开头和结尾的音乐。
2024-12-12
文本转音频
以下是关于文本转音频的相关信息： 在线 TTS 工具推荐： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 人工智能音频初创公司列表： 1. 将书面内容转化为引人入胜的音频，并实现无缝分发。 2. 专业音频、语音、声音和音乐的扩展服务。 3. （被 Spotify 收购） 提供完全表达的 AI 生成语音，带来引人入胜的逼真表演。 4. 利用合成媒体生成和检测，带来无限可能。 5. 一键使您的内容多语言化，触及更多人群。 6. 生成听起来真实的 AI 声音。 7. 为游戏、电影和元宇宙提供 AI 语音演员。 8. 为内容创作者提供语音克隆服务。 9. 超逼真的文本转语音引擎。 10. 使用单一 AI 驱动的 API 进行音频转录和理解。 11. 听起来像真人的新声音。 12. 从真实人的声音创建逼真的合成语音的文本转语音技术。 13. 生成听起来完全像你的音频内容。 TTS 超全教程中的文本前端部分： 文本转音素（G2P/LTS）是将文本转换为注音表示的过程。最简单的方法是查词典，经过预处理和分词模块后，文本被切分为单词，利用词典查询单词对应的发音序列。对于带有缩略词、外来词的文本，情况较复杂，查询缩略词、本语种和外来词词典的优先级不同，输出的音素序列有时也会不同。较好的处理逻辑是，最特殊、最有可能的单词优先处理。首先处理缩略词的发音，之后处理本土词的发音，接下来处理英语单词，注意要将英语音素转换为本土音素。词典很难覆盖所有词，特别是语种构建初期，大部分词都是集外词，需要利用一些规则或模型给出单词的发音。构建文本转音素规则的一般步骤是： 内容由 AI 大模型生成，请仔细甄别。
2024-12-12
影视翻译音频生成字幕
以下是关于影视翻译音频生成字幕的相关信息： 出门问问语音合成（TTS）API： 调用参数及说明： gen_srt：控制是否生成对应的 srt 字幕文件。当 ignore_limit 为 true 时，audio_type 为 wav 可以返回字幕，其他类型不行。默认不生成字幕文件，生成字幕文件需额外付费，价格详情参考报价页。srt 文件地址通过 response header 返回。默认值：false，可选值：false/true。 merge_symbol：粗粒度合成参数，默认为 false。指定为 true 时，语气停顿更接近真人效果，merge_symbol 开启会导致 symbol_sil 参数无效。默认值：false，可选值：false/true。 srt_len：生成字幕的最大长度，中文字幕遇到特定符号会自动分句拆分字幕。 streaming：是否流式输出，默认为 false。指定为 true 时，ignore_limit 为 true 且 audio_type 不为 wav 时，接口流式输出。 Request Header 设置。 视频自动字幕工具推荐： 1. Reccloud：免费的在线 AI 字幕生成工具，可直接上传视频精准识别，能对识别的字幕进行翻译，自动生成双语字幕。已处理 1.2 亿+视频，识别准确率接近 100%。 2. 绘影字幕：一站式专业视频自动字幕编辑器，提供简单、准确、快速的字幕制作和翻译服务，支持 95 种语言，准确率高达 98%，可自定义视频字幕样式。 3. Arctime：可对视频语音自动识别并转换为字幕，支持自动打轴，支持 Windows 和 Linux 等主流平台，支持 SRT 和 ASS 等字幕功能。 4. 网易见外：国内知名语音平台，支持视频智能字幕功能，转换正确率较高，支持音频转写功能。 以上工具各有特点，您可根据自身需求选择。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-10
可以消除背景音提取人生的AI
目前尚未有直接能完全消除背景音提取人声的通用 AI 工具。但在音频处理领域，有一些技术和软件可以在一定程度上实现这个功能，例如 Adobe Audition 等专业音频编辑软件，它们利用一些算法和滤波技术来减少背景噪音对人声的影响。不过，要达到完美的效果往往需要结合专业的音频知识和经验进行精细的调整。
2024-12-17
推荐一款从视频中提取文字的工具？
以下为您推荐几款从视频中提取文字的工具： 1. Reccloud：免费的在线 AI 字幕生成工具，可直接上传视频精准识别，能翻译字幕并自动生成双语字幕，已处理 1.2 亿+视频，识别准确率接近 100%。 2. 绘影字幕：一站式专业视频自动字幕编辑器，提供字幕制作和翻译服务，支持 95 种语言，准确率高达 98%，可自定义字幕样式。 3. Arctime：能对视频语音自动识别并转换为字幕，支持自动打轴，支持 Windows 和 Linux 等主流平台及 SRT 和 ASS 等字幕功能。 4. 网易见外：国内知名语音平台，支持视频智能字幕功能，转换正确率较高，支持音频转写功能。 以上工具各有特点，您可根据自身需求选择。
2024-12-17
介绍一个从图片提取文字的工具
以下为您介绍一些从图片提取文字的工具： 1. 开放平台工具：，可用于图片的文本提取。 2. Trickle：由 GPT 4 驱动的截图管理工具，能将截图转化为视觉备忘录，不仅能识别截图里面的内容，还能提取并整理。同时支持各种截图、图片类型的识别，如图表、财报、网页 UX 原型、邮件截图等。但使用该工具可能需要绑定信用卡才能获得 7 天免费使用，月付价格为 10 美金/月。
2024-12-14
编写一个python代码其中附件是一个名为data.csv的CSV格式文件，提取表格中数据，行列保持一致进行如下格式转换：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬ （1）按行进行倒序排列；‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫
以下是一个使用 Python 实现读取 CSV 文件并按行倒序排列的代码示例： ```python import pandas as pd 读取 CSV 文件 data = pd.read_csv 按行倒序排列 reversed_data = data.iloc 打印结果 print ``` 在上述代码中，首先使用 `pandas` 库的 `read_csv` 函数读取 `data.csv` 文件，然后使用 `iloc` 索引和切片操作 `` 实现按行倒序排列。
2024-12-12
有没有哪个AI可以从视频里提取图片的？
以下是一些可以从视频里提取图片的 AI 工具，如 Pika、Pixverse、Runway 和 SVD。在使用这些工具处理视频提取图片时，可能需要一定的尝试和调整，以获得满意的效果。
2024-12-11
有没有哪个AI可以从视频里提取图片的？
以下是一些可以从视频里提取图片的 AI 工具，如 Pika、Pixverse、Runway 和 SVD。在使用这些工具处理视频时，可能需要进行多次尝试和调整以获得满意的图片提取效果。例如，在生成不同类型的视频画面，如科幻片、战争片、奇幻片等场景时，都可以运用这些工具。但需注意，AI 生成的结果可能会受到多种因素的影响。
2024-12-11
语音转文字
以下是关于语音转文字的相关信息： 推荐使用 OpenAI 的 wishper，相关链接：https://huggingface.co/openai/whisperlargev2 。一分钟搞定 23 分钟的音频，相关链接：https://huggingface.co/spaces/sanchitgandhi/whisperjax 。该项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，快 70 多倍，是目前最快的 Whisper API。 语音转文本 API 提供转录和翻译两个端点，基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。目前文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 转录 API 的输入是音频文件及所需输出格式的音频文字稿，默认响应类型为包含原始文本的 JSON，可添加更多带有相关选项的form 行设置其他参数。 翻译 API 输入为任何支持语言的音频文件，输出为英文文本，目前仅支持英语翻译。 对于默认情况下 Whisper API 仅支持小于 25MB 的文件，若有更长音频文件，需分成小于 25MB 的块或使用压缩后格式，可使用 PyDub 开源 Python 软件包来拆分声频文件，但 OpenAI 对其可用性或安全性不作保证。 可以使用提示提高 Whisper API 生成的转录质量，如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略、保留填充词汇、处理不同书写风格等。
2024-12-20
国内那种会议记录语音转文字的免费AI产品好用
国内有以下免费的会议记录语音转文字的工具，不过大部分有使用时间限制，超过免费时间可能需要付费： 1. 飞书妙记：飞书的办公套件之一，网址为 https://www.feishu.cn/product/minutes 。 2. 通义听悟：阿里推出的 AI 会议转录工具，网址为 https://tingwu.aliyun.com/home 。 3. 讯飞听见：讯飞旗下智慧办公服务平台，网址为 https://www.iflyrec.com/ 。 4. Otter AI：转录采访和会议纪要。 更多会议记录工具请访问网站：https://waytoagi.com/sites/category/29 。 内容由 AI 大模型生成，请仔细甄别。
2024-12-19
图片可以转文字描述吗
图片可以转文字描述。以下是一些相关的实现方式和应用场景： 在“AI 拍立得”中，用户上传图片后，大模型会根据选择的场景生成与内容相关的文字描述或解说文本。其逻辑在于大模型对图片内容的理解和对生成文本的整理润色，可应用于生成美食点评、朋友圈发布文案、闲鱼上架示例模版等场景。 在 Midjourney 中，图片描述可以理解为以图生图。把找到的设计参考图上传到 Midjourney 中，得到专属链接，再使用“参考图链接+文本描述”的方式生成图像。例如，想要得到特定风格的 UI 界面图，可通过调整文字提示来实现。还可以通过加入特定参数来控制生成图像的比例。此外，Midjourney 不仅能生成整张设计图，还能输出多种风格的设计组件。 同时，关于图片模型和语言模型的大小差异，这是因为图像生成的核心质量实际上由文本控制，去掉图片只用文字表达要求的模型复杂度会小很多。人类对图像的容错率相对较高，大脑在处理视觉信息时可以进行一定程度的“脑补”，但对于语言，补偿有限，所以文字的准确性非常重要。
2024-12-18
推荐一个大模型，可以实现特定人的声音，朗读文字
以下为您推荐可以实现特定人声音朗读文字的大模型及相关工具： 大模型方面：包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 语音合成（TTS）工具： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits 系列可以自己训练出想要的人声。 sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面，前段时间很火的 AI 孙燕姿。 Eleven Labs：https://elevenlabs.io/ ，ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 Speechify：https://speechify.com/ ，Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 Voicemaker：https://voicemaker.in/ ，AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 此外，上述算法开源的代码有很多，例如： ASR 语音识别： openai 的 whisper:https://github.com/openai/whisper wenet:https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition 除了算法，人物建模模型可以通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现，这样就完成了一个最简单的数字人。但这种简单的构建方式还存在很多问题，例如如何生成指定人物的声音，TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作，数字人如何使用知识库，做出某个领域的专业性回答等。
2024-12-18
假如我拍了一段视频没说话用哪款软件配上文字可以让他张嘴说话
以下是一些可以为您拍摄的未说话视频配上文字并让人物张嘴说话的软件及相关信息： 1. GPT 的视觉功能和 TTS API：可以将脚本传递给 TTS API 生成画外音的 mp3。 2. Sadtalker：这是一款主流的开源程序，可让照片说话唱歌，达到基本的唇形同步。相关资源包括： GitHub 地址：https://github.com/OpenTalker/SadTalker 视频教程：https://www.bilibili.com/video/BV1Dc411W7V6/?vd_source=35e62d366d8173e12669705f7aedd122 整合包及相关链接： 夸克网盘分享：https://pan.quark.cn/s/1d5ca9f57f5c 视频地址：https://www.bilibili.com/video/BV1ga4y1u7Ep/?spm_id_from=333.337.searchcard.all.click&vd_source=35e62d366d8173e12669705f7aedd122 具体步骤：点我启动，在启动界面中选择音频、图像口型同步的下载图标；下载完毕后启动应用，会弹出独立窗口；选择 sadtalker 同步器，分别导入图片和声音，根据需求选择图片预处理方式，点击 generate，由于涉及到视频的推理和转换，需做好等待准备。 3. 剪映 App：电脑端打开剪映 App，点击“开始创作”，选择顶部工具栏中的“文本”，点击默认文本右下角的“+”号添加文字内容轨道，在界面右侧替换准备好的文字内容，为数字人提供语音播放内容及生成相对应的口型。
2024-12-18