Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

语音转文字

Answer

以下是关于语音转文字的相关信息：

推荐工具： OpenAI 的 wishper 相关链接：

  • https://huggingface.co/openai/whisper-large-v2
  • https://huggingface.co/spaces/sanchit-gandhi/whisper-jax （此项目在 JAX 上运行，后端支持 TPU v4-8，与 A100 GPU 上的 PyTorch 相比，快 70 多倍，是目前最快的 Whisper API）

语音转文本（Speech to text）

  • 介绍：
    • 语音转文本 API 提供转录和翻译两个端点，基于开源大型-v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。
    • 文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。
  • 快速入门：
    • 转录：输入音频文件及所需输出格式的音频文字稿，默认响应类型为包含原始文本的 JSON，可添加更多带有相关选项的--form 行设置其他参数。
    • 翻译：输入音频文件，输出为被翻译成英文的文本，目前仅支持英语翻译。
  • 更长输入：
    • 默认 Whisper API 仅支持小于 25MB 的文件，更长的音频文件需分成小于 25MB 的块或使用压缩后格式，可使用 PyDub 开源 Python 软件包来拆分声频文件，但 OpenAI 对其可用性或安全性不作保证。
  • 提示：
    • 可使用提示提高转录质量，模型会尝试匹配提示风格，但提示系统受限，仅提供有限控制。
    • 示例：改善特定单词或缩略语的识别；利用先前片段的转录保留分段文件的上下文；避免标点符号被跳过；保留填充词汇；处理不同书写风格。
Content generated by AI large model, please carefully verify (powered by aily)

References

语音：语音转文字

语音转文字推荐OpenAI的wishperhttps://huggingface.co/openai/whisper-large-v2语音转文字：一分钟搞定的~23分钟的音频https://huggingface.co/spaces/sanchit-gandhi/whisper-jax这个项目在JAX上运行，后端支持TPU v4-8。与A100 GPU上的PyTorch相比，它要快70多倍，是目前最快的Whisper API。

语音转文本（Speech to text）

学习如何将音频转换为文本。[heading2]介绍[content]语音转文本API提供了两个端点，即基于我们最先进的开源大型-v2 Whisper模型的转录和翻译。它们可以用于：将音频转录为任何语言。将音频翻译并转录成英语。目前文件上传限制为25 MB，并支持以下输入文件类型：mp3、mp4、mpeg、mpga、m4a、wav和webm。[heading2]快速入门[heading3]转录[content]转录API的输入是您要进行转录的音频文件以及所需输出格式的音频文字稿。我们目前支持多种输入和输出文件格式。默认情况下，响应类型将是包含原始文本的JSON。要在请求中设置其他参数，您可以添加更多带有相关选项的--form行。例如，如果您想将输出格式设置为文本，则应添加以下行：[heading3]翻译[content]翻译API以任何支持的语言作为输入音频文件，并在必要时将音频转录成英文。这与我们的/Transcriptions端点不同，因为输出不是原始输入语言，而是被翻译成英文文本。在这种情况下，输入的音频是德语，输出的文本看起来像：我们目前仅支持英语翻译。

语音转文本（Speech to text）

默认情况下Whisper API仅支持小于25 MB的文件。如果您有一个比这更长的音频文件，则需要将其分成每个小于25 MB的块或使用压缩后格式。为了获得最佳性能，请避免在句子中间断开声音以避免丢失一些上下文字信息。处理此问题的一种方法是使用PyDub开源Python软件包来拆分声频文件。OpenAI对于像PyDub这样的第三方软件的可用性或安全性不作任何保证。[heading2]提示[content]您可以使用提示来提高Whisper API生成的转录质量。模型将尝试匹配提示的风格，因此如果提示也使用大写和标点符号，则更有可能使用它们。但是，当前的提示系统比我们其他语言模型要受限得多，并且仅提供对生成音频的有限控制。以下是一些示例，说明如何在不同情况下使用提示：1.对于模型经常错误识别音频中特定单词或缩略语非常有帮助。例如，以下提示改善了DALL·E和GPT-3这些单词（以前被写成“GDP 3”和“DALI”）的转录。2.为了保留分段文件的上下文，请使用先前片段的转录来引导模型。这将使转录更准确，因为模型将利用先前音频中相关信息。该模型只会考虑最后224个标记并忽略之前任何内容。3.有时候，在转录中可能会跳过标点符号。您可以通过使用包含标点符号简单提示来避免这种情况：4.该模型还可能在音频中省略常见填充词汇。如果您想在您的转录中保留填充词汇，则可以使用包含它们的指示：5.某些语言可以用不同方式书写，例如简体或繁体中文。默认情况下，该模型可能无法始终按照所需书写风格进行处理。通过在首选书写风格上添加指示即可改进此问题.

Others are asking
快速记录语音并转换文字用哪个AI
以下是一些可用于快速记录语音并转换文字的 AI 工具： 1. 海螺 AI 声音克隆：不仅能进行声音克隆，还能嵌入完整的 AI 录视频工作流。具体步骤包括录制初始视频、音频提取（可用剪映或格式工厂将 mp4 转为 mp3）、语音转文字（可上传至通义听悟或飞书妙记）。但可能会遇到语音识别不准的问题，此时可使用 Gemini 2.0 Pro 等工具进行优化校正，校正时需提供足够上下文，如视频初稿、最终文章、工作流操作文档、转录文本等。 2. GET 笔记：语音转文字功能适合快速构思和记录灵感，能自动润色，去掉口癖和冗余部分。 3. 通义听悟：适合处理较长的会议录音等文字内容。它能通过 TTS 技术将音视频中的语音转换成文字，还能识别不同发言人。使用时可登录官网 https://tingwu.aliyun.com/，根据实际情况选择实时记录或上传音视频，并选择录音背景信息，如单人、双人还是多人，以及语言种类等。完成转录后会显示 AI 总结的关键词和全文摘要。
2025-03-19
在开会时实现AI识别语音成文档
目前在开会时实现 AI 识别语音成文档的技术已经较为成熟。常见的实现方式有使用专门的语音识别软件或服务，例如科大讯飞、百度语音等。这些工具通常可以实时将会议中的语音转换为文字，并生成相应的文档。在使用时，需要确保有良好的录音设备以获取清晰的语音输入，同时要注意对识别结果进行适当的校对和修正，以提高文档的准确性。
2025-03-13
我想把文字转成语音
以下是关于文字转语音的相关信息： 使用 DubbingX 2.0.3 进行文字转语音： 界面与国内版相似，第一个选项是文字转语音，操作方式与国内版相同。 重点介绍第二项“创建您的语音克隆”： 上传语音（即想克隆的声音原始文件）。 给声音命名，方便以后配音选择。 选择语言。 勾选相关选项，点击右下角转变即可生成。 注意：若原音频带有背景音乐，最好在剪影中去除，以获得更好更纯净的音色模型。 去除原音频中的背景杂音： 打开剪映。 点击开始创作，导入原始的音频或视频。 在制作 AI 视频过程中的音频制作环节： 利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 游戏中的文字转语音： 可使用 GVoice 提供的语音录制和识别能力，中文识别率优秀。 ChatGPT 返回的中文文字，通过内部自研的 TTS 服务选择合适的声音播放出来。
2025-03-11
有哪些可以文本转语音的工具？
以下是一些可以文本转语音的工具： 1. Eleven Labs：https://elevenlabs.io/ 这是一款功能强大且多功能的 AI 语音软件，能生成逼真、高品质的音频，可高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ 这是一款人工智能驱动的文本转语音工具，可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，能将文本转换为音频文件，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal 这是 Microsoft Azure 的服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型，能适应特定领域的术语、背景噪声以及不同的口音。 4. Voicemaker：https://voicemaker.in/ 这是一款 AI 工具，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有开源的 StyleTTS 2：一个开源的媲美 Elevenlabs 的文本转语音工具，结合文本角色内容+场景音=快速生成有声小说。其工作原理是利用风格扩散和与大型语音语言模型（SLM）的对抗性训练来实现接近人类水平的 TTS 合成。
2025-03-10
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用方法： 特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用方法： 前置数据获取处理：选择音频，开启切割；有噪音时，进行降噪处理；降噪处理完成，开启离线 ASR。 GPTSowitsTTS：训练集格式化，开启一键三连，耐心等待；微调训练，开启 SoVITS 训练和 GPT 训练；推理时，开始推理、刷新模型、选择微调后的模型。 声音复刻：实现跨多语种语言的声音。 注册 colab，启动准备：点击进入按照步骤注册，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行。运行成功后会出现 public URL，还需准备训练音频并上传。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 开源项目：https://github.com/RVCBoss/GPTSoVITS colab 注册及启动：https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 实践的样本： AIyoyo 普通话 满江红： AIyoyo 粤语版 满江红：
2025-03-09
正在搭建客户CRM系统，对于客户拜访跟进记录表格，希望平衡销售人员的录入便捷性和信息完整性，如何通过多维表格接入的AI功能来简化信息录入，比如通过语音录音，直接解析内容。推荐我具体方法，包括怎么解析语音，输出的关键字段，以及提示词
以下是一种通过多维表格接入的 AI 功能来简化客户拜访跟进记录信息录入的方法： 1. 定义任务目标：让 AI 成为您的私人 CRM，即客户管理系统。 2. 编写指令： 定义角色：希望 AI 作为一名顶级的客户服务与销售总监，负责记住客户的爱好与信息。 提供背景信息：简单描述自己的身份，例如负责什么产品的销售。 明确任务目标和输出要求：在每次拜访客户后，把重要信息发送给 AI，要求 AI 每次接到新的客户消息后，只用回复一句“收到，知道了。” 3. 信息录入方式：可以通过语音录音的方式将拜访客户的信息传达给 AI。 4. 语音解析：利用 AI 的语音识别和自然语言处理能力，对语音内容进行解析。 5. 输出的关键字段：可能包括客户姓名、联系方式、拜访时间、拜访内容要点、客户需求、客户反馈等。 6. 提示词：例如“请整理本次拜访客户的关键信息”“提取重要内容并生成表格”等。 您可以参考以上方法，根据实际需求进行调整和优化。
2025-03-07
图片上文字识别与提取
以下是关于移动端图片视觉处理中图片上文字识别与提取的方法： 1. 图像预处理： 图像去噪：运用去噪算法（如高斯滤波、中值滤波）去除图像中的噪声。 图像增强：通过增强算法（如直方图均衡化、对比度增强）提高图像的清晰度和对比度。 2. 图像分割： 采用图像分割算法将试卷图像中的书写笔迹和背景分离，常用分割算法包括阈值分割、边缘检测和基于区域的分割方法。 3. 文字检测： 在分割后的图像中，使用文字检测算法（如基于深度学习的文本检测模型）识别出试卷上的文字区域。 4. 文字识别： 对检测到的文字区域进行文字识别，将文字内容转换为计算机可处理的文本数据。常用文字识别技术包括基于深度学习的端到端文本识别模型和传统的 OCR 技术。 5. 后处理： 根据需求进行后处理，如去除残余噪点、填补文字区域空白等。 6. 机器学习模型训练（可选）： 若有足够数据，可采用机器学习技术训练模型，通过学习样本中的书写笔迹特征来自动去除试卷上的笔迹。 7. 优化算法： 对整个处理流程进行优化，提高处理速度和准确度。可采用并行计算、硬件加速等方法提升算法效率。 8. 移动端集成： 将设计好的算法和模型集成到移动应用程序中，以实现试卷拍照去除书写笔迹的功能。可使用移动端开发框架（如 iOS 的 Core ML、Android 的 TensorFlow Lite）来实现模型的部署和调用。 在 AI 拍立得的工作流中，也涉及到图片文字的提取，其核心处理能力交由阿里云百炼大模型平台端执行，该模型系统集成了多模态的大模型以及垂直领域的小模型，也包含了知识库和插件的能力，处理链条涵盖了从图片的识别与理解、图片文字的提取，再到将文字与场景内容相结合，同时也能够支持风格化重构和输出的整个过程。在 0 基础手搓 AI 拍立得的工作流中，实现图片文字提取的步骤包括上传输入图片、理解图片信息并提取图片中的文本内容信息等。
2025-03-20
如何识别视频链接，转为文字稿
很抱歉，目前知识库中没有关于如何识别视频链接并转为文字稿的相关内容。但一般来说，您可以尝试使用以下几种方法： 1. 利用在线视频转文字工具：在网上有许多专门的工具和服务，您可以通过搜索引擎查找并选择可靠的工具来进行转换。 2. 手动听录：如果视频较短或对准确性要求较高，您可以自己通过聆听视频内容并手动记录为文字稿。 3. 借助语音识别软件：部分语音识别软件可能支持对视频中的声音进行识别并转换为文字。 希望这些建议对您有所帮助。
2025-03-19
免费文字生成视频
以下是一些免费文字生成视频的工具和相关信息： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，支持视频编辑，目前内测免费。生成服务托管在 discord 中，加入 Pika Labs 的 Discord 频道，在“generate”子区输入指令或上传本地图片即可生成视频。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，由 Stability AI 开源。 3. 剪映海外版 CapCut 推出了文字生成视频功能，每人每天可以免费生成五次：https://www.capcut.com/editortools/aivideogenerator 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38 此外，还有一些相关动态： 1. Arc Search 浏览器有双指捏合自动总结页面内容的新功能。 2. 现在可以给 GPTs 打分，同时在关于页面展示评分、类别、对话数量、会话开场白等信息。 3. Stability AI 官方的 SVD 视频生成平台公测了：https://www.stablevideo.com/login?returnUrl=%2F 4. 字节发布了一个用类似 SDXL Turbo 的模型 SDXLLightning，只需几步即可生成高质量的 1024px 图像：https://huggingface.co/ByteDance/SDXLLightning 5. Gemini Advanced 现在可以有似代码解释器的东西来运行 Python 代码。 6. 𝕏正在与 Midjourney 就潜在的合作伙伴关系进行谈判。 7. AnimateLCMSVDxt 利用了 LCM 技术蒸馏的 SVD 模型，只需要四步就能生成不错的视频:https://huggingface.co/wangfuyun/AnimateLCMSVDxt 8. 谷歌确认与 Reddit 合作，谷歌可以访问 Reddit 的数据 API（用于人工智能和搜索），Reddit 将使用谷歌的人工智能来改进其搜索功能。
2025-03-19
我想用使用AsrTools，用于语言转文字，如何使用
AsrTools 是一款批量语音转文字工具。但关于其具体的使用方法，目前所提供的信息中并未有详细描述。您可以通过以下常规步骤来尝试使用类似工具：首先，获取 AsrTools 软件并进行安装；然后，打开软件，查找导入语音文件的入口，将您需要转换的语音文件导入；接下来，根据软件界面的提示或设置选项，选择合适的转换参数，如语言类型、识别精度等；最后，点击开始转换按钮，等待转换完成并获取转换后的文字结果。您还可以查看该工具的官方文档或帮助说明，以获取更准确和详细的使用指导。
2025-03-19
我想用AI agent自動將文字故事生成出影片，需要經由哪些步驟、用哪些工具、達成哪種效果？
将文字故事生成影片通常需要以下步骤、工具和可能达成的效果： 步骤： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析文字故事内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据故事内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将文字故事转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 工具与网址： 1. Stable Diffusion：一种 AI 图像生成模型，可以基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney：另一个 AI 图像生成工具，适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/ 效果：通过合理运用上述步骤和工具，可以生成具有一定创意和质量的影片，但具体效果可能会受到原始文字故事质量、工具使用熟练程度以及个人创意等因素的影响。需要注意的是，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-03-19