以下是关于音频转文字的相关信息:
语音转文字推荐OpenAI的wishperhttps://huggingface.co/openai/whisper-large-v2语音转文字:一分钟搞定的~23分钟的音频https://huggingface.co/spaces/sanchit-gandhi/whisper-jax这个项目在JAX上运行,后端支持TPU v4-8。与A100 GPU上的PyTorch相比,它要快70多倍,是目前最快的Whisper API。
学习如何将音频转换为文本。[heading2]介绍[content]语音转文本API提供了两个端点,即基于我们最先进的开源大型-v2 Whisper模型的转录和翻译。它们可以用于:将音频转录为任何语言。将音频翻译并转录成英语。目前文件上传限制为25 MB,并支持以下输入文件类型:mp3、mp4、mpeg、mpga、m4a、wav和webm。[heading2]快速入门[heading3]转录[content]转录API的输入是您要进行转录的音频文件以及所需输出格式的音频文字稿。我们目前支持多种输入和输出文件格式。默认情况下,响应类型将是包含原始文本的JSON。要在请求中设置其他参数,您可以添加更多带有相关选项的--form行。例如,如果您想将输出格式设置为文本,则应添加以下行:[heading3]翻译[content]翻译API以任何支持的语言作为输入音频文件,并在必要时将音频转录成英文。这与我们的/Transcriptions端点不同,因为输出不是原始输入语言,而是被翻译成英文文本。在这种情况下,输入的音频是德语,输出的文本看起来像:我们目前仅支持英语翻译。
默认情况下Whisper API仅支持小于25 MB的文件。如果您有一个比这更长的音频文件,则需要将其分成每个小于25 MB的块或使用压缩后格式。为了获得最佳性能,请避免在句子中间断开声音以避免丢失一些上下文字信息。处理此问题的一种方法是使用PyDub开源Python软件包来拆分声频文件。OpenAI对于像PyDub这样的第三方软件的可用性或安全性不作任何保证。[heading2]提示[content]您可以使用提示来提高Whisper API生成的转录质量。模型将尝试匹配提示的风格,因此如果提示也使用大写和标点符号,则更有可能使用它们。但是,当前的提示系统比我们其他语言模型要受限得多,并且仅提供对生成音频的有限控制。以下是一些示例,说明如何在不同情况下使用提示:1.对于模型经常错误识别音频中特定单词或缩略语非常有帮助。例如,以下提示改善了DALL·E和GPT-3这些单词(以前被写成“GDP 3”和“DALI”)的转录。2.为了保留分段文件的上下文,请使用先前片段的转录来引导模型。这将使转录更准确,因为模型将利用先前音频中相关信息。该模型只会考虑最后224个标记并忽略之前任何内容。3.有时候,在转录中可能会跳过标点符号。您可以通过使用包含标点符号简单提示来避免这种情况:4.该模型还可能在音频中省略常见填充词汇。如果您想在您的转录中保留填充词汇,则可以使用包含它们的指示:5.某些语言可以用不同方式书写,例如简体或繁体中文。默认情况下,该模型可能无法始终按照所需书写风格进行处理。通过在首选书写风格上添加指示即可改进此问题.