直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何用AI把中文视频自动加上英文翻译字幕

回答

以下是使用 AI 为中文视频自动添加英文翻译字幕的方法:

  1. 首先,使用 whisper 生成原视频的英文字幕。预设 whisper 生成的字幕没问题,其相关问题不做探讨。
  2. 让 GPT 结合字幕全文进行翻译,并根据原英文字幕的拆分,将译文进行同样行数的拆分。
  3. 将 GPT 译文拆分的结果插入到原英文字幕文件中,形成一个新的双语字幕文件。这个过程中的所有执行脚本都由 GPT 编写。

在 08.04 的更新中:

  1. 对于识别音视频中的语言并生成字幕文件,可以使用 whisper 这个优秀的字幕处理工具。medium 尺寸能较好地解决英文问题,对于中文,large 尺寸的处理效果可能会更好。但仅处理成英文对母语是中文的绝大部分人来说不够,最好有纯中文或双语字幕。
  2. 在处理中文翻译部分,常用的谷歌翻译、微软翻译存在诸多问题,而 GPT3.5 效果较好。需要给 GPT 提供足够的上下文和背景信息,以便更好地翻译特定名词。但由于音视频内容多,文本量大,受单次输入输出文本量限制,需分批投喂给 GPT,此时要解决如何分批才能不截断完整语意的问题。
  3. 在上述处理基础上,会得到英文字幕 SRT 文件、英文全文、译文全文,接下来要将译文加到字幕文件中形成双语字幕。处理逻辑是找到英文句子对应的翻译,但由于文化差异和 AI 处理结果的随机性,不能仅依靠标点符号解决对应问题。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

开发:AI-双语字幕

最终的解决方案,逻辑其实也很简单:1、用whisper生成原视频的英文字幕;(我预设whisper生成的字幕没问题,whisper的问题不探讨)2、让GPT结合字幕全文翻译,并让他根据原英文字幕的拆分,将译文进行同样行数的拆分;3、将GPT译文拆分的结果插入到原英文字幕文件中形成一个新的双语字幕文件。这个过程中所有的执行脚本都是让GPT写的。GPT的prompt在最后。08.04更新这一节是失败的经历,可以跳过。

开发:AI-双语字幕

08.01产生想法之后,就经历了下面的过程(过去两天太兴奋了,但想法暂时都还没成功,恰好停一停记录一下):1、识别音视频中的语言并生成字幕文件:[whisper](https://github.com/openai/whisper)是一个非常优秀的字幕处理工具,他能很好的识别视频/音频中的语言:medium尺寸能很好的解决英文的问题中文的处理我没试过,根据[宝玉xp](https://weibo.com/u/1727858283)的说法,large尺寸处理中文的效果会好一些但仅处理成英文对母语是中文的绝大部分人来说是不够的,至少需要一个纯中文的字幕,当然我认为双语的字幕当然是最好的。2、下面就到了处理中文翻译的部分,翻译是一个非常麻烦的问题:我们现在常用的谷歌翻译、微软翻译在处理结果上太粗暴了。普遍的问题有:没有基础的语境背景信息,不知道一些特定的语境下的句子该如何准确翻译;在一些常用俚语上的翻译也非常生硬;没法准确识别一些人名、地名等特定词,这类词语最好的办法是不翻译,直接显示。在翻译处理上目前GPT3.5有比上述工具好太多的效果(Claude我也试了一下,效果不及GPT3.5,其他的就没有试了目前):

开发:AI-双语字幕

需要把足够的上下文给他,以确保他在翻译一些句子的时候能够更好的理解;最好告诉他一些背景信息,这样他能更好的识别一些特定的名词。(比如说告诉他这是一档NBA播客,他能知道勒布朗是指谁)但由于一个音视频的内容太多,导致文本太多,在目前的限制中单次输入输出的文本量有限,又得分批的把内容投喂给GPT。[]这里分批其实在全自动化的考量下有一个需要解决的问题,就是怎么分能达到不截断一条完整的话的语意。当然从全局来看这个问题还好,只要上下文在同一个会话中,下半个句子的翻译准确的概率是很大的,但上半个句子就不一定了。3、在上述处理的基础上,现在手里面有三个东西:a、英文字幕SRT文件;b、英文全文;c、译文全文。现在的就得想办法把译文加到字幕文件中,形成一个双语字幕:处理逻辑说起来其实比较简单:就是要找到英文句子对应的翻译,理论上句子和句子之间肯定按照顺序一一对应的。但由于文化的不同,已经AI处理结果的一些随机性,肯定不能指望通过标点符号去解决这个事情;

其他人在问
网页英文翻译工具
以下是一些网页英文翻译工具: 沉浸式翻译:这是一个非常实用的英文资料和网页翻译插件,支持阅读本地 PDF 等,可将英文页面翻译成中文。 浏览器插件莫妮卡:集成了 GPT 的功能,可在网页上进行翻译,还能重写扩写等。 DeepL:可上传 PDF、Word 或 PowerPoint 文件进行翻译。 沉浸式翻译插件:安装后可制作双语 BPUB 电子书、翻译本地 PDF 文件等。 calibre:下载并安装该应用,安装翻译插件“Ebook Translator”。 谷歌翻译:可将 PDF 转成 Word 后上传进行翻译。 百度翻译:支持上传多种格式的文件进行翻译,部分进阶功能需付费。 彩云小译:可导入多种格式的文档进行翻译,有免费次数限制,进阶功能需付费。 微信读书:可将 PDF 文档添加到书架,切换成电子书后进行翻译。 浏览器自带的翻译功能:可将 PDF 转成 HTML 格式,使用浏览器自带的网页翻译功能。
2024-07-11
中英文翻译Prompt
``` 角色:你是一位精通简体中文的专业翻译 曾参与《纽约时报》和《经济学人》中文版的翻译工作,因此对于新闻和时事文章的翻译有深入的理解。我希望你能帮我将以下英文新闻段落翻译成中文,风格与上述杂志的中文版相似。 规则: 翻译时要准确传达新闻事实和背景。 保留特定的英文术语或名字,并在其前后加上空格,例如:"中 UN 文"。 分成两次翻译,并且打印每一次结果: 1. 根据新闻内容直译,不要遗漏任何信息 2. 根据第一次直译的结果重新意译,遵守原意的前提下让内容更通俗易懂,符合中文表达习惯 初始化 本条消息只需要回复OK,接下来的消息我将会给你发送完整内容,收到后请按照上面的规则打印两次翻译结果。 ```
2024-04-22
去ai味
要去除 AI 味,可以从以下几个方面入手: 1. 对于聊天 AI,使其变得不正经、放肆、幽默、通俗。注意语气的自然化,比如使用语气词嗯、吧、啊、哈哈哈等,让回答更自然、贴近日常对话风格。还要注意口语化词语(相对于书面语)的使用,不过增加网络语言语料库需谨慎,以免生搬硬套带来副作用。 2. 对于睿声生成的配音,若语速慢有 AI 味儿,可使用剪映的音频变速功能加速配音,以消除 AI 味儿并配合视频前段的快节奏。 3. 对于 GPT 的回复,避免其用 1、2、3、4 或“首先、其次、最后”这种模式,可让其扮演特定角色并给出明确输出要求。但这种方法可能换汤不换药,要想让其更有趣,可让它在回复中加点感情,比如用括号补充动作,营造特定环境等。
2024-09-19
可以建立知识库的ai有哪些
以下是一些可以建立知识库的 AI 工具和平台: 1. 飞书软件:例如“通往 AGI 之路”,您可以在飞书大群中与机器人对话获取对应的资料。 2. Coze:在“大圣:胎教级教程:万字长文带你使用 Coze 打造企业级知识库”中有相关介绍。 3. Mem:如 https://get.mem.ai/ ,它可以保存组织中每次会议的记录,并在人们开始新项目时主动建议相关的决策、项目或人员,节省时间。 4. GPT:通过 OpenAI 的 embedding API 解决方案,可以搭建基于 GPT API 的定制化知识库,但需要注意其免费版 ChatGPT 一次交互的容量限制。
2024-09-19
notion ai的功能
Notion AI 具有以下功能: 直接在 Notion 中接入 AI 的能力,能让工作更迅速,写作更出色,思考更伟大。 可以在笔记和文档中应用 AI 的力量。 能够实现 AI 数据库自动填充功能。 可以改变知识管理的方式,让人们摆脱繁琐的信息组织工作,用户只需简单地将信息丢到 Notion 中,就可以通过各种方式进行检索。
2024-09-19
PopAI的功能
PopAI 是一款办公效率工具,具有以下功能: 1. 类似 ChatGPT 的聊天功能。 2. 集成了众多工作中可用的效率工具,如 PPT 和流程图生成、提示生成等。 3. 率先集成了 GPT4V 的图像 API 且调教良好,能清晰解释图像相关内容。 4. 具有创新的交互,在回答内容后可进行如翻译为中文、扩写重新排版并添加内容变为一篇文章等“Enrich”操作。 5. “Enrich”操作不仅不是干巴巴的填充,还会配合相关图片,必要时绘制流程图。
2024-09-19
popai 的功能
Poe 是一个 AI 聊天网站,支持与多个智能 AI 机器人(如 GPT4 等)进行实时在线交流。注册账号后可免费使用,部分功能需要付费订阅。不同的 AI 机器人有不同特点,可根据需求选择使用。总体而言,Poe 为用户提供了便捷的智能对话体验。其官网地址是:https://poe.com/ ,在官网帮助中心上可以找到具体教程。 此外,Poe 平台还推出了其他多种功能,比如多个机器人一起聊天、文件上传和视频输入等。Odyssey 是一个能提供好莱坞级别的 AI 视频生成和编辑工具的项目。PaintsUndo 可以输入静态图像自动生成整个绘画的全过程视频,该项目主要研究和再现数字绘画中的绘画行为,为数字艺术创作提供新的工具和方法。更多详细介绍可参考:https://xiaohu.ai/p/10996 、https://x.com/imxiaohu/status/1810574723048489063 、https://xiaohu.ai/p/11005 、https://x.com/imxiaohu/status/1810589354114626008 、https://xiaohu.ai/p/11010 、https://lllyasviel.github.io/pages/paints_undo/
2024-09-19
可用于记笔记的ai有哪些
以下是一些可用于记笔记的 AI 相关产品: 1. MeetRecord:这是一家专注于销售通话记录和辅导的软件公司。其核心功能包括 AI 驱动的笔记记录,能通过人工智能技术自动记录和分析销售通话,提供会议内容的关键词和主题分析,自动生成会议纪要和行动项;还有个性化辅导计划,能生成个性化的辅导计划,模仿表现最好的销售人员,并实施自动呼叫评分系统;此外,还具备交易智能和推荐、CRM 自动化、多语言支持以及安全性与企业化支持等功能。 2. 目前没有更多明确提及专门用于记笔记的其他 AI 产品的相关信息。但在一些关于人工智能的讨论中,提到了手写笔记对于信息留存和思维培养的重要性,例如在关于防止 AI 取代人类思考的论述中,指出手写笔记有助于将信息从短期记忆转移到长期记忆,成为更好的概念思考者。
2024-09-19
一个视频网站上只有中文外挂字幕,有什么AI插件能根据中文字幕和中文配音生成英中双字字幕
以下是关于根据中文外挂字幕和中文配音生成英中双字字幕的相关信息: 最终解决方案: 逻辑其实很简单: 1. 用 whisper 生成原视频的英文字幕(预设 whisper 生成的字幕没问题,whisper 的问题不探讨)。 2. 让 GPT 结合字幕全文翻译,并让它根据原英文字幕的拆分,将译文进行同样行数的拆分。 3. 将 GPT 译文拆分的结果插入到原英文字幕文件中形成一个新的双语字幕文件。这个过程中所有的执行脚本都是让 GPT 写的。GPT 的 prompt 在最后。08.04 更新这一节是失败的经历,可以跳过。 视频自动字幕工具推荐: 1. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频进行精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 2. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,可自定义视频字幕样式。 3. Arctime:可对视频语音自动识别并转换为字幕,甚至支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 4. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可以根据自己的需求选择。 此外,为您推荐一些视频配音特效 AI 工具: 1. Wavel Studio: 支持 30 多种语言的配音,音质自然流畅。 自动去除背景噪音和杂音。 提供添加字幕和文本叠加层的工具。 界面友好,提供多种自定义选项。 2. Elai.io: 支持 65 多种语言的配音,音色和语调真实。 自动将唇形与语音同步。 生成字幕,提高视频的可访问性。 支持多位配音者,适合复杂对话场景。 3. Rask AI: 支持 130 多种语言的配音,包括稀有和濒危语言。 采用先进语音合成技术,音质高保真。 提供语音参数自定义和音效添加工具。 与多种视频编辑平台和工作流程整合。 4. Notta: 提供快速实惠的多语言配音解决方案。 保留原声说话风格和细微差别。 提供调整语音速度和音调的工具。 支持批量处理,高效完成多视频配音。 5. Dubverse: 支持 60 多种语言的配音,音质接近真人。 提供文本转语音和语音克隆功能。 提供语音参数自定义和情感添加工具。
2024-08-28
在线视频字幕提取
以下为您推荐几个在线视频自动字幕工具: 1. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频进行精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 2. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,还可自定义视频字幕样式,包括字体、颜色、大小、位置等。 3. Arctime:能对视频语音自动识别并转换为字幕,甚至支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 4. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 另外,如果您想提取 B 站视频的字幕,可以参考以下方法:打开有字幕按钮的 B 站视频,若想提取字幕,可以安装油猴脚本“Bilibili CC 字幕工具”。安装后刷新浏览器,点击字幕会多出一个“下载”按钮,点击可选择多种字幕格式,包括带时间的或者不带时间的。 以上工具各有特点,您可根据自身需求选择最适合的。
2024-08-26
可以识别中国多民族语言的翻译软件并且翻译成字幕
目前市面上暂时没有专门针对中国多民族语言进行翻译并生成字幕的通用软件。不过,您可以关注一些大型科技公司开发的翻译软件,例如百度翻译、腾讯翻译君等,它们可能在不断更新和扩展语言支持范围,未来或许会增加对中国多民族语言的翻译及字幕生成功能。同时,一些专业的语言研究机构或团队也可能会开发特定的工具,但需要您进一步通过相关领域的渠道去了解和获取。
2024-08-26
视频内字幕提取
以下是关于视频内字幕提取的相关内容: 对于 B 站有字幕的视频,若在视频栏下面有字幕按钮,说明视频作者已上传字幕或后台适配了 AI 字幕。可安装油猴脚本,安装后刷新浏览器,点击字幕会多出一个“下载”按钮,点击可选择多种字幕格式,包括带时间的或者不带时间的。 在 Sora 之后,OpenAI Lilian Weng 亲自撰文提到,在设计视频生成扩散模型时,使用了剪辑检测流程从每段视频获得更多剪辑,并对其使用三个不同的字幕标注器模型:用于中间帧的 CoCa、用于视频字幕的 VBLIP、基于前两个标注使用 LLM 来进行标注。还通过多种方式提升视频数据集,包括移除运动更少的视频片段、清除过多的文本、清除不够美的视频等。 关于使用 GPT 的视觉功能和 TTS API 处理和讲述视频,有相关笔记本演示如何通过视频使用 GPT 的视觉功能,如使用 GPT4 获取视频的描述、使用 GPT4 和 TTS API 为视频生成画外音。首先使用 OpenCV 从包含野牛和狼的自然视频中提取帧。
2024-08-15
提取视频字幕并形成文稿
提取视频字幕并形成文稿的方法如下: 借助免费服务转录或下载视频的自动生成字幕。 将得到的文字保存为文档上传。 让 ChatGPT 帮忙将 YouTube 视频的字幕转化为简洁的要点。 这种方法的优点是可以快速将视频内容转化为文字,节省时间和精力。例如,对于包含高技术性内容的视频,可以通过这种方式快速获取关键信息。但需要注意的是,自动生成的字幕可能存在一些语气词和广告内容,需要进行适当的编辑和整理。
2024-07-14
AI提取bilibili字幕工具
AI提取bilibili字幕的工具有多种,以下是几个可用的选项: 1. 绘影字幕AI:这是一个视频AI字幕提取器,可以上传视频并转录视频字幕,支持95种语言,提供98%的高精度转录,并且支持无限时长的单个视频。 2. videosubtitleextractor:这是一个GitHub上的项目,它能够提取视频中的关键帧、识别视频帧中的文本内容、过滤非字幕区域的文本,并去除水印、台标文本等。它支持87种语言的字幕提取,并且可以批量提取。 3. 快速提取视频字幕工具:这是一个适用于B站的视频字幕提取工具,可以提取视频的字幕或AI字幕。使用方法包括打开视频、按F12进入开发者界面,然后访问特定网址进行字幕提取。 4. 哔哩哔哩字幕插件:这是一个浏览器扩展,具有复制、导出、跳转、总结字幕等功能,可以帮助用户更方便地处理哔哩哔哩上的字幕。 这些工具可以帮助用户从bilibili视频中提取字幕,无论是手动添加的字幕还是AI自动生成的字幕。使用这些工具时,用户可以根据自己的需求选择合适的选项来进行字幕的提取和处理。
2024-05-26
有什么工具能帮我把中文的ppt翻译成英文的吗
目前常见的能够帮助将中文 PPT 翻译成英文的工具包括: 1. 谷歌文档(Google Docs):具有翻译功能,可处理文档和演示文稿。 2. 微软 Office 自带的翻译功能:在 PowerPoint 软件中可能提供一定程度的翻译支持。 但需要注意的是,这些工具的翻译质量可能会受到原文内容的复杂性和专业性的影响,翻译后仍需要人工进行校对和修正,以确保准确性和流畅性。
2024-09-19
请帮我推荐一个去除图片中文字的工具
以下为您推荐一些去除图片中文字的工具: 1. AVAide Watermark Remover:在线工具,使用 AI 技术,支持多种图片格式如 JPG、JPEG、PNG、GIF 等。操作简单,上传图片、选择水印区域,保存并下载处理后的图片,还提供去除文本、对象、人物、日期和贴纸等功能。 2. Vmake:提供 AI 去除图片水印功能,可上传最多 10 张图片,AI 自动检测并移除水印,处理完成后可保存生成的文件,适合需快速去除水印及在社交媒体分享图片的用户。 3. AI 改图神器:提供 AI 智能图片修复去水印功能,可一键去除图片中多余物体、人物或水印,不留痕迹。支持直接粘贴图像或上传手机图像,操作简便。 此外,还有以下工具或方法可供选择: ps 的 ai 版,操作相对简单。 SD 局部重绘。 Firefly、canva、Google photo 都有局部重绘功能。 微软 Designer 免费。 https://clipdrop.co/cleanup
2024-09-18
怎么把AI软件翻译成中文
以下为一些将 AI 软件翻译成中文的方法和相关产品推荐: 彩云小译(App):下载后点击“文档翻译”,可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译(不过有免费次数限制且进阶功能需要付费)。 微信读书(App):下载 App 后将 PDF 文档添加到书架,打开并点击页面上方“切换成电子书”,轻触屏幕唤出翻译按钮。 此外,Hand Talk 是一款将 AI 翻译为手语的应用,能自动将文本或语音转换成美国手语。联合国评为“世界上最佳的社交应用”,已翻译近 20 亿个单词,既是翻译工具,也是学习平台。
2024-09-16
哪个中文ai写公司文案最好用
在中文 AI 写公司文案方面,Kimi 的表现较为突出。国产大模型在本土化方面具有优势,对中文的理解和写作能力相对更强。 在写文案时,可以先利用 360 浏览器的字幕提取功能捕捉相关视频文案,然后分别让 Kimi 和 ChatGPT 进行分析和学习,理解目标写作风格并融会贯通。之后让 AI 按照此风格写作,并对比二者结果进行整合调整。 此外,OpenAI 的 GPT4 是先进且广泛使用的大型语言模型,在多种任务上性能卓越。除了 OpenAI 的 GPT 系列,还有 Anthropic 公司的 Claude 3、谷歌的 Gemini、百度的文心一言、阿里巴巴的通义大模型等,它们在特定领域和任务上也有出色表现。如果想了解国内大模型效果,可参考第三方基准评测报告: 。但需注意内容由 AI 大模型生成,请仔细甄别。
2024-09-13
给我推荐一些可以识别图片中文字的AI工具
以下为您推荐一些可以识别图片中文字的 AI 工具: 1. PixelLLM Google 的新视觉语言模型:能提供对图片内容的详细描述及每个词汇的具体位置,可识别图片中的物体并精确指出其位置,特别适用于图像和文字紧密结合的任务。相关链接:https://jerryxu.net/PixelLLM/ 、https://arxiv.org/abs/2312.09237 2. EmbedAI:支持使用各种数据源训练 ChatGPT,包括文件、网站、Notion 文档和 YouTube。应用范围广泛,如智能客服、个性化学习助手等。无代码平台,适合非编程背景用户。相关链接:https://thesamur.ai 、https://x.com/xiaohuggg/status/1736336780876742873?s=20
2024-09-12
中文输入文字免费生成2分钟视频的AI
以下是一些能够将中文输入文字免费生成 2 分钟视频的 AI 产品: 1. 山寨版阿里 Animate Anyone 开源:利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持。提供照片和视频,即可自动生成动画。 GitHub:https://github.com/novitalabs/AnimateAnyone API:https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 2. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 3. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 4. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但收费。 5. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 6. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里: 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-09-12