Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

如何用AI把中文视频自动加上英文翻译字幕

Answer

以下是使用 AI 为中文视频自动添加英文翻译字幕的方法:

  1. 首先,使用 whisper 生成原视频的英文字幕。预设 whisper 生成的字幕没问题,其相关问题不做探讨。
  2. 让 GPT 结合字幕全文进行翻译,并根据原英文字幕的拆分,将译文进行同样行数的拆分。
  3. 将 GPT 译文拆分的结果插入到原英文字幕文件中,形成一个新的双语字幕文件。这个过程中的所有执行脚本都由 GPT 编写。

在 08.04 的更新中:

  1. 对于识别音视频中的语言并生成字幕文件,可以使用 whisper 这个优秀的字幕处理工具。medium 尺寸能较好地解决英文问题,对于中文,large 尺寸的处理效果可能会更好。但仅处理成英文对母语是中文的绝大部分人来说不够,最好有纯中文或双语字幕。
  2. 在处理中文翻译部分,常用的谷歌翻译、微软翻译存在诸多问题,而 GPT3.5 效果较好。需要给 GPT 提供足够的上下文和背景信息,以便更好地翻译特定名词。但由于音视频内容多,文本量大,受单次输入输出文本量限制,需分批投喂给 GPT,此时要解决如何分批才能不截断完整语意的问题。
  3. 在上述处理基础上,会得到英文字幕 SRT 文件、英文全文、译文全文,接下来要将译文加到字幕文件中形成双语字幕。处理逻辑是找到英文句子对应的翻译,但由于文化差异和 AI 处理结果的随机性,不能仅依靠标点符号解决对应问题。
Content generated by AI large model, please carefully verify (powered by aily)

References

开发:AI-双语字幕

最终的解决方案,逻辑其实也很简单:1、用whisper生成原视频的英文字幕;(我预设whisper生成的字幕没问题,whisper的问题不探讨)2、让GPT结合字幕全文翻译,并让他根据原英文字幕的拆分,将译文进行同样行数的拆分;3、将GPT译文拆分的结果插入到原英文字幕文件中形成一个新的双语字幕文件。这个过程中所有的执行脚本都是让GPT写的。GPT的prompt在最后。08.04更新这一节是失败的经历,可以跳过。

开发:AI-双语字幕

08.01产生想法之后,就经历了下面的过程(过去两天太兴奋了,但想法暂时都还没成功,恰好停一停记录一下):1、识别音视频中的语言并生成字幕文件:[whisper](https://github.com/openai/whisper)是一个非常优秀的字幕处理工具,他能很好的识别视频/音频中的语言:medium尺寸能很好的解决英文的问题中文的处理我没试过,根据[宝玉xp](https://weibo.com/u/1727858283)的说法,large尺寸处理中文的效果会好一些但仅处理成英文对母语是中文的绝大部分人来说是不够的,至少需要一个纯中文的字幕,当然我认为双语的字幕当然是最好的。2、下面就到了处理中文翻译的部分,翻译是一个非常麻烦的问题:我们现在常用的谷歌翻译、微软翻译在处理结果上太粗暴了。普遍的问题有:没有基础的语境背景信息,不知道一些特定的语境下的句子该如何准确翻译;在一些常用俚语上的翻译也非常生硬;没法准确识别一些人名、地名等特定词,这类词语最好的办法是不翻译,直接显示。在翻译处理上目前GPT3.5有比上述工具好太多的效果(Claude我也试了一下,效果不及GPT3.5,其他的就没有试了目前):

开发:AI-双语字幕

需要把足够的上下文给他,以确保他在翻译一些句子的时候能够更好的理解;最好告诉他一些背景信息,这样他能更好的识别一些特定的名词。(比如说告诉他这是一档NBA播客,他能知道勒布朗是指谁)但由于一个音视频的内容太多,导致文本太多,在目前的限制中单次输入输出的文本量有限,又得分批的把内容投喂给GPT。[]这里分批其实在全自动化的考量下有一个需要解决的问题,就是怎么分能达到不截断一条完整的话的语意。当然从全局来看这个问题还好,只要上下文在同一个会话中,下半个句子的翻译准确的概率是很大的,但上半个句子就不一定了。3、在上述处理的基础上,现在手里面有三个东西:a、英文字幕SRT文件;b、英文全文;c、译文全文。现在的就得想办法把译文加到字幕文件中,形成一个双语字幕:处理逻辑说起来其实比较简单:就是要找到英文句子对应的翻译,理论上句子和句子之间肯定按照顺序一一对应的。但由于文化的不同,已经AI处理结果的一些随机性,肯定不能指望通过标点符号去解决这个事情;

Others are asking
网页英文翻译工具
以下是一些网页英文翻译工具: 沉浸式翻译:这是一个非常实用的英文资料和网页翻译插件,支持阅读本地 PDF 等,可将英文页面翻译成中文。 浏览器插件莫妮卡:集成了 GPT 的功能,可在网页上进行翻译,还能重写扩写等。 DeepL:可上传 PDF、Word 或 PowerPoint 文件进行翻译。 沉浸式翻译插件:安装后可制作双语 BPUB 电子书、翻译本地 PDF 文件等。 calibre:下载并安装该应用,安装翻译插件“Ebook Translator”。 谷歌翻译:可将 PDF 转成 Word 后上传进行翻译。 百度翻译:支持上传多种格式的文件进行翻译,部分进阶功能需付费。 彩云小译:可导入多种格式的文档进行翻译,有免费次数限制,进阶功能需付费。 微信读书:可将 PDF 文档添加到书架,切换成电子书后进行翻译。 浏览器自带的翻译功能:可将 PDF 转成 HTML 格式,使用浏览器自带的网页翻译功能。
2024-07-11
中英文翻译Prompt
``` 角色:你是一位精通简体中文的专业翻译 曾参与《纽约时报》和《经济学人》中文版的翻译工作,因此对于新闻和时事文章的翻译有深入的理解。我希望你能帮我将以下英文新闻段落翻译成中文,风格与上述杂志的中文版相似。 规则: 翻译时要准确传达新闻事实和背景。 保留特定的英文术语或名字,并在其前后加上空格,例如:"中 UN 文"。 分成两次翻译,并且打印每一次结果: 1. 根据新闻内容直译,不要遗漏任何信息 2. 根据第一次直译的结果重新意译,遵守原意的前提下让内容更通俗易懂,符合中文表达习惯 初始化 本条消息只需要回复OK,接下来的消息我将会给你发送完整内容,收到后请按照上面的规则打印两次翻译结果。 ```
2024-04-22
笔记整理ai工具
以下是一些笔记整理的 AI 工具: 1. 会议总结类: 2. 思维导图相关: GitMind:免费跨平台,支持多种模式,可通过 AI 自动生成思维导图。 ProcessOn:国内思维导图+AIGC 工具,可利用 AI 生成思维导图。 AmyMind:轻量级在线,无需注册登录,支持自动生成节点。 Xmind Copilot:Xmind 推出,基于 GPT,可一键拓展思路生成文章大纲。 TreeMind:“AI 人工智能”思维导图工具,输入需求由 AI 自动完成生成。 EdrawMind:提供一系列 AI 工具,包括 AI 驱动的头脑风暴功能。 此外,谷歌推出的 NotebookLM 也值得关注,有人称它为笔记工具、AI 学习工具或播客生成器。体验地址:https://notebooklm.google/ 。只要上传文档、音频或网页链接,它就能生成专业播客。
2024-12-27
请问如何学习AI提示词
以下是关于如何学习 AI 提示词的建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,可根据自己的兴趣选择特定的模块进行深入学习,建议掌握提示词的技巧,因其上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品(如 ChatGPT、Kimi Chat、智谱、文心一言等)进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 关于提示词运用的具体建议: 理解提示词的作用:提示词向模型提供上下文和指示,其质量直接影响模型输出的质量。 学习提示词的构建技巧:明确任务目标,用简洁准确的语言描述;给予足够的背景信息和示例,帮助模型理解语境;使用清晰的指令,如“解释”“总结”“创作”等;对特殊要求应给予明确指示,如输出格式、字数限制等。 参考优秀案例:研究和学习已有的优秀提示词案例,了解行之有效的模式和技巧,可在领域社区、Github 等资源中找到大量案例。 实践、迭代、优化:多与语言模型互动,根据输出提高提示词质量。尝试各种变体,比较分析输出差异,持续优化提示词构建。 活用提示工程工具:目前已有一些提示工程工具可供使用,如 Anthropic 的 Constitutional AI。 跟上前沿研究:提示工程是当前最前沿的研究领域之一,持续关注最新的研究成果和方法论。 精心设计的提示词能最大限度发挥语言模型的潜力,是高效使用大模型的关键技能。多实践、多学习、多总结,终可掌握窍门。需要注意的是,内容由 AI 大模型生成,请仔细甄别。
2024-12-27
好用的文本处理ai工具推荐
以下是为您推荐的一些好用的文本处理 AI 工具: 内容仿写 AI 工具: 秘塔写作猫:https://xiezuocat.com/ 写作猫是 AI 写作伴侣,能推敲用语、斟酌文法、改写文风,还能实时同步翻译,支持全文改写、一键修改、实时纠错并给出修改建议,智能分析文章属性并打分。 笔灵 AI 写作:https://ibiling.cn/ 是得力的智能写作助手,支持多种文体写作,能一键改写/续写/扩写,智能锤炼打磨文字。 腾讯 Effidit 写作:https://effidit.qq.com/ 智能创作助手,探索提升写作者效率和创作体验。 更多 AI 写作类工具:https://www.waytoagi.com/sites/category/2 (内容由 AI 大模型生成,请仔细甄别) 在线 TTS 工具: Eleven Labs:https://elevenlabs.io/ 功能强大且多功能的 AI 语音软件,能高保真呈现人类语调和语调变化,并能根据上下文调整表达方式。 Speechify:https://speechify.com/ 人工智能驱动的文本转语音工具,可在多种平台使用,用于收听网页、文档等。 Azure AI Speech Studio:https://speech.microsoft.com/portal 提供多种语言和方言的语音转文本和文本转语音功能,还提供自定义语音模型。 Voicemaker:https://voicemaker.in/ 可将文本转换为各种区域语言的语音,并允许创建自定义语音模型。 数据分析工具集: Text2SQL:https://toolske.com/text2sql/?ref=theresanaiforthat 将英文转换为 SQL 查询。 ai2sql:https://www.ai2sql.io/ 高效且无错误的 SQL 构建器。 EverSQL:https://www.eversql.com/sqltotext/ 从 SQL 查询翻译英文文本。 SupaSQL:https://supasql.com/ 从 NLP 生成 SQL 查询。 SQLgenius:https://sqlgenius.app/ 使用自然语言的 SQL 查询生成器。 SQL Chat:https://www.sqlchat.ai/ 与数据库进行自然语言聊天的 SQL 客户端。 SQL Ease:https://sqlease.buildnship.in/ 从自然语言输入生成 SQL 查询。 Talktotables:https://talktotables.com/ 翻译和查询数据库。 建议查看以下几个知名的 text2sql 项目: SQLNet:一个使用深度学习方法解决 text2sql 任务的项目。 Seq2SQL:一个将自然语言转换为 SQL 查询的序列到序列模型。 Spider:一个大规模的 text2sql 数据集及其相关的挑战。 (内容由 AI 大模型生成,请仔细甄别)
2024-12-27
AIGC图生视频网站
以下是一些 AIGC 图生视频相关的网站和信息: 摊位信息中提到的一些与 AIGC 相关的摊位,如“B2B AI 营销与 AI 落地项目快速🔜落地”,涵盖了文生图生视频等内容。 Krea 用开放的 API 做了自己的 AI 视频功能,支持对任何视频输入提示词进行延长,可能是用视频最后一帧做的图生视频。 Runway 发布 ActOne 功能,支持将现实视频的人物表情和动作迁移到生成的视频上,效果非常好,目前已全量开放。 Ideogram 发布 Ideogram Canvas,可以在无限画布上对生成的图片进行编辑,包括扩图、局部重绘以及基本的生成功能。 Luma AI 发布了 Dream Machine 视频生成模型,图生视频的表现相当惊艳,分辨率、运动幅度、美学表现都很出色,同时向所有人开放了免费试用。 希望以上信息对您有所帮助。
2024-12-27
帮我查一下这四家主流大模型的应用能力评测报告吧,通用能力和单项能力都可,数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告: 小七姐的测评: 测评机制:以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量:包括复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:共分为五轮,分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告: 优秀模型:文心一言 4.0 API(百度)。 模型特点:在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一,在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三,各项能力表现均衡且水平较高。 适合应用:能力栈广泛,可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面,在逻辑推理方面表现不俗,可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评: 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5(0301 版本)的 80%90%,但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断,基础能力包括语言(文本)生成和语言理解,如常识类问题和分词类问题。
2024-12-27
请问如何零基础学习AI知识
以下是零基础学习 AI 知识的建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI 的建议: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,无论是零基础还是中学生,学习 AI 可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能。
2024-12-27
影视翻译音频生成字幕
以下是关于影视翻译音频生成字幕的相关信息: 出门问问语音合成(TTS)API: 调用参数及说明: gen_srt:控制是否生成对应的 srt 字幕文件。当 ignore_limit 为 true 时,audio_type 为 wav 可以返回字幕,其他类型不行。默认不生成字幕文件,生成字幕文件需额外付费,价格详情参考报价页。srt 文件地址通过 response header 返回。默认值:false,可选值:false/true。 merge_symbol:粗粒度合成参数,默认为 false。指定为 true 时,语气停顿更接近真人效果,merge_symbol 开启会导致 symbol_sil 参数无效。默认值:false,可选值:false/true。 srt_len:生成字幕的最大长度,中文字幕遇到特定符号会自动分句拆分字幕。 streaming:是否流式输出,默认为 false。指定为 true 时,ignore_limit 为 true 且 audio_type 不为 wav 时,接口流式输出。 Request Header 设置。 视频自动字幕工具推荐: 1. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 2. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,可自定义视频字幕样式。 3. Arctime:可对视频语音自动识别并转换为字幕,支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 4. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可根据自身需求选择。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-12-10
自动生成字幕的软件
以下是一些可以自动生成字幕的软件及相关信息: 在制作数字人视频时,可通过以下步骤生成字幕:点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。 以下是一些包含自动生成字幕功能的视频相关工具: veed.io:自动翻译自动字幕。 苹果发布的 Final Cut Pro 11:具有语音转字幕功能,可提高效率。
2024-12-09
自动生成字幕
以下是关于自动生成字幕的相关信息: 苹果发布的 Final Cut Pro 11 新增了多项 AI 功能,其中包括自动生成字幕,其特点是能够将语音转换为字幕,提高效率。 在实战中,制作数字人视频时,可以通过点击文本智能字幕识别字幕并开始识别的操作,软件会自动将文字智能分段并形成字幕。至此,数字人视频完成,可点击右上角“导出”按钮导出视频备用。
2024-12-09
我需要能够帮我找到能根据字幕对应视频剪辑到内容的工具
以下为您推荐一些能够根据字幕对应视频剪辑内容的工具: 1. 剪映:有很多人性化设计和简单的音效库、小特效。但无法协同工作和导出工程文件,难以达到更好的商业化效果。其剪辑流程包括视频粗剪、定剪、音效/音乐、特效、包装(如字幕)等环节。 2. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能翻译字幕并生成双语字幕,处理视频数量多,识别准确率高。 3. 绘影字幕:一站式专业视频自动字幕编辑器,提供字幕制作和翻译服务,支持多种语言,准确率高,可自定义字幕样式。 4. Arctime:能对视频语音自动识别并转换为字幕,支持自动打轴,支持主流平台和多种字幕功能。 5. 网易见外:国内知名语音平台,支持视频智能字幕功能和音频转写,转换正确率较高。 您可以根据自身需求选择适合的工具。
2024-11-21
什么软件可以自动给视频翻译并加字幕
以下是一些可以自动给视频翻译并加字幕的软件: 1. Opusclip:利用长视频剪成短视频。网址:https://www.opus.pro/ 2. Raskai:短视频素材直接翻译至多语种。网址:https://zh.rask.ai/ 3. invideoAI:输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。网址:https://invideo.io/make/aivideogenerator/ 4. descript:屏幕/播客录制>PPT 方式做视频。 5. veed.io:自动翻译自动字幕。网址:https://www.veed.io/ 6. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能对识别的字幕进行翻译,自动生成双语字幕。声称已处理 1.2 亿+视频,识别准确率接近 100%。 7. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务。支持 95 种语言,准确率高达 98%,可自定义视频字幕样式。 8. Arctime:对视频语音自动识别并转换为字幕,甚至支持自动打轴。支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 9. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可以根据自己的需求选择最适合您的视频自动字幕工具。请注意,部分内容由 AI 大模型生成,请仔细甄别。
2024-11-17
识别英文语音为字幕的工具
以下是一些识别英文语音为字幕的工具: 1. Whisper(https://github.com/openai/whisper):这是一个优秀的字幕处理工具,能很好地识别视频/音频中的语言。Medium 尺寸能很好地解决英文的问题,中文处理方面,据宝玉 xp 的说法,Large 尺寸效果会好一些。但仅处理成英文对母语是中文的绝大部分人来说不够,最好有纯中文或双语字幕。 2. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 3. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,可自定义字幕样式。 4. Arctime:可对视频语音自动识别并转换为字幕,支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 5. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可以根据自身需求选择最适合的视频自动字幕工具。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-17
2024年度中文大模型基准测评报告
以下是关于 2024 年度中文大模型基准测评报告的相关信息: 2024 年 7 月 10 日: 《SuperCLUE:中文大模型基准测评 2024 年上半年报告》指出,2024 年上半年中文大模型技术取得显著进展,国内外模型差距缩小至 5%以内。国内开源模型如 Qwen272B 表现优异,超越众多闭源模型。端侧小模型发展迅速,落地可行性大幅提升。该报告通过多维度、多层次测评体系,全面评估了大模型的通用能力和专项能力,为行业发展提供了客观数据支持。同时也指出,尽管大模型在多领域展现潜力,但仍面临技术挑战和应用落地问题。 2024 年 11 月 8 日: SuperCLUE 团队发布的新一期《SuperCLUE:中文大模型基准测评 2024 年 10 月报告》中有四点核心发现:1)OpenAI 发布 o1 后,全球大模型竞争加剧;2)国内大模型第一梯队竞争激烈,持续迭代表现不俗;3)国内外大模型在不同任务上表现各有优势;4)端侧小模型表现惊艳。 此外,Sora:大型视觉模型的背景、技术、局限性和机遇综述【官方论文】的参考文献包括: T.Shen,R.Jin,Y.Huang,C.Liu,W.Dong,Z.Guo,X.Wu,Y.Liu,和 D.Xiong,“大型语言模型对齐:一项调查”,arXiv 预印本 arXiv:2309.15025,2023 年。 X.Liu,X.Lei,S.Wang,Y.Huang,Z.Feng,B.Wen,J.Cheng,P.Ke,Y.Xu,W.L.Tam,X.Zhang,L.Sun,H.Wang,J.Zhang,M.Huang,Y.Dong,和 J.Tang,“Alignbench:大型语言模型中文对齐的基准测试”,2023 年。 P.Christiano,J.Leike,T.B.Brown,M.Martic,S.Legg,和 D.Amodei,“基于人类偏好的深度强化学习”,2023 年。 T.Yu,Y.Yao,H.Zhang,T.He,Y.Han,G.Cui,J.Hu,Z.Liu,H.T.Zheng,M.Sun,和 T.S.Chua,“RLHFV:通过细粒度校正人类反馈实现可信赖的 MLLMs 行为对齐”,2023 年。 M.S.Jahan 和 M.Oussalah,“使用自然语言处理进行仇恨言论自动检测的系统综述。”,《神经计算》,第 126232 页,2023 年。 OpenAI,“Sora 安全。”https://openai.com/sorasafety,2024 年。
2024-12-27
有什么可以把pdf直接翻译成中文的
以下是一些可以将 PDF 直接翻译成中文的方法和工具: 1. DeepL(网站): ,点击页面「翻译文件」按钮,上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译(浏览器插件): ,安装插件后,点击插件底部「更多」按钮,选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. calibre(电子书管理应用): ,下载并安装 calibre,并安装翻译插件「Ebook Translator」。 4. 谷歌翻译(网页): ,使用工具把 PDF 转成 Word,再点击谷歌翻译「Document」按钮,上传 Word 文档。 5. 百度翻译(网页): ,点击导航栏「文件翻译」,上传 PDF、Word、Excel、PPT、TXT 等格式的文件,支持选择领域和导出格式(不过进阶功能基本都需要付费)。 6. 彩云小译(App):下载后点击「文档翻译」,可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译(有免费次数限制且进阶功能需要付费)。 7. 微信读书(App):下载 App 后将 PDF 文档添加到书架,打开并点击页面上方「切换成电子书」,轻触屏幕唤出翻译按钮。 8. 浏览器自带的翻译功能:如果一些 PDF 太大,翻译工具不支持,除了将 PDF 压缩或者切分外,还可以转成 HTML 格式,然后使用浏览器自带的网页翻译功能。
2024-12-25
哪一个开源大语言模型对中文支持比较好?
以下是一些对中文支持较好的开源大语言模型: 1. OpenChineseLLaMA: 地址: 简介:基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,在众多下游任务中均取得了突出的成绩。 2. BELLE: 地址: 简介:开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型,同时包括训练数据、相关模型、训练代码、应用场景等,也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda: 地址: 简介:开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat: 地址: 5. Gemma7bit: 地址: 此外,AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一,在代码、生成与创作、上下文对话能力上排名国内前三,各项能力较为均衡,聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型,是中文开源模型的主导力量。
2024-12-20
中文播客生成
以下是关于中文播客生成的相关信息: NotebookLM 中文版平替:输入 url,生成中文播客,可一键发布小宇宙,开源地址为 https://github.com/lihuithe/podlmpublic 。 NotebookLlama:Meta 的播客生成教程,使用 Llama 模型从 PDF 中提取文本生成干净的.txt 文件,转化文本为播客转录创造富有创意的内容,对转录进行戏剧化处理提高互动性和吸引力,最终将文本转换为播客音频,支持多种 TTS 模型。详细介绍:https://xiaohu.ai/p/15036 ,GitHub:https://github.com/metallama/llamarecipes/tree/main/recipes/quickstart/NotebookLlama 。 此外,播客一词于 2004 年提出,由“iPod”“broadcast”两个词合并而成,多数围绕音乐、电台。AI 播客降低了播客的制作门槛,增加了内容的多样性,但也可能造成劣币驱逐良币和信息茧房效应加剧。综合来看,播客和短视频都属于泛娱乐类,区别在于注意力和知识密度体系。
2024-12-12
我想找一款AI应用,需求是将英文PDF翻译为中文pdf
以下是一些可以将英文 PDF 翻译为中文 PDF 的 AI 应用和方法: 1. DeepL(网站):点击页面「翻译文件」按钮,上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译(浏览器插件):安装插件后,点击插件底部「更多」按钮,选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. Calibre(电子书管理应用):下载并安装 calibre,并安装翻译插件「Ebook Translator」。 4. 谷歌翻译(网页):使用工具把 PDF 转成 Word,再点击谷歌翻译「Document」按钮,上传 Word 文档。 5. 百度翻译(网页):点击导航栏「文件翻译」,上传 PDF、Word、Excel、PPT、TXT 等格式的文件,支持选择领域和导出格式(不过进阶功能基本都需要付费)。 6. 彩云小译(App):下载后点击「文档翻译」,可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译(不过有免费次数限制且进阶功能需要付费)。 7. 微信读书(App):下载 App 后将 PDF 文档添加到书架,打开并点击页面上方「切换成电子书」,轻触屏幕唤出翻译按钮。 8. 浏览器自带的翻译功能:如果一些 PDF 太大,翻译工具不支持,除了将 PDF 压缩或者切分外,还可以转成 HTML 格式,然后使用浏览器自带的网页翻译功能。 内容由 AI 大模型生成,请仔细甄别。
2024-12-12
arxiv翻译成中文有哪些神器
以下是一些将 arxiv 翻译成中文的工具和方法: 1. 安装浏览器插件“沉浸式翻译(https://immersivetranslate.com)”,支持多种浏览器,多个翻译服务。将 arxiv PDF 论文原地址域名中的 x 更换成 5 即变成可访问的 HTML 版本链接,然后使用“沉浸式翻译”进行原文阅读。 2. 以下是 8 种翻译英文 PDF 为中文的方法,也适用于 arxiv 相关文档: DeepL(网站):点击页面「翻译文件」按钮,上传 PDF、Word 或 PowerPoint 文件即可。 沉浸式翻译(浏览器插件):安装插件后,点击插件底部「更多」按钮,选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML / TXT 文件」、「翻译本地字幕文件」 。 calibre(电子书管理应用):下载并安装 calibre,并安装翻译插件「Ebook Translator」 。 谷歌翻译(网页):使用工具把 PDF 转成 Word,再点击谷歌翻译「Document」按钮,上传 Word 文档。 百度翻译(网页):点击导航栏「文件翻译」,上传 PDF、Word、Excel、PPT、TXT 等格式的文件,支持选择领域和导出格式(不过进阶功能基本都需要付费了)。 彩云小译(App):下载后点击「文档翻译」,可以直接导入 PDF、PDF、Word、Excel、PPT、TXT、epub、srt 等格式的文档并开始翻译(不过有免费次数限制且进阶功能需要付费)。 微信读书(App):下载 App 后将 PDF 文档添加到书架,打开并点击页面上方「切换成电子书」,轻触屏幕唤出翻译按钮。 浏览器自带的翻译功能:如果一些 PDF 太大,翻译工具不支持,除了将 PDF 压缩或者切分外,还可以转成 HTML 格式,然后使用浏览器自带的网页翻译功能。
2024-12-07