Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

人声提取

Answer

以下是关于人声提取的详细教程:

基于 Sovits 的声音训练及推理

  1. 准备数据集:主程序安装完成后,替换补丁,直接复制粘贴,无需双击运行。安装完成后的界面,可将左下角控件移到最左边以调整视图。
  2. 去混响:按照图中箭头所示点击顺序,通过调整增加减少和伪影平滑的数值来优化效果,以耳朵感受为准,预听合适后点击渲染应用到整首歌。
  3. 去杂音:非主人公的声音,如一次性出现的,选中对应音轨右键渲染静音;重复出现且有相似性的,选中查找类似后右键静音。若杂音和主音难以智能提取,可直接去掉这段主音,或用 ripx 软件精修。
  4. 相关资源:
    • 软件及模型下载链接:
      • 百度网盘:https://pan.baidu.com/s/1ClBvqlnA1cONVs8YU-ldcw?pwd=5mrs 提取码:5mrs
      • Github 链接:https://github.com/Anjok07/ultimatevocalremovergui/
      • 百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码:hjhj
    • 处理声音的软件:
      • iZotope RX 用于去掉混响和杂音,安装时记得勾选 vst3 和 aax。链接:https://pan.baidu.com/s/1NX-h67SViKm39zT08U7-zg?pwd=kmhd 提取码:kmhd

ACE Studio 入门教程及工作流分享: 使用干声转换时,在软件中分别导入人声干声和伴奏[文件-导入-导入音频],放在两个轨道上。注意男歌女唱或女歌男唱时,导入前先进行变调。常用的前期音频素材准备工具:

  1. TME Studio:腾讯音乐开发的 AI 音频工具箱,常用音频分离功能,可用于将人声和伴奏从歌曲中提取出来。地址:https://y.qq.com/tme_studio/index.html#/editor
  2. Vocalremover:包含音频分离、变调、BPM 查询等功能,常用变调和 BPM 查询。建议在准备素材阶段,就将音频调整到所需调,并获取到 BPM。地址:https://vocalremover.org/zh/key-bpm-finder
Content generated by AI large model, please carefully verify (powered by aily)

References

实战教程:基于 Sovits 的声音训练及推理

主程序安装完成后,替换补丁,是直接复制粘贴,不需要双击运行安装完成后,界面如下,打开你提取的人声,左下角的控件移动到最左边,让图形更加清爽(这一步对声音没有任何处理,仅是调整视图)去混响:点击顺序如图中箭头所示,通过增加减少和伪影平滑的数值来调整效果,我这里没有标准数值,以耳朵为准,点击预听感受效果,如果效果合适,点击渲染,应用到整首歌。去杂音:这里的杂音是指非主人公的声音,比如经常出现的掌声,笑声,欢呼声,如果这种杂音只出现一次,那么选中对应的音轨,右键-渲染-静音即可,如果是重复出现,并且有一定的相似性,那么可以选中这一段音轨,然后查找类似,然后右键-静音如果杂音和主音柔和在一起,无法智能提取,一般有2个思路,一个是,直接去掉这段主音,因为我们需要收集的声音量很多,去掉一两句影响不大,如果精益求精,可以用下面这个软件精修ripx,对声音进行精修(也可以用来提取音轨,伴奏等等,需要动手能力强)链接:https://pan.baidu.com/s/1ClBvqlnA1cONVs8YU-ldcw?pwd=5mrs提取码:5mrs

实战教程:基于 Sovits 的声音训练及推理

b站教程:https://www.bilibili.com/video/BV1ga411S7gP/?spm_id_from=333.788.video.desc.click&vd_source=35e62d366d8173e12669705f7aedd122Github链接:https://github.com/Anjok07/ultimatevocalremovergui/百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj提取码:hjhj这里的模型一定要下载,软件本体只预装了部分模型,模型的安装比较简单,拷贝就行,详情请看网盘里的说明。界面是这个样子,选择好输入输出路径,选择模型,提取人声的最佳模型是mdx-net,然后选择uvr-mdx-netmain提取伴奏用VR,但是训练不需要伴奏,可以忽略这一步,只是顺便提一下,后期合成mv的话,是需要推理后的声音和伴奏剪辑到一起的。提取出来的声音一般来说还需要精细的处理,去掉杂音、和声和混响,达到俗称“干声”的效果这里介绍2个软件来处理声音iZotope RX,用来去掉混响和杂音链接:https://pan.baidu.com/s/1NX-h67SViKm39zT08U7-zg?pwd=kmhd提取码:kmhd安装的时候,记得把vst3和aax勾上,否则后面找不到对应的文件夹

张吃吃:AI歌手| ACE Studio入门教程及工作流分享

使用干声转换,我们需要在软件中分别导入人声干声和伴奏[文件-导入-导入音频],放在两个轨道上。干声是用来转成MIDI做AI演唱的。如下图所示:注意,如果是男歌女唱或者女歌男唱,请在导入前先进行变调后再导入(不会变调的看下方工具推荐)。通常女声比男声高5个key左右,不绝对,大家根据听感测试调整即可。有两个工具我在进行前期音频素材准备时较常用:TME Studio腾讯音乐开发的AI音频工具箱,其中我最常用的是音频分离,可用于将人声和伴奏从歌曲中提取出来。地址:https://y.qq.com/tme_studio/index.html#/editorVocalremover包含音频分离、变调、BPM查询等功能,我使用较多的是变调和BPM查询。建议在准备素材阶段,就将音频调整到所需调,并获取到BPM。地址:https://vocalremover.org/zh/key-bpm-finder

Others are asking
AI人声提取
以下是关于 AI 人声提取的相关信息: 在游戏 PV《追光者》的制作中,利用了一款分离人声的 AI 软件,对游戏宣传音乐进行人声去除和剪辑处理。同时,使用微软 AI 语音制作旁白,其语音库支持 147 种语言,还有定制声音选项。 以下是一些人工智能音频初创公司及相关工具: :免费的 DAW,提供高质量的人声、鼓点、旋律、贝斯分离、全能音频分离、编辑和人声/乐器转 MIDI 功能。 :AI 音频处理。 :在音乐/视频流媒体和虚拟/增强现实中重新定义音频体验。 :为音乐行业提供按需创建音轨的平台。 :为娱乐行业提供音频分离解决方案。 :在几秒钟内将任何歌曲的人声和音乐分离。 :基于世界排名第一的 AI 技术的高质量音轨分离。 :使用强大的 AI 算法免费将歌曲中的人声与音乐分离。 :使用 HiFi AI 分离歌曲中的人声、鼓点、贝斯和其他乐器。 :为 DJ 歌手提供的在线 AI 人声移除器。 :人声移除和在线卡拉 OK。 :使用多种不同算法(Demucs、MDX、UVR 等)免费分离歌曲。 2024 年 6 款最佳 AI 人声消除器: :AudiFab 应用程序内的免费工具,运用人工智能技术将歌曲中的音乐分离成人声和伴奏,音频质量上乘,支持 Windows 和 Mac 系统。 :EaseUS 在线人声消除器,专为网络用户设计的免费工具,允许用户从音频文件中提取人声和伴奏,使用简单。 :能够分离人声、乐器等音轨,保持音频质量,支持批量处理,适用于个人和商业用途,包含声音清洁器可消除杂音。
2025-01-21
哪些AI可以实现,把视频中的人声换成另外一个人的
以下是一些可以实现把视频中的人声换成另外一个人的 AI 工具和技术: 1. VoiceSwap 推出的 StemSwap 工具:这是一个基于浏览器的工具,允许用户从完全混音的曲目中轻松快速地更改人声。它可以将歌曲分成四部分,隔离人声,并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音,并下载完整混音或各个音轨。链接:https://www.voiceswap.ai/ 2. 深度伪造技术:利用 AI 程序和深度学习算法实现音视频模拟和伪造,投入深度学习的内容库越大,合成的视音频真实性越高。 3. 粉丝通过 Stems 音轨分离工具将人声与原始歌曲分离,再使用人声转换模型(如 DiffSVC)将人声转换成另一位明星的风格,然后将新的人声轨道与原始作品重新拼接在一起。 4. ViggleAI:由一支 15 人团队打造,核心能力是将视频中的角色替换成其他形象。其视频工具背后依赖自家训练的 3D 视频模型「JST1」,能够根据一张角色图片生成 360 度角色动画,可以进行更可控的视频生成。目前支持 Discord 访问和网页版访问,Discord 平台已经积累了超 400 万用户。网页版访问:https://www.viggle.ai/ 官方推特:https://x.com/ViggleAI
2024-11-20
请问当前有哪些好用的ai模拟人声的工具
以下为一些好用的 AI 模拟人声的工具: 1. Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 2. Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种平台的应用使用,能将文本转换为音频文件。 3. Azure AI Speech Studio:https://speech.microsoft.com/portal ,是一套服务,赋予应用程序“听懂、理解并与客户进行对话”的能力。 此外,还有一些用于视频配音效的 AI 工具: 1. Wavel Studio:支持 30 多种语言的配音,音质自然流畅,能自动去除背景噪音和杂音,提供添加字幕和文本叠加层的工具,界面友好且有多种自定义选项。 2. Elai.io:支持 65 多种语言的配音,音色和语调真实,能自动将唇形与语音同步,生成字幕提高视频可访问性,支持多位配音者适合复杂对话场景。 3. Rask AI:支持 130 多种语言的配音,包括稀有和濒危语言,采用先进语音合成技术音质高保真,提供语音参数自定义和音效添加工具,与多种视频编辑平台和工作流程整合。 4. Notta:提供快速实惠的多语言配音解决方案,保留原声说话风格和细微差别,提供调整语音速度和音调的工具,支持批量处理高效完成多视频配音。 5. Dubverse:支持 60 多种语言的配音,音质接近真人,提供文本转语音和语音克隆功能,提供语音参数自定义和情感添加工具。 更多相关工具可访问 WaytoAGI 的工具网站:https://www.waytoagi.com/sites/category/50 。请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2024-08-20
人声分离
人声分离是指将混合在一起的声音信号中的人声部分和背景音乐部分分离开来的过程。它是一种音频处理技术,常用于音乐制作、音频编辑、语音识别等领域。以下是一些关于人声分离的常见方法和技术: 1. 基于音频信号处理的方法:这种方法通常使用滤波器、音频特效等技术来对音频信号进行处理,以分离出人声部分和背景音乐部分。这种方法的优点是速度快,适用于实时处理,但分离效果可能不够理想。 2. 基于机器学习的方法:这种方法使用机器学习算法,如神经网络、支持向量机等,来对音频信号进行学习和分类,以分离出人声部分和背景音乐部分。这种方法的优点是分离效果好,但需要大量的训练数据和计算资源。 3. 基于深度学习的方法:这种方法使用深度学习算法,如卷积神经网络(CNN)、循环神经网络(RNN)等,来对音频信号进行学习和分类,以分离出人声部分和背景音乐部分。这种方法的优点是分离效果好,适用于复杂的音频信号,但需要大量的训练数据和计算资源。 总的来说,人声分离是一项复杂的技术,需要结合多种方法和技术来实现最佳的分离效果。同时,随着人工智能技术的不断发展,人声分离技术也在不断地提高和改进。
2024-05-22
分离音频多种人声和杂音的软件有哪些
分离音频中的多种人声和杂音是一个复杂的音频处理任务,通常涉及到音频工程中的源分离(source separation)技术。以下是一些可以用来尝试分离音频中不同声音的软件和工具: 1. Audacity:一个免费的开源音频编辑软件,可以用于音频的多种处理任务,包括尝试分离人声和伴奏。虽然它没有直接的分离人声功能,但通过频谱编辑和滤波器可以尝试达到一定的分离效果。 2. Adobe Audition:这是一个专业的音频处理软件,提供了先进的音频编辑功能,包括频谱编辑和声音修复工具,可以用来尝试分离和处理音频中的不同元素。 3. iZotope RX:iZotope RX是一款强大的音频修复软件,它的音乐复生模块可以用于分离音频中的人声和乐器。 4. Spleeter:由Deezer开发的工具,专门用于音频源分离,可以将音频分离成不同的音轨,如人声、鼓声、贝斯等。 5. AU Effects:这是一系列音频处理插件,其中一些插件可以帮助分离和处理音频中的不同成分。 6. Melodyne:一个音频编辑软件,它能够非常精确地编辑音频,包括分离和处理人声。 7. REAPER:这是一个数字音频工作站(DAW),提供了广泛的音频处理插件和脚本,可以用来尝试分离音频中的不同声音。 8. Ableton Live:这是一个专业的DAW,它提供了一些工具和插件,可以帮助用户尝试分离音频中的不同元素。 9. Logic Pro:苹果公司开发的DAW,它包含了一系列的音频编辑工具,可以用来处理和分离音频。 10. Pro Tools:这是一个行业标准的音频制作软件,它提供了高级的声音编辑功能,包括频谱编辑,可以用来尝试分离音频中的不同声音。 请注意,尽管这些工具可以辅助音频分离,但完美分离音频中的所有声音,特别是当它们在频谱上有重叠时,仍然是一个挑战。此外,分离的质量也受到原始音频质量的影响。在某些情况下,可能需要专业的音频工程师进行手动调整和优化。
2024-04-23
大模型下文档投喂后,大模型是如何解读文档提取出答案?
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤: 1. 问题解析阶段:接收并预处理问题,通过嵌入模型(如 Word2Vec、GloVe、BERT)将问题文本转化为向量,以确保问题向量能有效用于后续检索。 2. 知识库检索阶段:知识库中的文档同样向量化后,比较问题向量与文档向量,选择最相关的信息片段,并抽取相关信息传递给下一步骤。 3. 信息整合阶段:接收检索到的信息,与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答:整合后的信息被转化为向量并输入到 LLM(大语言模型),模型逐词构建回答,最终输出给用户。 在这个过程中还包括以下信息处理步骤: 1. 信息筛选与确认:系统会对检索器提供的信息进行评估,筛选出最相关和最可信的内容,同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余:识别和去除多个文档或数据源中可能存在的重复信息,以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射:分析不同信息片段之间的逻辑和事实关系,如因果、对比、顺序等,构建一个结构化的知识框架,使信息在语义上更加连贯。 4. 上下文构建:将筛选和结构化的信息组织成一个连贯的上下文环境,包括对信息进行排序、归类和整合,形成一个统一的叙述或解答框架。 5. 语义融合:在必要时,合并意义相近但表达不同的信息片段,以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段:整合好的上下文信息被编码成适合生成器处理的格式,如将文本转化为适合输入到生成模型的向量形式。 最终,全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息,大语言模型相当于同时拿到了问题和参考答案,通过 LLM 的全文理解,最后生成一个准确和连贯的答案。 相关概念: LLM:Large language model 的缩写,即大语言模型。 Prompt:中文译作提示词,是输入给大模型的文本内容,可以理解为和大模型说的话、下达的指令。 Token:大模型语言体系中的最小单元,不同厂商的大模型对中文文本的切分方法不同,通常 1Token≈12 个汉字,大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文:英文通常翻译为 context,指对话聊天内容前、后的内容信息,上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
有AI工具可以帮我把视频里的文字内容提取吗
以下是一些可以帮助您提取视频里文字内容的 AI 工具和方法: 1. 对于 B 站视频,如果视频有字幕,您可以安装油猴脚本。安装之后,刷新浏览器,点击字幕,会出现“下载”按钮,您可以选择多种字幕格式,然后将下载的字文字内容全选复制发送给 GPTs 进行总结。 2. 如果您想用 AI 把小说做成视频,大致流程如下: 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-22
有哪些AI工具可以提取歌词
以下是一些可以提取歌词的 AI 工具: Suno:在做 hiphop 时存在咬字太清楚等问题,可通过替换拟音歌词和手动断句等方法解决部分问题。 AIMS:人工智能驱动的音乐相似性搜索和自动标记,适合以音乐发现为业务的人。 FeedForward:用于音频和声音目录的直观音频搜索引擎。 Aimi:发现将音乐从歌曲和播放列表束缚中解放出来的艺术家。 Utopia Music:每次播放公平报酬。 Musiio(被 SoundCloud 收购):使用人工智能帮助自动化工作流程。 niland(被 Spotify 收购):构建人工智能驱动的音乐应用程序。 cyanite:用于音乐标记和相似性搜索的人工智能。 musicube(被 SongTradr 收购):B2B AI 音乐元数据服务,例如自动标记、元数据丰富和语义搜索。 Musixmatch:基于歌词的音乐发现、推荐和搜索的算法和工具。 hoopr:人工智能驱动的引擎可帮助找到正确的配乐。 Pex:音乐识别和版权合规性,包括音频指纹、大规模翻唱识别。 SONOTELLER:AI 音乐分析,包括歌词摘要、主题提取和音乐特征。
2025-01-18
想用coze做一个可以提取上传pdf文档相关内容的智能体,请给我思路
以下是使用 Coze 做一个可以提取上传 PDF 文档相关内容的智能体的思路: 前期准备: 1. 简化“收集”: 实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。 考虑到待阅读内容通常都有网页链接,最理想的方式是只需输入一个 URL 就能完成收集。借鉴微信文件传输助手的直观操作方式,通过聊天窗口完成收集输入会更符合用户习惯。 2. 自动化“整理入库”: 为便于存储和回顾已收集的阅读清单,系统应在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 同时,这份阅读清单最好也能支持跨平台查看,提高可访问性。 3. 智能“选择”推荐: 根据当前收藏记录,结合用户的阅读兴趣,进行相关性匹配,并生成最合适的阅读计划。 逐步搭建 AI 智能体: 1. 搭建整理入库工作流: 新建工作流「url2table」,根据弹窗要求自定义工作流信息。 工作流全局流程设置: 开始节点:输入 url,由于希望收到用户输入的待收藏 url 就开始流程,所以不需要额外配置(至于如何判断哪些用户输入是需要收藏的 url,则交由外层 bot 的大模型判断)。 变量节点:引入 bot 变量中保存的飞书多维表格地址,为了便于维护充当稍后读存储地址的飞书多维表格链接,我们需要将这个链接存储在 bot 的变量中,并在工作流运行时进行引用。 插件节点:获取页面内容,这一步直接把开始节点的{{BOT_USER_INPUT}},引入到参数{{url}}中;随便设置{{timeout}}为 60000。 通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出,由 Coze 调用大模型、插件,完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据。这样一来,理论上无需开发任何插件、APP,也能实现跨平台的稍后读收集与智能阅读计划的推荐。
2025-01-17
怎样从图片提取文字
从图片提取文字可以通过以下几种方式: 1. 借助 OCR 工具:对于图片,可以使用开放平台工具,如进行文本提取。 2. 利用多模态技术:多模态技术能够从图像中提取文本,例如谷歌 Gemini 多模态模型。 3. 零代码版本工作流:选择 Coze 平台,搭建工作流,主要步骤包括上传输入图片、理解图片信息并提取其中的文本内容、进行场景提示词优化或图像风格化处理,最后返回文本或图像结果。搭建流程时,要将本地图片转换为在线 OSS 存储的 URL,将图片理解大模型和图片 OCR 封装为工作流插件以便便捷调用。
2025-01-14