直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

人声提取

回答

以下是关于人声提取的详细教程:

基于 Sovits 的声音训练及推理

  1. 准备数据集:主程序安装完成后,替换补丁,直接复制粘贴,无需双击运行。安装完成后的界面,可将左下角控件移到最左边以调整视图。
  2. 去混响:按照图中箭头所示点击顺序,通过调整增加减少和伪影平滑的数值来优化效果,以耳朵感受为准,预听合适后点击渲染应用到整首歌。
  3. 去杂音:非主人公的声音,如一次性出现的,选中对应音轨右键渲染静音;重复出现且有相似性的,选中查找类似后右键静音。若杂音和主音难以智能提取,可直接去掉这段主音,或用 ripx 软件精修。
  4. 相关资源:
    • 软件及模型下载链接:
      • 百度网盘:https://pan.baidu.com/s/1ClBvqlnA1cONVs8YU-ldcw?pwd=5mrs 提取码:5mrs
      • Github 链接:https://github.com/Anjok07/ultimatevocalremovergui/
      • 百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码:hjhj
    • 处理声音的软件:
      • iZotope RX 用于去掉混响和杂音,安装时记得勾选 vst3 和 aax。链接:https://pan.baidu.com/s/1NX-h67SViKm39zT08U7-zg?pwd=kmhd 提取码:kmhd

ACE Studio 入门教程及工作流分享: 使用干声转换时,在软件中分别导入人声干声和伴奏[文件-导入-导入音频],放在两个轨道上。注意男歌女唱或女歌男唱时,导入前先进行变调。常用的前期音频素材准备工具:

  1. TME Studio:腾讯音乐开发的 AI 音频工具箱,常用音频分离功能,可用于将人声和伴奏从歌曲中提取出来。地址:https://y.qq.com/tme_studio/index.html#/editor
  2. Vocalremover:包含音频分离、变调、BPM 查询等功能,常用变调和 BPM 查询。建议在准备素材阶段,就将音频调整到所需调,并获取到 BPM。地址:https://vocalremover.org/zh/key-bpm-finder
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

实战教程:基于 Sovits 的声音训练及推理

主程序安装完成后,替换补丁,是直接复制粘贴,不需要双击运行安装完成后,界面如下,打开你提取的人声,左下角的控件移动到最左边,让图形更加清爽(这一步对声音没有任何处理,仅是调整视图)去混响:点击顺序如图中箭头所示,通过增加减少和伪影平滑的数值来调整效果,我这里没有标准数值,以耳朵为准,点击预听感受效果,如果效果合适,点击渲染,应用到整首歌。去杂音:这里的杂音是指非主人公的声音,比如经常出现的掌声,笑声,欢呼声,如果这种杂音只出现一次,那么选中对应的音轨,右键-渲染-静音即可,如果是重复出现,并且有一定的相似性,那么可以选中这一段音轨,然后查找类似,然后右键-静音如果杂音和主音柔和在一起,无法智能提取,一般有2个思路,一个是,直接去掉这段主音,因为我们需要收集的声音量很多,去掉一两句影响不大,如果精益求精,可以用下面这个软件精修ripx,对声音进行精修(也可以用来提取音轨,伴奏等等,需要动手能力强)链接:https://pan.baidu.com/s/1ClBvqlnA1cONVs8YU-ldcw?pwd=5mrs提取码:5mrs

实战教程:基于 Sovits 的声音训练及推理

b站教程:https://www.bilibili.com/video/BV1ga411S7gP/?spm_id_from=333.788.video.desc.click&vd_source=35e62d366d8173e12669705f7aedd122Github链接:https://github.com/Anjok07/ultimatevocalremovergui/百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj提取码:hjhj这里的模型一定要下载,软件本体只预装了部分模型,模型的安装比较简单,拷贝就行,详情请看网盘里的说明。界面是这个样子,选择好输入输出路径,选择模型,提取人声的最佳模型是mdx-net,然后选择uvr-mdx-netmain提取伴奏用VR,但是训练不需要伴奏,可以忽略这一步,只是顺便提一下,后期合成mv的话,是需要推理后的声音和伴奏剪辑到一起的。提取出来的声音一般来说还需要精细的处理,去掉杂音、和声和混响,达到俗称“干声”的效果这里介绍2个软件来处理声音iZotope RX,用来去掉混响和杂音链接:https://pan.baidu.com/s/1NX-h67SViKm39zT08U7-zg?pwd=kmhd提取码:kmhd安装的时候,记得把vst3和aax勾上,否则后面找不到对应的文件夹

张吃吃:AI歌手| ACE Studio入门教程及工作流分享

使用干声转换,我们需要在软件中分别导入人声干声和伴奏[文件-导入-导入音频],放在两个轨道上。干声是用来转成MIDI做AI演唱的。如下图所示:注意,如果是男歌女唱或者女歌男唱,请在导入前先进行变调后再导入(不会变调的看下方工具推荐)。通常女声比男声高5个key左右,不绝对,大家根据听感测试调整即可。有两个工具我在进行前期音频素材准备时较常用:TME Studio腾讯音乐开发的AI音频工具箱,其中我最常用的是音频分离,可用于将人声和伴奏从歌曲中提取出来。地址:https://y.qq.com/tme_studio/index.html#/editorVocalremover包含音频分离、变调、BPM查询等功能,我使用较多的是变调和BPM查询。建议在准备素材阶段,就将音频调整到所需调,并获取到BPM。地址:https://vocalremover.org/zh/key-bpm-finder

其他人在问
哪些AI可以实现,把视频中的人声换成另外一个人的
以下是一些可以实现把视频中的人声换成另外一个人的 AI 工具和技术: 1. VoiceSwap 推出的 StemSwap 工具:这是一个基于浏览器的工具,允许用户从完全混音的曲目中轻松快速地更改人声。它可以将歌曲分成四部分,隔离人声,并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音,并下载完整混音或各个音轨。链接:https://www.voiceswap.ai/ 2. 深度伪造技术:利用 AI 程序和深度学习算法实现音视频模拟和伪造,投入深度学习的内容库越大,合成的视音频真实性越高。 3. 粉丝通过 Stems 音轨分离工具将人声与原始歌曲分离,再使用人声转换模型(如 DiffSVC)将人声转换成另一位明星的风格,然后将新的人声轨道与原始作品重新拼接在一起。 4. ViggleAI:由一支 15 人团队打造,核心能力是将视频中的角色替换成其他形象。其视频工具背后依赖自家训练的 3D 视频模型「JST1」,能够根据一张角色图片生成 360 度角色动画,可以进行更可控的视频生成。目前支持 Discord 访问和网页版访问,Discord 平台已经积累了超 400 万用户。网页版访问:https://www.viggle.ai/ 官方推特:https://x.com/ViggleAI
2024-11-20
请问当前有哪些好用的ai模拟人声的工具
以下为一些好用的 AI 模拟人声的工具: 1. Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 2. Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种平台的应用使用,能将文本转换为音频文件。 3. Azure AI Speech Studio:https://speech.microsoft.com/portal ,是一套服务,赋予应用程序“听懂、理解并与客户进行对话”的能力。 此外,还有一些用于视频配音效的 AI 工具: 1. Wavel Studio:支持 30 多种语言的配音,音质自然流畅,能自动去除背景噪音和杂音,提供添加字幕和文本叠加层的工具,界面友好且有多种自定义选项。 2. Elai.io:支持 65 多种语言的配音,音色和语调真实,能自动将唇形与语音同步,生成字幕提高视频可访问性,支持多位配音者适合复杂对话场景。 3. Rask AI:支持 130 多种语言的配音,包括稀有和濒危语言,采用先进语音合成技术音质高保真,提供语音参数自定义和音效添加工具,与多种视频编辑平台和工作流程整合。 4. Notta:提供快速实惠的多语言配音解决方案,保留原声说话风格和细微差别,提供调整语音速度和音调的工具,支持批量处理高效完成多视频配音。 5. Dubverse:支持 60 多种语言的配音,音质接近真人,提供文本转语音和语音克隆功能,提供语音参数自定义和情感添加工具。 更多相关工具可访问 WaytoAGI 的工具网站:https://www.waytoagi.com/sites/category/50 。请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2024-08-20
人声分离
人声分离是指将混合在一起的声音信号中的人声部分和背景音乐部分分离开来的过程。它是一种音频处理技术,常用于音乐制作、音频编辑、语音识别等领域。以下是一些关于人声分离的常见方法和技术: 1. 基于音频信号处理的方法:这种方法通常使用滤波器、音频特效等技术来对音频信号进行处理,以分离出人声部分和背景音乐部分。这种方法的优点是速度快,适用于实时处理,但分离效果可能不够理想。 2. 基于机器学习的方法:这种方法使用机器学习算法,如神经网络、支持向量机等,来对音频信号进行学习和分类,以分离出人声部分和背景音乐部分。这种方法的优点是分离效果好,但需要大量的训练数据和计算资源。 3. 基于深度学习的方法:这种方法使用深度学习算法,如卷积神经网络(CNN)、循环神经网络(RNN)等,来对音频信号进行学习和分类,以分离出人声部分和背景音乐部分。这种方法的优点是分离效果好,适用于复杂的音频信号,但需要大量的训练数据和计算资源。 总的来说,人声分离是一项复杂的技术,需要结合多种方法和技术来实现最佳的分离效果。同时,随着人工智能技术的不断发展,人声分离技术也在不断地提高和改进。
2024-05-22
分离音频多种人声和杂音的软件有哪些
分离音频中的多种人声和杂音是一个复杂的音频处理任务,通常涉及到音频工程中的源分离(source separation)技术。以下是一些可以用来尝试分离音频中不同声音的软件和工具: 1. Audacity:一个免费的开源音频编辑软件,可以用于音频的多种处理任务,包括尝试分离人声和伴奏。虽然它没有直接的分离人声功能,但通过频谱编辑和滤波器可以尝试达到一定的分离效果。 2. Adobe Audition:这是一个专业的音频处理软件,提供了先进的音频编辑功能,包括频谱编辑和声音修复工具,可以用来尝试分离和处理音频中的不同元素。 3. iZotope RX:iZotope RX是一款强大的音频修复软件,它的音乐复生模块可以用于分离音频中的人声和乐器。 4. Spleeter:由Deezer开发的工具,专门用于音频源分离,可以将音频分离成不同的音轨,如人声、鼓声、贝斯等。 5. AU Effects:这是一系列音频处理插件,其中一些插件可以帮助分离和处理音频中的不同成分。 6. Melodyne:一个音频编辑软件,它能够非常精确地编辑音频,包括分离和处理人声。 7. REAPER:这是一个数字音频工作站(DAW),提供了广泛的音频处理插件和脚本,可以用来尝试分离音频中的不同声音。 8. Ableton Live:这是一个专业的DAW,它提供了一些工具和插件,可以帮助用户尝试分离音频中的不同元素。 9. Logic Pro:苹果公司开发的DAW,它包含了一系列的音频编辑工具,可以用来处理和分离音频。 10. Pro Tools:这是一个行业标准的音频制作软件,它提供了高级的声音编辑功能,包括频谱编辑,可以用来尝试分离音频中的不同声音。 请注意,尽管这些工具可以辅助音频分离,但完美分离音频中的所有声音,特别是当它们在频谱上有重叠时,仍然是一个挑战。此外,分离的质量也受到原始音频质量的影响。在某些情况下,可能需要专业的音频工程师进行手动调整和优化。
2024-04-23
类器官图像特征提取和分析软件
以下是关于类器官图像特征提取和分析软件的相关信息: LORA 是一种能够提炼图片特征的工具,在画风、人物、物品、动作姿态等方面都能固定下来。它与 Embedding 的区别在于体量,LORA 文件通常有几十上百兆,承载信息量远大于只有几十 kb 的 Embedding,尤其在还原真人物品时,LORA 的细节精度更高。下载的 LORA 放在根目录的【……\\models\\Lora】文件夹下,使用时点击红色小书,找到 LORA 选项卡加载,注意作者使用的大模型,通常配套使用效果最佳,同时可能需要加入特定触发词保证正常使用。 Hypernetworks 主要针对画风训练,可像 LORA 一样加载,文件放在根目录的【…\\models\\hypernetworks】文件夹下,使用时同样点击红色小书找到 Hypernetworks 选项卡加载。 当下载了很多模型、Embedding、Hypernetworks 和 LORA 后,由于文件后缀名几乎相同(包括.pt/.safetensors/.ckpt 等),无法通过后缀名区分,可将文件拖到秋叶大佬整理的网站 https://spell.novelai.dev/ 查看文件类型及应放置的文件夹。
2024-11-21
如何将视频中的音乐提取出来
以下是关于提取视频中音乐的相关信息: 音乐类型与视频类型的匹配: 严肃适用场景:政府宣传片、企业宣传片,推荐乐器:交响乐、管弦乐。 时尚动感适用场景:品牌宣传片、网络广告,推荐乐器:电子音乐、打击乐。 怀旧适用场景:纪录片、情感驱动的视频,推荐乐器:口琴、手风琴。 感性适用场景:任何可能触动情感的场景,推荐乐器:吉他、钢琴。 儿童适用场景:儿童节目、教育内容,推荐乐器:轻快乐器、偏向诙谐。 音乐来源与版权: 版权音乐的获取方式:购买版权音乐、使用免费版权库。 版权音乐网站推荐:Audio Network,网址:https://www.audionetwork.com/track/searchkeyword?facets=ProductionGenres_children 、Premium Beat 。 实战教程:基于 Sovits 的声音训练及推理 准备数据集:百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码:hjhj 。 选择好输入输出路径,选择模型,提取人声的最佳模型是 mdxnet,提取伴奏用 VR 。 介绍 2 个处理声音的软件:iZotope RX ,用来去掉混响和杂音。链接:https://pan.baidu.com/s/1NXh67SViKm39zT08U7zg?pwd=kmhd ,提取码:kmhd 。安装时记得把 vst3 和 aax 勾上,主程序安装完成后,替换补丁直接复制粘贴。 用 Noisee 制作 MV : 加入 Noisee 的 Discord 邀请链接:https://discord.com/invite/ESDaEPGDDe 。 提供音乐给 Noisee :键入/imagine,输入音乐 URL 并发送命令。Noisee 支持来自 Suno、Youtube 和 Soundcloud 的 URL 。如果使用 mp3 文件,使用命令/url 并将文件发送到uploadfileurl 通道,Noisee bot 将返回文件的 URL 。 将 Noisee 添加到服务器:找到@Noisee Bot 的个人资料,然后单击添加 APP ,添加到服务器即可。 优化视频: 添加时间参数:如果要在音乐中指定一个片段,请输入时间参数。例如:<01:0001:30> 。 风格一致性:可以将图像链接作为参考图片,如果是本地图片请使用/url 命令,视频将匹配图片的风格。 不同平台不同比例:默认支持 YouTube 的 16:9 格式。如果要上传到其他平台可以根据平台选择合适的比例。
2024-11-19
将视频的图片和声音提取出来用什么工具
以下是一些可以用于提取视频图片和声音的工具及方法: 1. 提取视频帧:可以使用 OpenCV 从视频中提取帧。 2. 处理和讲述视频:可以利用 GPT 的视觉功能和 TTS API。 3. 制作小说视频: 小说内容分析:使用 AI 工具如 ChatGPT 提取关键场景、角色和情节。 生成角色与场景描述:使用工具如 Stable Diffusion 或 Midjourney 生成视觉描述。 图像生成:使用 AI 图像生成工具创建图像。 视频脚本制作:将关键点和生成的图像组合成脚本。 音频制作:利用 AI 配音工具如 Adobe Firefly 转换语音,添加背景音乐和音效。 视频编辑与合成:使用视频编辑软件如 Clipfly 或 VEED.IO 合成视频。 后期处理:对视频进行剪辑、添加特效和转场。 审阅与调整:根据需要调整。 输出与分享:完成编辑后输出并分享。 4. 声音训练及推理:基于 Sovits 进行训练。 准备数据集:百度网盘:https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码:hjhj 处理提取的声音:使用 iZotope RX 去掉混响和杂音。链接:https://pan.baidu.com/s/1NXh67SViKm39zT08U7zg?pwd=kmhd 提取码:kmhd 安装时记得勾选 vst3 和 aax。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2024-11-14
哪款AI能高效提取文章/文件的核心信息?
以下是一些能够高效提取文章或文件核心信息的 AI 工具: 1. 文献管理和搜索方面: Zotero:结合 AI 技术,可自动提取文献信息,助力管理和整理参考文献。 Semantic Scholar:由 AI 驱动的学术搜索引擎,能提供文献推荐和引用分析。 2. 内容生成和辅助写作方面: Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,提升语言质量。 Quillbot:基于 AI 的重写和摘要工具,可精简和优化内容。 3. 研究和数据分析方面: Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于数据分析和可视化。 Knitro:用于数学建模和优化的软件,助力复杂数据分析和模型构建。 此外,在收集和整理资料方面,可利用以下工具和方法: 1. 收集资料: 如使用 Perplexity.AI 的强大搜索功能,还可启用 Pro 功能获取更专业深入的结果。也可使用微软的 Bing 搜索引擎等具备联网搜索功能的工具,快速搜集大量相关资料。 2. 整理资料: 可使用月之暗面开发的 Kimi 这个 AI 会话助手,分批次提供资料以克服其阅读能力限制,让其整理资讯内容。 需要注意的是,使用这些工具时,应结合自身写作风格和需求,选择最合适的辅助工具。同时,内容由 AI 大模型生成,请仔细甄别。
2024-11-14
推荐一个视频文案提取的AI工具
以下为您推荐几个视频文案提取的 AI 工具: 1. Reccloud:这是一个免费的在线 AI 字幕生成工具,能直接上传视频进行精准识别,还能对识别的字幕进行翻译,自动生成双语字幕。它宣称已处理 1.2 亿+视频,识别准确率接近 100%。 2. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务。支持 95 种语言,准确率高达 98%,还能自定义视频字幕样式,包括字体、颜色、大小、位置等。 3. Arctime:可对视频语音自动识别并转换为字幕,甚至支持自动打轴。支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 4. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可根据自身需求选择最适合的视频自动字幕工具。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-08
用哪个ai可以将图片中的公示提取出来
目前常见的能够提取图片中公式的 AI 工具包括但不限于以下几种: 1. 一些专门的 OCR(光学字符识别)工具,它们经过训练可以识别图片中的文字和公式,并将其转换为可编辑的文本格式。 2. 部分具有图像识别和文本处理能力的综合性 AI 平台,可能具备提取图片中公式的功能。 需要注意的是,不同工具的识别准确率和适用场景可能会有所差异,您可以根据具体需求进行选择和尝试。
2024-11-07