以下是为您生成饱含情感的中文语音的相关信息:
在制作包含简短对话的 AI 短片时,声音部分通常在传统影视制作中有多个流程,如现场录音、后期配音、音效音乐制作等。对于 AI 声音制作对话,相当于后期配音。比如将中文台词谷歌翻译成英文后,需进行英文字幕校对与台词润色形成配音稿。使用 11labs 进行对白制作时,其英文效果较好,但存在声音没有情绪和情感的问题。只能通过标点符号如,、……。!等来改变语音效果,且常常需要生成十几二十段音频来找到合适的声音。国内可以使用出门问问的魔音工坊,它有情绪调节控件。
另外,阿里云最新开源模型 FunAudioLLM 有情感表达语音生成的功能,例如在 Sad 情感下,有“等你熬过那些孤独无助的时刻,你才会发现,原来自己并没有想象中那么脆弱。原来一个人,也可以活成千军万马的模样。”等表述;在 Happy 情感下,有“小丽抿着嘴,弓着腰,蹑手蹑脚地,一步一步慢慢地靠近它。靠近了,靠近了,又见她悄悄地将右手伸向蝴蝶,张开的两个手指一合,夹住了粉蝶的翅膀。小丽高兴得又蹦又跳。”等表述。
在剪辑方面,对于 1-3 分钟的短片,剪映更方便;更长篇幅或追求更好效果可能需要使用 PR/FCP/达芬奇等传统剪辑软件。
[title]前Sora时代我最想做的AI短片——使用Pika、Pixverse、Runway、SVD四大AI视频工具这次我们尝试使用了一些简短对话的制作。通常在传统影视制作流程里,声音部分的制作会分为现场录音、后期配音、音效音乐制作等多个部分。这里用AI声音来制作对话相当于是后期配音的部分。我们会把中文台词谷歌翻译成英文,但我英语比较拉垮,所以找了非常专业的Azura Ge葛女士进行英文字幕校对与台词润色,形成配音稿。接着使用AI声音软件11labs(官网:https://elevenlabs.io/)进行对白制作,11labs的英文效果比较好,但我们仍然非常头疼地遇到了AI声音没有情绪和情感的问题。跟视频制作类似,需要不断地抽卡(反复生成),因为11labs无法使用语速、情绪调节等控件,我们只能通过标点符号去改变语音效果,比如使用,、……。!等等标点符号,有时会叠加不同标点符号,去试它的语音效果。同一句台词,大家可以听出不同标点和抽不同卡时,声音的情绪都不太一样,所以要在AI声音里调试到合适的声音,抽声音卡的难度其实并不亚于抽视频的难度……我们常常一句台词要生成十几二十段音频,才能找到稍微能听得过去的、自然的声音。国内的可以使用出门问问的魔音工坊。魔音工坊可以使用情绪调节控件,还比较友好,但具体的评测还得等我们有机会做中文短片再试试!第五步,剪辑上篇剪辑没有多说,这次我会多说一些。目前大部分AI短片的创作者用的都是剪映,我也是,因为短片1-3分钟,用剪映其实会比传统剪辑软件更方便一些。但更长的篇幅,比如可能到5-10分钟,或者10分钟以上,要更好的效果的话,还是避免不了可能要用PR/FCP/达芬奇等等传统剪辑软件。
[title]阿里云最新开源模型——FunAudioLLM[heading2]Emotionally Expressive Voice Generation|Emotion|Generated 1|Generated 2|<br>|-|-|-|<br>|Neutral|<br>我是通义实验室语音团队全新推出的生成式语音大模型,提供舒适自然的语音合成能力。|<br>西红柿炒鸡蛋是一道简单又经典的家常菜。|<br>|Sad|<br>等你熬过那些孤独无助的时刻,你才会发现,原来自己并没有想象中那么脆弱。原来一个人,也可以活成千军万马的模样。|<br>我可以安慰很多人,但就是不能安慰自己那颗千疮百孔的心。总有一些人会慢慢淡出你的生活。你要学会接受,而不是怀念。有些事。不管我们如何努力,回不去就是回不去了。我们漫长的岁月中有太多的过客,有太多的无奈。|<br>|Happy|<br>小丽抿着嘴,弓着腰,蹑手蹑脚地,一步一步慢慢地靠近它。靠近了,靠近了,又见她悄悄地将右手伸向蝴蝶,张开的两个手指一合,夹住了粉蝶的翅膀。小丽高兴得又蹦又跳。|<br>除夕晚上,儿子孙子都来到她身边,她满脸皱纹都舒展开了,就像盛开的菊花瓣,每根皱纹里都洋溢着笑意。|