本地运行 AI 语音克隆工具 GPT-SoVITS,超方便,超真实「Gpt890」

产品 2024-03-16 16:13 0


文本转语音已经很成熟了,例如剪映的朗读功能。

但这些工具提供的语音风格都是固定,你只能从中选择,如果你想要使用某个喜爱人物的声音,怎么办?

这就需要使用语音克隆,模拟你的目标语音风格。

GPT-SoVITS(github.com/RVC-Boss/GPT-SoVITS) 是一个开源的语音克隆项目,克隆效果很好,已经有 18.8k 的 star。

主要特点:

  • 极其方便,只需提供5秒的语音样本,就可以模仿这个样本的语音风格朗读指定的文本。
  • 可以训练微调,仅需 1 分钟的训练数据即可微调模型,提升声音相似度和真实感。
  • 操作简单,提供了 Web 界面。

下面以 Windows 系统为例,了解一下安装和使用过程。

安装

GPT-SoVITS 为 Windows 系统提供了安装包,下载地址:

https://huggingface.co/lj1995/GPT-SoVITS-windows-package/resolve/main/GPT-SoVITS-beta.7z?download=true

是 7z 压缩格式,需要你先安装好 7zip。

下载之后解压,里面有一个启动文件 go-webui.bat,双击即可启动 GPT-SoVITS 的 Web 操作界面。

使用

上图是启动之后的界面效果,点击导航标签中的 “1-GPT-SoVITS-TTS” 进行文本转语音操作。

进入后,这个页面有一个二级导航标签,点击其中的 “1C-推理” 标签。

进入后,选中 “是否开启TTS推理WebUI” 这一选项。

选中后,耐心等待几秒钟,会自动打开一个新的页面。

这个页面就是真正进行声音克隆和文本转语音的操作界面。

操作非常简单,一共就4步。

第一步,把你准备好的要克隆的语音样本上传上来。

需要注意的是,语音样本一定要在 3~10 秒,不能超过,否则会报错。还有,样本中的人声一定要清晰,不要模糊嘈杂,否则会大大影响克隆效果

第二步,把你要克隆的语音所对应的文本粘贴过来,这样 GPT-SoVITS 就可以校准语音样本的内容了。

第三步,输入你要朗读的文本。

第四步,开始语音合成。

上图是我上传和填写的示例,超级简单,而且合成的效果很好,我认为输出的声音效果能达到样本的 80%

性能

在我的示例中,输出的结果声音为9秒。

运行时间大概为7秒。

运行过程中我看了性能占用情况。

对 CPU 和内存的占用较小,主要是使用显卡,运行期间会有两三秒的峰值,把显卡占满。


GPT-SoVITS 克隆效果不错,安装操作都很简单,运行速度快。

对语音克隆、文本转语音有兴趣的话,推荐试试。

#语音克隆,#AI 人工智能,#GPT-SoVITS,#TTS,#gpt890