项目简介

这份内容介绍了实时语音克隆的技术实现，作者通过将说话者验证技术转移到多说话人文本到语音合成（SV2TTS）来实现语音克隆。SV2TTS使用深度学习框架，分为三个阶段，通过音频创建声音的数字表示，然后用这个表示来合成任意文本的语音。作者推荐了一些其他的语音克隆解决方案，并提供了安装和配置的指南。

简要总结：这份内容介绍了实时语音克隆技术的实现，使用SV2TTS框架和波形神经网络进行多说话人的文本到语音合成。作者提供了安装和配置的步骤，并推荐了其他语音克隆解决方案。

该存储库是使用实时工作的声码器实现从说话者验证到多说话者文本到语音合成 (SV2TTS) 的迁移学习的实现。这是我的硕士论文。

SV2TTS是一个分为三个阶段的深度学习框架。在第一阶段，人们从几秒钟的音频中创建声音的数字表示。在第二和第三阶段，该表示被用作参考来生成给定任意文本的语音。

安装

1. 安装要求

Windows 和 Linux 均受支持。建议使用 GPU 来进行训练和推理速度，但这不是强制性的。

1 推荐使用Python 3.7。Python 3.5 或更高版本应该可以工作，但您可能必须调整依赖项的版本。我建议使用 venv 设置虚拟环境，但这是可选的。

2 安装 ffmpeg。这是读取音频文件所必需的。

3 安装 PyTorch。选择最新的稳定版本、您的操作系统、包管理器（默认为 pip），如果您有 GPU，最后选择任何建议的 CUDA 版本，否则选择 CPU。运行给定的命令。

4 使用 pip install -r requirements.txt 安装其余要求

2.（可选）下载预训练模型

现在会自动下载预训练模型。如果这不适合您，您可以在此处手动下载它们。

3.（可选）测试配置

在下载任何数据集之前，您可以通过以下方式开始测试您的配置：

python demo_cli.py

如果所有测试都通过，那么您就可以开始了。

4.（可选）下载数据集

对于单独使用工具箱，我只建议下载 LibriSpeech/train-clean-100 。将内容提取为 <datasets_root>/LibriSpeech/train-clean-100 ，其中 <datasets_root> 是您选择的目录。工具箱支持其他数据集，请参阅此处。您可以不下载任何数据集，但是您将需要自己的数据作为音频文件，或者您必须使用工具箱录制它。

5.启动工具箱

然后您可以尝试工具箱：

python demo_toolbox.py -d <datasets_root>
或者
python demo_toolbox.py

取决于您是否下载了任何数据集。如果您正在运行 X 服务器或者遇到错误 Aborted (core dumped) ，请参阅此问题

项目链接

https://github.com/CorentinJ/Real-Time-Voice-Cloning

出自：https://mp.weixin.qq.com/s/UAZ-SswZVp9VrXCy9vtLYw