音频克隆的开源项目很多，但是每次项目里要用的时候，总还是惦记着11labs的api。

要是开源的效果足够好，哪怕是达到11labs 80%的效果，我是肯定不会愿意付那美金再跑回来赚那辛苦钱。

上海交大开源的F5-TTS实测下来确实是还不错了。

不敢说他比11labs好，毕竟11labs做了那么久优化的确实已经很好了，但是F5-TTS的效果肯定可以说是还不错了。

又一个达到商用效果的开源来了！只是别被缅北拿去就好。

项目简介

F5-TTS是一款基于流匹配的全非自回归文本到语音转换系统。不需要复杂的设计如持续时间模型、文本编码器和音素对齐，能够快速训练并实现实时因素（RTF）0.15的推理速度，显著优于当前基于扩散的TTS模型。F5-TTS在公共的100K小时多语言数据集上进行训练，展现出高自然性和表现力的零样本能力、无缝代码切换能力和速度控制效率。项目提出了一种推理时的摇摆采样策略，显著提高了模型的性能和效率。

技术亮点

1、全非自回归架构：

• 传统的文本到语音(TTS)系统多使用自回归模型，这种模型一次生成一个音频片段，处理速度较慢。
• F5-TTS采用全非自回归模型，能够并行处理整个语音合成任务，显著提高了处理速度和效率。

2、流匹配技术：

• F5-TTS中采用了先进的流匹配技术，这是一种基于最优传输路径的方法，用于改进生成模型的学习过程。
• 该技术允许模型更精确地模拟目标数据的分布，从而提高合成语音的自然性和准确性。

3、Diffusion Transformer（DiT）的应用：

• F5-TTS利用了Diffusion Transformer，这是一种结合了扩散模型的Transformer结构，专门用于处理生成任务中的对齐和数据生成问题。
• DiT可以在保持文本到语音合成高质量的同时，提供更快的响应时间和更低的资源消耗。

4、Sway Sampling策略：

• 在推理时，F5-TTS引入了Sway Sampling策略，这是一种新颖的采样方法，用于在模型的流步骤中更有效地选择样本。
• 这种方法可以进一步提升语音生成的自然度和可理解性，同时保持与原始文本的高度一致性。

5、简化的训练流程：

• 相比传统模型，F5-TTS不需要复杂的组件如持续时间预测器、文本编码器或音素对齐模块。
• 这种简化大大降低了模型的复杂性，使得训练过程更快，同时降低了对计算资源的需求。

6、高性能和多语言支持：

• F5-TTS在公共的100K小时多语言数据集上进行训练，展示了其对多种语言的高自然处理能力。
• 该模型支持无缝的代码切换能力和速度控制，使其在多样化的应用场景中表现出色。

项目链接

https://www.dongaigc.com/p/SWivid/F5-TTS/?a=123