作者： fbs

首先克隆源代码

git clone https://github.com/vllm-project/vllm.git

在每个worker上安装依赖

cd vllm && pip install -r requirements-tpu.txt

安装库

sudo apt-get update && sudo NEEDRESTART_MODE=a apt-get install libopenblas-base libopenmpi-dev libomp-dev -y

安装vllm

cd vllm && VLLM_TARGET_DEVICE=”tpu” python setup.py develop

开启ray头节点

ray start –head –port=6379

其他worker连接头节点

ray start –address=’xx.xx.xx.xx:6379′

启动openai兼容api server

python3 -m vllm.entrypoints.openai.api_server –host=0.0.0.0 –port=8000 –tensor-parallel-size=芯片数量(4或8 由于有40个head因此此选项只能说4或8) –model=Qwen/QwQ-32B –trust-remote-code

设想的工作流

实际

hf demo都炸了，没人管的说是

Diffusion TTS如F5-TTS拥有强大的zero-shot能力，能够很好的模仿参考音频的节奏和音色，可控性极强，生成速度快，但是算力要求巨大。

基于Continuous Token的AR TTS模型，如Mell-E ，算力要求在Diffusion和离散AR之间，属于一种折中选择。

基于Discrete Token的AR TTS模型，如VALL-E，训练要求很高，需要大量数据进行训练，推理性能要求最低。

如果我们能够使用一个Diffusion TTS模型，或者一个AR + Diffusion的混合模型作为teacher模型，利用算力合成大量优质的音频。

用一个算力要求较低的NAR或者AR模型作为student模型，学习teacher模型的优秀性能。就能够实现用较低算力合成优质的音频。

项目地址： https://github.com/flyingblackshark/MaxTTS-Mel.git

实现了Mel输入和采样

难点：

• 数据集较大，生成的mel占用了大量空间，收费较高。
• 对结束位置预测较为困难，需要大量训练
• 难以解决重复生成问题，相对于VQ型TTS来说
• 相对于VQ型，量化比较困难，如何提高模型速度需要研究

优点：

• 制作数据集简单，容易输入模型进行训练。
• 生成质量较高
• 采样需要的GPU性能较低