Guías sobre modelos de voz con IA de código abierto y populares, y cómo probar capacidades comparables en Echora.
GPT-SoVITS clona una voz con solo 1 minuto de audio, o con 5 segundos en modo zero-shot, destaca especialmente en chino y japonés e incluye un conjunto completo de herramientas WebUI.
VALL-E 2 incorpora a VALL-E el muestreo consciente de repeticiones y el modelado de códigos agrupados, y según los resultados alcanza el nivel humano en pruebas de referencia de clonación de voz zero-shot.
VALL-E X es la extensión interlingüística de VALL-E desarrollada por Microsoft: clona una voz en un idioma para que hable con fluidez en otro e incorpora control del acento.
VALL-E es el modelo de lenguaje con códec neuronal de Microsoft que trata el habla como tokens discretos, igual que GPT trata el texto, y clona una voz a partir de una muestra de audio de 3 segundos.
StyleTTS 2 utiliza difusión para muestrear el estilo de habla sin necesidad de audio de referencia y, según se afirma, supera en naturalidad a las grabaciones humanas en el conjunto LJSpeech.
StyleTTS separa el estilo del habla del contenido mediante AdaIN y un codificador de estilo específico, lo que aporta prosodia y forma de expresión controlables a la TTS no autorregresiva.
Bark es el modelo generativo open source de texto a audio de Suno que añade risas, suspiros y música mediante sencillas etiquetas entre corchetes, publicado bajo licencia MIT.
Tortoise TTS es un modelo multivoz open source con licencia Apache 2.0 que combina un Transformer autorregresivo con diffusion para lograr una calidad de audio excepcional, aunque lentamente.
XTTS-v2 es el modelo de Coqui para clonación de voz zero-shot que abarca 17 idiomas con solo un clip de 6 segundos y sigue siendo un referente pese al cierre de Coqui en 2024.
E2 TTS es el sistema TTS zero-shot «Embarrassingly Easy» de Microsoft, tan sencillo que resulta embarazoso. Usa flow matching sin modelo de duración ni alineador y es el antecesor directo de F5-TTS en investigación.
F5-TTS es un modelo TTS no autorregresivo basado en flow matching y en un Diffusion Transformer que clona voces en segundos, con un factor de tiempo real (RTF) de solo 0,15.
Fish Speech es el TTS open source expresivo de Fish Audio, con clonación zero-shot, ajuste fino mediante LoRA y etiquetas de emoción integradas como [whisper] y [angry].
