E2 TTS: el modelo que convirtió su propia sencillez en titular

La mayoría de los artículos de investigación sobre TTS empiezan con una cifra de benchmark. E2 TTS, de Microsoft, empezó con una afirmación sobre su propia arquitectura: «embarrassingly easy», es decir, «tan sencilla que resulta embarazosa». No es modestia publicitaria: ese es el nombre real del modelo, y su argumento es que se puede reducir un proceso de texto a voz casi a la mínima expresión y aun así obtener resultados de última generación. E2 TTS también es el antecesor directo de F5-TTS en investigación. Entender qué hizo y en qué se quedó corto explica por qué F5-TTS existe.

¿Qué es E2 TTS?

E2 TTS (abreviatura de Embarrassingly Easy TTS) es un sistema de texto a voz zero-shot totalmente no autorregresivo desarrollado por Microsoft Research. Se presentó en un artículo de 2024 con trece coautores, entre ellos el investigador principal Sefik Emre Eskimez. Su afirmación central, respaldada por los benchmarks del propio artículo, es que una arquitectura realmente mínima —formada por solo dos componentes— puede igualar o superar a sistemas TTS bastante más elaborados en naturalidad, similitud del hablante e inteligibilidad.

Esos dos componentes son un generador de espectrogramas mel basado en flow matching y un vocoder. Eso es todo el proceso. No hay un modelo de duración para predecir cuánto debe durar cada palabra. No hay un conversor de grafemas a fonemas que transforme el texto en unidades fonéticas. Tampoco hay una búsqueda de alineación monótona ni un mecanismo especializado de atención cruzada para sincronizar texto y audio. El texto se convierte sencillamente en una secuencia de caracteres y se completa con tokens de relleno hasta igualar la duración del audio objetivo, mientras el modelo aprende todo lo demás —ritmo, pronunciación y alineación— mediante el entrenamiento con una tarea de rellenado de audio.

Cómo funciona realmente el proceso «Embarrassingly Easy»

La elegancia es verdaderamente estructural, no una explicación simplificada de algo más complicado que se oculta por debajo. E2 TTS utiliza un Transformer convencional con conexiones de salto al estilo U-Net, entrenado mediante flow matching condicional, la misma familia general de técnicas empleada en varios modelos TTS posteriores cercanos a la difusión. Durante la inferencia, el modelo genera una secuencia de bancos de filtros mel muestreando la distribución aprendida durante el entrenamiento. Como el texto se rellena hasta alcanzar la longitud deseada en lugar de alinearse explícitamente en el tiempo, la duración objetivo de la salida puede fijarse de forma arbitraria, sin las restricciones de un predictor independiente.

El artículo también presentó dos variantes prácticas orientadas a la utilidad en el mundo real, no solo al rendimiento en benchmarks:

• E2 TTS X1 elimina la obligación de transcribir el audio de referencia, lo que simplifica el proceso de clonación cuando no se dispone de una transcripción.
• E2 TTS X2 añade indicaciones explícitas de pronunciación para palabras concretas, de modo que se pueda corregir o controlar cómo se pronuncia un término determinado. Esta función aborda el mismo problema práctico alrededor del cual modelos posteriores construirían sistemas completos de corrección.

Resultados en benchmarks

En el conjunto de prueba LibriSpeech-PC, E2 TTS registró una tasa de error de palabras del 1,9% y superó a referencias consolidadas como VALL-E, NaturalSpeech 3 y Voicebox en la evaluación comparativa del artículo. Las puntuaciones de similitud del hablante e inteligibilidad se presentaron como resultados de última generación o comparables a los mejores sistemas zero-shot anteriores. Es un resultado realmente notable si se tiene en cuenta toda la maquinaria que incorporaban esos sistemas rivales y que E2 TTS sencillamente no incluía.

Las dificultades de E2 TTS y lo que corrigió F5-TTS

El coste de ese minimalismo arquitectónico apareció durante el entrenamiento y el despliegue, no en la tabla de benchmarks. El sencillo método de relleno con tokens de E2 TTS hacía que el entrenamiento convergiera lentamente, y la alineación del texto con el audio generado no siempre era fiable. Saltarse alguna palabra o repetir una frase era un fallo conocido, el tipo de problema que dificulta desplegar un modelo con confianza en producción incluso cuando sus mejores cifras de benchmark parecen sólidas.

F5-TTS se creó directamente para resolverlo. Mantiene la idea central de E2 TTS —sin modelo de duración, sin alineador de fonemas y con relleno mediante tokens—, pero añade un paso de representación del texto con ConvNeXt V2 para mejorar de forma sustancial la fiabilidad de la alineación, además de una estrategia Sway Sampling durante la inferencia que aumenta tanto la velocidad como la robustez sin volver a entrenar. La relación entre ambos modelos es tan estrecha que el repositorio oficial de F5-TTS incluye un checkpoint E2TTS_Base reproducido fielmente junto a sus propios modelos. Así, los investigadores pueden comparar ambas arquitecturas directamente con el mismo código, en lugar de depender de comparaciones de benchmarks entre artículos distintos.

Cómo empezar con E2 TTS

Como el trabajo original de Microsoft sobre E2 TTS fue una publicación de investigación y no un lanzamiento público oficial del modelo, no existe un checkpoint oficial de Microsoft que se pueda descargar. Estas son las opciones prácticas disponibles actualmente:

1. Utiliza la reproducción incluida en el repositorio de F5-TTS. Ejecuta git clone https://github.com/SWivid/F5-TTS.git y después realiza la inferencia con --model E2TTS_Base en lugar de un checkpoint de F5. Es la forma más directa de escuchar una reproducción fiel y entrenada de la arquitectura sin tener que entrenarla por tu cuenta.
2. Utiliza la implementación independiente en PyTorch. pip install e2-tts-pytorch instala una implementación comunitaria creada desde cero, útil si quieres estudiar o modificar directamente la arquitectura en lugar de limitarte a ejecutar inferencias con un checkpoint preentrenado.
3. Prepárate para entrenar tus propios pesos al usar la implementación independiente. A diferencia del checkpoint E2TTS_Base listo para usar del repositorio de F5-TTS, el paquete independiente de PyTorch es principalmente un framework de entrenamiento. Miembros de la comunidad han comunicado entrenamientos multilingües (inglés + chino) satisfactorios, pero necesitarás tu propio conjunto de datos y capacidad de cálculo en lugar de descargar pesos ya entrenados.
4. Compáralo directamente con F5-TTS en el mismo hardware. Como ambos modelos están en el mismo repositorio y comparten un proceso de inferencia, ejecutar E2TTS_Base y un checkpoint de F5 consecutivamente con el mismo clip de referencia es la forma más rápida de oír las mejoras reales de alineación y robustez que aporta F5-TTS.

Consejos para trabajar con E2 TTS

• Trátalo como referencia para investigación y comparación, no como primera opción para producción. Debido a sus problemas conocidos de convergencia durante el entrenamiento y de robustez de la alineación, la mayoría de los equipos actuales utiliza E2 TTS para entender esta familia de arquitecturas o para compararse con él. F5-TTS es el descendiente más preparado para un despliegue real en producción.
• Aprovecha el comportamiento de la variante X1 si no tienes una transcripción del audio de referencia. La operación sin transcripción se diseñó específicamente como mejora de usabilidad, así que busca esa capacidad en la implementación que utilices en lugar de dar por hecho que siempre se necesita una transcripción.
• Vigila los fallos conocidos. Omitir alguna palabra o repetirla ocasionalmente es una característica documentada de esta arquitectura. Si te ocurre, se trata de una limitación conocida y no de un error de configuración por tu parte.
• Lee la licencia del checkpoint que uses realmente. La reproducción E2TTS_Base del repositorio de F5-TTS se entrenó con el mismo conjunto de datos Emilia que F5-TTS, por lo que hereda también su licencia no comercial CC-BY-NC.

E2 TTS frente a F5-TTS

La aportación real de E2 TTS fue demostrar el concepto: un proceso realmente mínimo y sin alineador podía alcanzar una calidad zero-shot de última generación. F5-TTS tomó esa prueba de concepto y la convirtió en algo que realmente querrías ejecutar en producción.

Preguntas frecuentes

¿Qué significa «E2» en E2 TTS?

Significa «Embarrassingly Easy», una referencia a lo mínima que es la arquitectura del modelo en relación con los resultados que consigue, no la abreviatura de un término técnico más largo.

¿Quién desarrolló E2 TTS?

E2 TTS fue desarrollado por investigadores de Microsoft y se presentó en un artículo de 2024 encabezado por Sefik Emre Eskimez junto a otros doce coautores.

¿Puedo descargar de Microsoft los pesos oficiales del modelo E2 TTS?

No. El lanzamiento original de Microsoft fue un artículo de investigación con muestras de audio, no un checkpoint público. Hoy se puede acceder de forma práctica mediante el checkpoint E2TTS_Base, reproducido fielmente dentro del repositorio de F5-TTS en GitHub, o entrenando por tu cuenta la implementación independiente e2-tts-pytorch.

¿Qué relación existe entre E2 TTS y F5-TTS?

F5-TTS se construyó directamente sobre el enfoque central de E2 TTS —sin modelo de duración, sin alineador de fonemas y con relleno mediante tokens— para corregir específicamente la lenta convergencia del entrenamiento y los problemas de robustez de la alineación de E2 TTS. Para ello utiliza una arquitectura base Diffusion Transformer, representación del texto con ConvNeXt V2 y Sway Sampling.

¿E2 TTS permite clonar voces?

Sí. Por diseño, es un sistema TTS zero-shot capaz de generar la voz de cualquier hablante a partir de un clip de referencia; la variante X1 elimina específicamente la obligación de transcribir ese audio de referencia.

Convierte texto en voz con Echora

Para un flujo en el navegador con un objetivo similar, utiliza Texto a voz de Echora. Introduce hasta 5.000 caracteres, elige una voz integrada o una voz personalizada guardada, añade etiquetas de interpretación compatibles cuando las necesites y ajusta la estabilidad. Después podrás escuchar el resultado y descargar el MP3 terminado.

Crear voz desde texto →