NaturalSpeech: el modelo que definió el «nivel humano» antes de afirmar que lo había alcanzado

«Suena casi como una persona» llevaba años siendo una frase de marketing en el ámbito de la TTS antes de que alguien intentara precisar qué debería significar realmente, de una forma que pudiera ponerse a prueba y no solo afirmarse. NaturalSpeech, desarrollado por Microsoft Research Asia y Microsoft Azure Speech, hizo primero ese trabajo de base —definir la calidad de nivel humano como una afirmación concreta y medible estadísticamente— y después construyó un sistema diseñado para alcanzar de verdad ese umbral, en lugar de partir de un objetivo de marketing y trabajar hacia atrás.

¿Qué es NaturalSpeech?

NaturalSpeech es un sistema integral de síntesis de texto a forma de onda que genera audio directamente a partir de texto mediante un autoencoder variacional (VAE), en vez de pasar por un modelo acústico y un vocoder entrenados por separado, como hacían muchas cadenas anteriores. Sin embargo, donde más se distingue no es solo en la arquitectura: antes de proponer el modelo en sí, la investigación estableció primero una definición rigurosa y comprobable de lo que debería significar la «calidad de nivel humano» para un sistema de TTS, así como una metodología para juzgar realmente si un sistema determinado la alcanza.

Definir la «calidad de nivel humano» como una prueba real, no como un eslogan

Esta es la aportación más distintiva de NaturalSpeech, y merece una reflexión porque cambió la manera en que investigaciones posteriores sobre TTS comunicaron sus resultados. La definición propuesta fue la siguiente: un sistema de TTS alcanza una calidad de nivel humano en un conjunto de prueba dado si no existe una diferencia estadísticamente significativa entre las puntuaciones de calidad de la voz generada y las de las correspondientes grabaciones humanas reales, medida mediante una prueba formal de hipótesis sobre puntuaciones de opinión media comparativas (CMOS).

Al aplicar ese umbral de forma retrospectiva, la investigación descubrió que varios sistemas de TTS anteriormente celebrados —pese a que sus propios artículos los describían como cercanos al nivel humano— no habían superado en realidad esta prueba concreta y rigurosa. NaturalSpeech se construyó específicamente para cerrar esa brecha restante, no para mejorar la voz solo de forma marginal frente al sistema anterior en una comparación relativa.

Cuatro decisiones de diseño detrás del resultado

La arquitectura de NaturalSpeech basada en VAE se articula en torno a un problema concreto: la distribución «previa» aprendida a partir del texto y la distribución «posterior» aprendida de la voz real difieren mucho por naturaleza en cuanto a complejidad, y ese desajuste es una fuente importante de la brecha de calidad entre la voz sintetizada y la real. Cuatro elementos de diseño trabajan conjuntamente para cerrarla:

• Preentrenamiento de fonemas. Un codificador de fonemas se preentrena sobre un gran corpus de texto mediante modelado de lenguaje enmascarado aplicado a secuencias de fonemas —un planteamiento conceptualmente similar a cómo BERT se preentrena con texto—, lo que proporciona al modelo un punto de partida más sólido para entender la estructura fonética antes de ver cualquier audio emparejado.
• Modelado diferenciable de la duración. Como la temporización es especialmente importante en la TTS no autorregresiva, NaturalSpeech emplea lo que sus autores denominan un «durator»: un componente de modelado de duración diseñado para ser totalmente diferenciable, que permite que los gradientes lo atraviesen durante el entrenamiento integral, en lugar de tratar la duración como una tarea secundaria optimizada por separado.
• Modelado bidireccional previo/posterior. La distribución posterior (derivada de voz real) funciona a nivel de frame, mientras que la previa (derivada del texto) opera en el nivel más grueso del fonema; NaturalSpeech modela la relación entre ambas en los dos sentidos, específicamente para reducir la diferencia de complejidad que las separa.
• Un mecanismo de memoria en el VAE. Un componente de memoria añadido aporta al modelo capacidad adicional para conservar y utilizar información relevante durante todo el proceso de generación, en vez de depender únicamente de la representación latente inmediata en cada paso.

En conjunto, estas decisiones reducen la carga en ambos lados del VAE —simplifican lo que debe representar la distribución posterior y, a la vez, refuerzan lo que la previa puede generar únicamente a partir del texto—, lo que constituye la estrategia central para cerrar la brecha con las grabaciones humanas en lugar de limitarse a aumentar el tamaño del modelo.

El resultado del benchmark

Al evaluarse en LJSpeech, un conjunto de datos de un solo hablante ampliamente utilizado, la evaluación CMOS de NaturalSpeech no mostró ninguna diferencia estadísticamente significativa respecto a las grabaciones humanas reales de referencia, por lo que alcanzó exactamente el umbral que su propia investigación acababa de definir. Conviene precisar el alcance: este resultado corresponde a un conjunto de referencia de un solo hablante y calidad de estudio; no es una afirmación sobre cualquier voz capturada en condiciones reales ni sobre generación zero-shot con varios hablantes. Ese es precisamente el problema más difícil que el trabajo posterior de Microsoft, NaturalSpeech 2, se diseñó para abordar mediante un enfoque de difusión latente.

Primeros pasos con NaturalSpeech

Como sucede con otros proyectos de investigación de voz de Microsoft, el código oficial y los pesos preentrenados de NaturalSpeech no se publicaron junto con el artículo. Lo que existe en su lugar es una reimplementación comunitaria en PyTorch:

1. Utiliza la reimplementación comunitaria. El proyecto heatz123/naturalspeech de GitHub ofrece una implementación funcional en PyTorch construida a partir de la arquitectura descrita en el artículo, e incluye muestras de demostración procedentes de sus propios entrenamientos.
2. Cuenta con entrenar tu propio modelo. Como ocurre con la mayoría de las reproducciones comunitarias de proyectos publicados solo como investigación, esto suele implicar preparar tu propio conjunto de datos y proceso de entrenamiento, en lugar de descargar un checkpoint terminado y listo para usar.
3. Compara directamente sus decisiones de diseño con VITS si conoces esa arquitectura. La documentación de la propia reimplementación presenta varios de sus componentes —el preentrenamiento de fonemas, el durator diferenciable y la división entre la distribución posterior a nivel de frame y la previa a nivel de fonema— como diferencias concretas respecto a VITS, un punto de referencia útil si ya conoces esa arquitectura.
4. Toma LJSpeech como benchmark inicial natural. Dado que es el conjunto de datos usado en la evaluación de la investigación original, constituye la forma más directa de comparar los resultados de tu propio entrenamiento con las afirmaciones publicadas.

Consejos para entender NaturalSpeech y trabajar con él

• Mantén la afirmación de calidad de nivel humano dentro de su alcance correcto. Es un resultado concreto y sometido a una prueba estadística en un conjunto de referencia de un solo hablante: una afirmación verdaderamente rigurosa, pero no una prueba de que se obtenga el mismo rendimiento con varios hablantes, zero-shot o audio real con ruido, un problema considerablemente más difícil.
• Estudia por separado los cuatro componentes de la arquitectura si investigas en este ámbito. Cada uno se dirige a una parte distinta del desajuste de complejidad entre las distribuciones previa y posterior; entenderlos individualmente —en lugar de tratarlos como una sola mejora indiferenciada— resulta más útil si quieres adaptar ideas similares en otro lugar.
• No esperes un checkpoint preentrenado oficial. Como Microsoft no publicó ninguno, reserva tiempo de entrenamiento si quieres reproducir esta arquitectura o desarrollar directamente sobre ella, en vez de dar por sentado que existe un atajo.
• Consulta NaturalSpeech 2 si tu caso de uso necesita capacidad zero-shot o para varios hablantes. El NaturalSpeech original se construyó y evaluó específicamente para síntesis de un solo hablante con calidad de estudio; ampliar el sistema a hablantes diversos y datos capturados en condiciones reales fue el problema concreto que la continuación se diseñó para abordar con una arquitectura diferente.

NaturalSpeech frente a la TTS no autorregresiva de su época

La aportación perdurable de NaturalSpeech tiene menos que ver con su arquitectura concreta y más con la disciplina que introdujo: convertir «nivel humano» en una afirmación que se pone a prueba en vez de una que simplemente se formula, un estándar que después influyó en la forma de presentar los resultados tanto de sus propios sucesores como de buena parte de la investigación posterior sobre TTS.

Preguntas frecuentes

¿Qué significa específicamente «calidad de nivel humano» en la investigación de NaturalSpeech?

Es una afirmación definida formalmente y comprobable mediante estadística: un sistema de TTS alcanza una calidad de nivel humano en un conjunto de prueba si no existe una diferencia estadísticamente significativa entre las puntuaciones de calidad de la voz generada y las de las grabaciones humanas reales, según una prueba de hipótesis CMOS.

¿NaturalSpeech superó realmente su propia prueba?

Sí, concretamente en el conjunto de referencia LJSpeech de un solo hablante: su evaluación CMOS no mostró una diferencia estadísticamente significativa respecto a las grabaciones humanas reales de ese conjunto de prueba.

¿Puedo descargar de Microsoft los pesos oficiales del modelo NaturalSpeech?

No. Microsoft no publicó código oficial ni pesos preentrenados para el NaturalSpeech original. Existe una reimplementación comunitaria en PyTorch (heatz123/naturalspeech), pero por lo general requiere entrenar tu propio modelo en lugar de descargar un checkpoint terminado.

¿En qué se diferencia NaturalSpeech de NaturalSpeech 2?

El NaturalSpeech original es un sistema basado en VAE centrado en la síntesis de un solo hablante con calidad de estudio y evaluado para ella. NaturalSpeech 2 aborda un problema más difícil —la síntesis de voz con varios hablantes, zero-shot y en condiciones reales— mediante un enfoque de difusión latente con un códec de audio neuronal.

¿NaturalSpeech es autorregresivo o no autorregresivo?

No autorregresivo. Su diseño integral basado en VAE genera la forma de onda completa sin la generación secuencial token a token que emplean modelos autorregresivos como los primeros sistemas de TTS basados en modelos de lenguaje de códecs.

Convierte texto en voz con Echora

Para un flujo en el navegador con un objetivo similar, utiliza Texto a voz de Echora. Introduce hasta 5.000 caracteres, elige una voz integrada o una voz personalizada guardada, añade etiquetas de interpretación compatibles cuando las necesites y ajusta la estabilidad. Después podrás escuchar el resultado y descargar el MP3 terminado.

Crear voz desde texto →