VALL-E X: una frase de entrada, cualquier idioma de salida

VALL-E demostró que un clip de 3 segundos bastaba para clonar una voz dentro de un mismo idioma. La siguiente pregunta era evidente, pero más difícil: ¿podría ese mismo clip breve hacer que alguien hablara un idioma que nunca ha hablado de verdad? VALL-E X, la continuación interlingüística de Microsoft, responde que sí: toma una frase de un hablante monolingüe y genera habla natural y fluida con esa misma voz en un idioma totalmente distinto, sin necesitar en ningún momento grabaciones de esa persona hablando realmente ese idioma.

¿Qué es VALL-E X?

VALL-E X es un modelo interlingüístico de lenguaje con códec neuronal, presentado por investigadores de Microsoft como una extensión directa de la arquitectura original de VALL-E. Hereda la capacidad central de aprendizaje en contexto de VALL-E —la posibilidad de captar una voz a partir de un prompt breve sin entrenamiento adicional— y la amplía específicamente a la generación entre idiomas. Para ello, se entrena con datos de voz multilingües, de gran escala, con múltiples hablantes y procedentes de varios dominios.

El resultado práctico es el siguiente: proporciona una frase en el idioma nativo de un hablante y VALL-E X generará habla con esa misma voz en un idioma de destino, conservando la identidad vocal, el tono emocional e incluso el entorno acústico presente en el clip original. No hacen falta grabaciones emparejadas del hablante en los dos idiomas; el modelo no necesita haber oído nunca a esa persona concreta hablar el idioma de destino.

Cómo funciona realmente la transferencia entre idiomas

El mecanismo es una extensión natural del enfoque de fonemas y tokens acústicos de VALL-E, adaptado al caso de varios idiomas. VALL-E X recibe secuencias de fonemas derivadas tanto del texto de origen como del texto de destino, además de los tokens acústicos del hablante original —extraídos de su clip de referencia mediante un códec de audio neuronal—, y usa todo ello como un prompt combinado para generar tokens acústicos en el idioma de destino. Después, esos tokens de salida se decodifican para obtener una onda de voz real, del mismo modo que en la arquitectura original de VALL-E.

El entrenamiento no exige datos emparejados de los mismos hablantes en distintos idiomas. En su lugar, el modelo aprende de un conjunto de datos multilingüe en el que se concatenan secuencias de fonemas y tokens acústicos de diferentes idiomas, junto con una señal de ID de idioma que le indica qué idioma debe generar en cada momento. Ese mecanismo de ID de idioma también aporta a VALL-E X una segunda capacidad más lúdica: controlar deliberadamente el acento. Por ejemplo, puede generar habla en chino con un marcado acento inglés, o al revés, en vez de buscar únicamente un resultado que suene totalmente nativo.

Conserva algo más que la voz

Al igual que el VALL-E original, trabajar con tokens acústicos reales en lugar de una representación abstracta del hablante permite que VALL-E X transfiera algo más que la identidad vocal al cambiar de idioma: el tono emocional y el entorno acústico del clip de origen también suelen persistir en el resultado en el idioma de destino. Es un detalle práctico importante para usos como el doblaje o la localización de contenido, donde perder la interpretación emocional de una persona al cambiar de idioma frustraría el propósito de emplear su voz real.

Cómo se evaluó VALL-E X

La evaluación de Microsoft utilizó LibriSpeech junto con los conjuntos de datos EMIME y AISHELL-3 para probar la generación inglés-chino en las dos direcciones: generar habla en inglés a partir de hablantes chinos y habla en chino a partir de hablantes ingleses. Los resultados comunicados demostraron una síntesis entre idiomas sin ejemplos previos de alta calidad, con una reducción significativa de los artefactos de acento extranjero que habían sido un punto débil persistente en enfoques TTS interlingüísticos anteriores. También se demostró que la misma arquitectura subyacente podía ampliarse hacia tareas de traducción de voz a voz.

Cómo empezar a usar VALL-E X hoy

Como ocurrió con el VALL-E original, Microsoft publicó la investigación, pero nunca lanzó código oficial ni pesos preentrenados del modelo. Sin embargo, a diferencia de ese primer modelo, la respuesta de la comunidad produjo en este caso algo que se puede usar de forma más inmediata:

1. Usa la reproducción comunitaria Plachtaa/VALL-E-X. Esta implementación de código abierto entrenó su propio modelo desde cero y, algo especialmente destacable, publicó los pesos preentrenados resultantes. Por eso es un punto de partida más práctico que las reproducciones de VALL-E que exigen entrenar desde cero.
2. Cuenta con tres idiomas. El modelo comunitario admite inglés, chino y japonés, con síntesis natural y expresiva en los tres y generación entre ellos.
3. Clona una voz con 3–10 segundos de audio de referencia. Este es el intervalo práctico para el que se diseñó la reproducción al realizar clonación de voz sin ejemplos previos antes de intentar la generación entre idiomas.
4. Ten en cuenta que el decodificador se mejoró respecto al diseño original. La implementación comunitaria sustituyó el decodificador EnCodec por uno Vocos para mejorar específicamente la calidad del audio, y añadió decodificación AR por lotes para conseguir resultados más estables. Son mejoras reales frente a una reproducción literal del artículo original.
5. No esperes traducción de voz a voz integrada. La investigación original de Microsoft describía una extensión S2ST, pero la reproducción comunitaria no incluye ese módulo porque necesita un entrenamiento independiente. La solución alternativa documentada consiste en combinar el modelo con una API de traducción estándar —como Google Translate— para traducir primero el texto de origen al idioma de destino y generar después la voz.
6. Experimenta directamente con el control del acento. Además de la clonación convencional entre idiomas, prueba a hacer que la señal de ID de idioma no coincida deliberadamente con el idioma de salida para escuchar el control del acento en acción: hablar un idioma con el acento de otro. Es una capacidad verdaderamente distintiva frente a la mayoría de los modelos de clonación.

Consejos para obtener mejores resultados

• Proporciona un clip de referencia limpio con una sola frase. Toda la transferencia entre idiomas depende de ese único prompt en el idioma de origen, por lo que su calidad de grabación tiene un efecto desproporcionado en la fidelidad del resultado de destino.
• Prueba las dos direcciones de tu combinación concreta de idiomas. La calidad entre idiomas no es necesariamente simétrica: generar el idioma B con un hablante del idioma A puede funcionar de forma distinta que el proceso inverso. Valida la dirección específica que necesita realmente tu proyecto.
• Usa deliberadamente el ID de idioma si el acento forma parte de tu objetivo creativo. No es solo un efecto secundario que haya que tolerar. En contenido donde se busca un acento estilizado —por ejemplo, un personaje con un rasgo vocal concreto—, el mecanismo de ID de idioma es una auténtica herramienta creativa, no solo un ajuste de precisión.
• Planifica por separado la traducción si necesitas una traducción completa de voz a voz. Como la reproducción comunitaria no incorpora S2ST, reserva en tu pipeline un paso de traducción externo en vez de esperar que el modelo se encargue por sí solo de convertir el texto de origen en texto de destino.
• Comprueba la licencia de la reproducción comunitaria concreta que utilices. Como con cualquier reproducción no oficial de un modelo de investigación, revisa la procedencia de los datos de entrenamiento y las condiciones de licencia de la implementación que elijas antes de usarla con fines comerciales.

VALL-E X frente a VALL-E y otros modelos de clonación multilingüe

La aportación específica de VALL-E X es demostrar que la transferencia de voz entre idiomas no necesitaba datos de entrenamiento emparejados del mismo hablante en ambos idiomas. Es un problema realmente más difícil que la clonación dentro de un mismo idioma, y lo resolvió con el mismo enfoque de aprendizaje en contexto que hizo notable al VALL-E original.

Preguntas frecuentes

¿Puedo descargar pesos oficiales de VALL-E X de Microsoft?

No. Como con el VALL-E original, Microsoft publicó la investigación que describe VALL-E X, pero nunca lanzó código oficial ni modelos preentrenados. La reproducción comunitaria Plachtaa/VALL-E-X es la vía práctica para usar esta arquitectura hoy y sí ofrece pesos preentrenados listos para utilizar.

¿Qué idiomas admite VALL-E X?

La investigación original de Microsoft centró su evaluación en la generación entre inglés y chino. La popular reproducción comunitaria amplía la cobertura al inglés, chino y japonés.

¿Necesita VALL-E X grabaciones del mismo hablante en los dos idiomas?

No; ese es el problema central que resuelve. Genera habla en el idioma de destino con la voz de una persona usando únicamente un clip de referencia en el idioma de origen, sin requerir datos de entrenamiento emparejados en varios idiomas para ese hablante concreto.

¿Puede VALL-E X controlar deliberadamente el acento?

Sí, mediante su mecanismo de ID de idioma, que puede utilizarse tanto para reducir el acento extranjero y producir habla natural que suene nativa como para crear deliberadamente un efecto de acento concreto, por ejemplo hablar chino con acento inglés.

¿Incluye VALL-E X traducción de voz a voz?

La investigación original de Microsoft describía una ampliación hacia esta capacidad, pero la popular reproducción comunitaria no la incluye de serie. La solución alternativa documentada es combinar el modelo con un paso de traducción independiente.

Convierte texto en voz con Echora

Para un flujo en el navegador con un objetivo similar, utiliza Texto a voz de Echora. Introduce hasta 5.000 caracteres, elige una voz integrada o una voz personalizada guardada, añade etiquetas de interpretación compatibles cuando las necesites y ajusta la estabilidad. Después podrás escuchar el resultado y descargar el MP3 terminado.

Crear voz desde texto →