VALL-E X: uma frase entra, qualquer idioma sai

O VALL-E provou que um clipe de 3 segundos era suficiente para clonar uma voz dentro de um único idioma. A pergunta seguinte era óbvia, mas mais difícil: será que esse mesmo clipe curto poderia fazer alguém falar um idioma que nunca falou de verdade? O VALL-E X, sucessor interlinguístico da Microsoft, responde que sim: ele recebe uma frase de um falante monolíngue e gera uma fala natural e fluente com a mesma voz em um idioma totalmente diferente, sem nunca precisar de gravações daquela pessoa realmente falando esse idioma.

O que é o VALL-E X?

O VALL-E X é um modelo interlinguístico de linguagem com codec neural, apresentado por pesquisadores da Microsoft como uma extensão direta da arquitetura original do VALL-E. Ele herda a principal capacidade de aprendizado em contexto do VALL-E — captar uma voz a partir de um prompt curto sem treinamento adicional — e a amplia especificamente para a geração entre idiomas. Para isso, foi treinado com dados de fala multilíngues, em grande escala, com vários falantes e provenientes de diferentes domínios.

O resultado prático é o seguinte: forneça uma frase no idioma nativo de um falante e o VALL-E X gerará fala com a mesma voz em um idioma de destino, preservando a identidade vocal, o tom emocional e até o ambiente acústico presente no clipe original. Não são necessárias gravações pareadas do falante nos dois idiomas; o modelo não precisa jamais ter ouvido aquela pessoa específica falar o idioma de destino.

Como a transferência entre idiomas realmente funciona

O mecanismo é uma extensão natural da abordagem de fonemas e tokens acústicos do VALL-E, adaptada ao caso de vários idiomas. O VALL-E X recebe sequências de fonemas derivadas tanto do texto de origem quanto do texto de destino, além dos tokens acústicos do falante original — extraídos do clipe de referência por meio de um codec de áudio neural — e usa tudo isso como um prompt combinado para gerar tokens acústicos no idioma de destino. Esses tokens de saída são então decodificados em uma onda sonora de fala real, da mesma forma que na arquitetura original do VALL-E.

O treinamento não exige dados pareados dos mesmos falantes em idiomas diferentes. Em vez disso, o modelo aprende com um conjunto de dados multilíngue no qual sequências de fonemas e tokens acústicos de diferentes idiomas são concatenadas, junto com um sinal de ID de idioma que informa qual idioma deve ser gerado em cada momento. Esse mecanismo de ID de idioma também oferece ao VALL-E X uma segunda capacidade mais lúdica: controlar deliberadamente o sotaque. Por exemplo, ele pode gerar fala em chinês com um sotaque inglês marcante, ou fazer o inverso, em vez de buscar apenas um resultado que soe totalmente nativo.

Preservando mais do que apenas a voz

Assim como o VALL-E original, o uso de tokens acústicos reais em vez de uma representação abstrata do falante permite que o VALL-E X transfira mais do que a identidade vocal na mudança de idioma: o tom emocional e o ambiente acústico do clipe de origem também tendem a permanecer na saída no idioma de destino. Esse é um detalhe prático importante em usos como dublagem ou localização de conteúdo, nos quais perder a interpretação emocional de um falante ao mudar de idioma contrariaria o próprio objetivo de usar sua voz real.

Como o VALL-E X foi avaliado

A avaliação da Microsoft usou o LibriSpeech em conjunto com os conjuntos de dados EMIME e AISHELL-3 para testar a geração entre inglês e chinês nas duas direções: geração de fala em inglês a partir de falantes chineses e geração de fala em chinês a partir de falantes ingleses. Os resultados divulgados demonstraram síntese entre idiomas zero-shot de alta qualidade, reduzindo de forma significativa os artefatos de sotaque estrangeiro que eram uma fraqueza persistente nas abordagens anteriores de TTS entre idiomas. Também foi demonstrado que a mesma arquitetura subjacente podia ser ampliada para tarefas de tradução de fala para fala.

Como começar a usar o VALL-E X hoje

Como aconteceu com o VALL-E original, a Microsoft publicou a pesquisa, mas nunca lançou código oficial nem pesos de modelo pré-treinados. No entanto, ao contrário daquele primeiro modelo, a resposta da comunidade produziu neste caso algo que pode ser usado de forma mais imediata:

1. Use a reprodução comunitária Plachtaa/VALL-E-X. Essa implementação de código aberto treinou seu próprio modelo do zero e, vale destacar, publicou de fato os pesos pré-treinados resultantes. Por isso, é um ponto de partida mais prático do que as reproduções do VALL-E que exigem treinamento desde o início.
2. Espere cobertura de três idiomas. O modelo da comunidade aceita inglês, chinês e japonês, com síntese natural e expressiva nos três e geração entre eles.
3. Clone uma voz com 3–10 segundos de áudio de referência. Essa é a faixa prática para a qual a reprodução foi desenvolvida ao fazer clonagem de voz zero-shot antes de tentar a geração entre idiomas.
4. Saiba que o decodificador foi aprimorado em relação ao projeto original. A implementação da comunidade substituiu o decodificador EnCodec por um decodificador Vocos especificamente para melhorar a qualidade do áudio e também adicionou decodificação AR em lotes para gerar resultados mais estáveis. São melhorias reais em comparação com uma reprodução literal do artigo original.
5. Não espere tradução de fala para fala integrada. A pesquisa original da Microsoft descreveu uma extensão S2ST, mas a reprodução comunitária não inclui esse módulo porque ele exige treinamento separado. A alternativa documentada é combinar o modelo com uma API de tradução padrão — como o Google Translate — para converter primeiro o texto de origem no idioma de destino e só então gerar a voz.
6. Experimente diretamente o controle de sotaque. Além da clonagem convencional entre idiomas, tente fazer com que o sinal de ID de idioma não corresponda de propósito ao idioma da saída para ouvir o controle de sotaque em ação: falar um idioma com o sotaque de outro. É uma capacidade realmente distinta em relação à maioria dos modelos de clonagem.

Dicas para obter resultados melhores

• Forneça um clipe de referência limpo com uma única frase. Toda a transferência entre idiomas depende daquele único prompt no idioma de origem, por isso a qualidade da gravação tem um efeito desproporcional sobre a fidelidade da saída no idioma de destino.
• Teste as duas direções da sua combinação específica de idiomas. A qualidade entre idiomas não é necessariamente simétrica: gerar o idioma B com um falante do idioma A pode funcionar de modo diferente do processo inverso. Valide a direção concreta que seu projeto realmente exige.
• Use o ID de idioma de forma deliberada se o sotaque fizer parte do objetivo criativo. Isso não é apenas um efeito colateral que precisa ser tolerado. Em conteúdo no qual um sotaque estilizado é realmente desejável — por exemplo, um personagem com um traço vocal específico —, o mecanismo de ID de idioma é uma verdadeira ferramenta criativa, não apenas um ajuste de precisão.
• Planeje a etapa de tradução separadamente se precisar de uma tradução completa de fala para fala. Como a reprodução comunitária não inclui S2ST, reserve uma etapa externa de tradução em seu pipeline em vez de esperar que o modelo faça sozinho a conversão do texto de origem para o texto de destino.
• Confira a licença da reprodução comunitária específica que você usar. Como em qualquer reprodução não oficial de um modelo de pesquisa, analise a procedência dos dados de treinamento e os termos de licença da implementação escolhida antes do uso comercial.

VALL-E X em comparação com VALL-E e outros modelos de clonagem multilíngue

A contribuição específica do VALL-E X é provar que a transferência de voz entre idiomas não precisava de dados de treinamento pareados do mesmo falante nos dois idiomas. Esse é um problema realmente mais difícil do que a clonagem no mesmo idioma, e o modelo o resolveu usando a mesma abordagem de aprendizado em contexto que tornou o VALL-E original notável.

Perguntas frequentes

Posso baixar pesos oficiais do VALL-E X da Microsoft?

Não. Assim como no VALL-E original, a Microsoft publicou a pesquisa que descreve o VALL-E X, mas nunca lançou código oficial nem modelos pré-treinados. A reprodução comunitária Plachtaa/VALL-E-X é o caminho prático para usar essa arquitetura hoje e oferece pesos pré-treinados prontos para uso.

Quais idiomas o VALL-E X aceita?

A pesquisa original da Microsoft concentrou sua avaliação na geração entre inglês e chinês. A popular reprodução comunitária amplia a cobertura para inglês, chinês e japonês.

O VALL-E X precisa de gravações do mesmo falante nos dois idiomas?

Não; esse é o problema central que ele resolve. O modelo gera fala no idioma de destino com a voz de uma pessoa usando apenas um clipe de referência no idioma de origem, sem exigir dados de treinamento pareados em vários idiomas para aquele falante específico.

O VALL-E X pode controlar deliberadamente o sotaque?

Sim, por meio do mecanismo de ID de idioma, que pode ser usado tanto para reduzir o sotaque estrangeiro e produzir uma fala natural que soe nativa quanto para criar deliberadamente um efeito de sotaque específico, como falar chinês com sotaque inglês.

O VALL-E X inclui tradução de fala para fala?

A pesquisa original da Microsoft descreveu uma extensão para essa capacidade, mas a popular reprodução comunitária não a inclui pronta para uso. A alternativa documentada é combinar o modelo com uma etapa de tradução separada.

Transforme texto em voz com a Echora

Para um fluxo no navegador com um objetivo semelhante, use o Texto para fala da Echora. Insira até 5.000 caracteres, escolha uma voz integrada ou uma voz personalizada salva, adicione tags de interpretação compatíveis quando necessário e ajuste a estabilidade. Depois, você pode ouvir o resultado e baixar o MP3 final.

Criar voz a partir de texto →