SeamlessM4T: a tentativa de criar um Peixe-Babel com um único modelo

Quando você fala com a maioria dos pipelines de tradução, sua voz passa, na verdade, por três sistemas separados: um reconhecedor de fala transcreve o que você diz, um tradutor de texto converte a transcrição e um modelo TTS dá voz ao resultado — três transferências, três oportunidades de perder nuances. A equipe Seamless Communication da Meta criou o SeamlessM4T especificamente para condensar essa cadeia e batizou sua ambição de pesquisa mais ampla em referência ao Peixe-Babel de Douglas Adams: um único modelo que ouve, entende, traduz e responde com voz, sem combinar sistemas separados.

O que é o SeamlessM4T?

O SeamlessM4T é um modelo fundacional de código aberto da Meta AI, lançado em agosto de 2023 e criado como um único sistema baseado em Transformer que oferece suporte a cinco tarefas distintas: tradução de fala para fala, tradução de fala para texto, tradução de texto para fala, tradução de texto para texto e reconhecimento automático de fala, em até 100 idiomas. Ele foi treinado com 1 milhão de horas de áudio de fala aberto para aprender representações de fala de forma autossupervisionada por meio do w2v-BERT 2.0 e, em seguida, ajustado em um corpus multimodal de 406 mil horas que combina traduções de fala alinhadas automaticamente — um conjunto de dados chamado SeamlessAlign — com dados rotulados por humanos e pseudorrotulados.

Vantagens funcionais do SeamlessM4T

• Cinco tarefas, um modelo unificado, em vez de um pipeline em cascata que reúne sistemas separados de reconhecimento de fala, tradução e síntese.
• Ampla cobertura de idiomas, com suporte a entrada de fala em 101 idiomas e texto em 96, além de saída de fala em uma parte significativa desse conjunto.
• Ganhos substanciais na qualidade da tradução, com uma melhoria reportada de 20% no BLEU em relação ao estado da arte anterior na tradução direta de fala para texto no benchmark Fleurs.
• Melhorias mensuráveis de robustez, com ganhos médios de 38% diante de ruído de fundo e de 49% diante de variações entre falantes em tarefas de fala para texto, em comparação com o sistema de estado da arte anterior.
• Código totalmente aberto e suporte nativo no Hugging Face Transformers, o que facilita carregar e executar o modelo sem uma pilha de inferência personalizada.

Como a arquitetura UnitY realmente funciona

O SeamlessM4T é baseado na arquitetura UnitY da Meta, um projeto de duas etapas que gera primeiro o texto e depois a fala, em vez de passar diretamente da entrada para a saída falada. A entrada de fala passa pela extração de características com bancos de filtros mel, depois por um codificador de fala Conformer inicializado a partir do modelo de aprendizado de representações w2v-BERT 2.0 e, em seguida, por um adaptador de comprimento que reduz a taxa de amostragem do sinal de fala por um fator fixo. A entrada e a saída de texto passam por um codificador e um decodificador inicializados com o SeamlessM4T-NLLB, o modelo de tradução de texto para texto da própria Meta para 200 idiomas. Isso significa que o SeamlessM4T não precisa reaprender a tradução de texto do zero, pois herda essa capacidade diretamente. Especificamente para a saída de fala, o modelo gera unidades acústicas discretas, que um vocoder HiFi-GAN multilíngue converte em uma forma de onda real.

A versão mais recente, SeamlessM4T v2, refinou esse sistema e o transformou no UnitY2, acrescentando upsampling hierárquico de caracteres para unidades e adotando decodificação não autorregressiva de texto para unidades. Em comparação com a arquitetura v1 original, essas mudanças melhoraram tanto a qualidade da saída quanto a velocidade de inferência, especificamente no lado de geração de fala do pipeline.

Primeiro um modelo de tradução, depois um modelo TTS

Vale a pena ser direto: se seu objetivo é simplesmente gerar fala expressiva e natural em um único idioma a partir de qualquer texto, um modelo TTS dedicado e criado especificamente para essa tarefa provavelmente será mais adequado que o SeamlessM4T. O SeamlessM4T conquista seu espaço justamente no cenário entre idiomas: quando a tarefa real é transformar fala ou texto de um idioma em uma saída falada em outro e você deseja que todo o pipeline seja tratado por um único sistema coerente, em vez de três componentes ajustados separadamente que nunca foram treinados para trabalhar juntos. Sua síntese de fala é realmente boa, mas é uma síntese a serviço da tradução, não uma síntese otimizada exclusivamente para expressividade vocal ou clonagem de voz.

Primeiros passos com o SeamlessM4T

1. Use a integração com o Hugging Face Transformers para seguir o caminho mais simples. O SeamlessM4T v2 tem suporte nativo por meio da classe SeamlessM4Tv2Model: execute from transformers import SeamlessM4Tv2Model e depois carregue facebook/seamless-m4t-v2-large para ter um modelo funcional em poucas linhas.
2. Clone o repositório original para obter o kit de pesquisa completo. facebookresearch/seamless_communication no GitHub inclui a base de código mais ampla do Seamless Communication, não apenas o checkpoint compatível com o Transformers.
3. Especifique sua tarefa de forma explícita ao chamar o modelo. Como um único modelo lida com cinco tarefas distintas (S2ST, S2TT, T2ST, T2TT e ASR), sua chamada de inferência precisa indicar qual conversão você realmente está solicitando, junto com os códigos dos idiomas de origem e destino.
4. Prefira a v2 à v1 por padrão, a menos que tenha um motivo específico para não fazer isso. As melhorias da arquitetura UnitY2 se aplicam especificamente à qualidade e à velocidade da geração de fala, o que torna a v2 a opção mais prática para praticamente qualquer projeto novo.
5. Consulte a lista de idiomas documentada para sua direção específica antes de presumir cobertura total. O suporte a idiomas na saída de fala é mais restrito que na entrada de fala. Confirme se o idioma de destino tem suporte na tarefa específica, não apenas no modelo como um todo, antes de basear seu projeto nele.

Dicas para obter resultados melhores

• Associe a tarefa à sua necessidade real em vez de usar a tradução do pipeline completo por padrão. Se você só precisa de uma transcrição, use diretamente a tarefa ASR em vez de passar pela tradução e voltar; usar a tarefa mais restrita que resolve seu problema evita processamento desnecessário e possíveis perdas de qualidade.
• Teste seu par de idiomas específico em vez de presumir qualidade uniforme nos 100. A qualidade da tradução, especialmente na saída de fala, varia conforme o idioma e o par de idiomas. Valide a combinação exata necessária para seu projeto.
• Considere um modelo TTS dedicado se a tradução não fizer realmente parte da sua tarefa. Como o centro do projeto do SeamlessM4T é a tradução, um modelo TTS especializado geralmente oferece mais controle sobre as características da voz, a emoção e a clonagem do que o componente de síntese do SeamlessM4T isoladamente.
• Aproveite a filtragem de toxicidade integrada em implantações voltadas ao público. Como esse é um recurso de segurança documentado e avaliado, e não uma medida acrescentada depois, vale a pena entender como ele se aplica ao seu caso de uso específico em vez de presumir que você precisa criar uma filtragem de conteúdo separada.

SeamlessM4T versus outros modelos de fala multilíngue

O nicho específico do SeamlessM4T é ser um verdadeiro sistema de tradução que também responde com voz, em vez de uma ferramenta de clonagem de voz ou narração expressiva. Se seu objetivo real é “entender e transmitir significado entre idiomas”, ele foi criado exatamente para isso; se seu objetivo é obter uma voz específica, expressiva ou clonável, essa não é a ferramenta certa.

Perguntas frequentes

A quais tarefas o SeamlessM4T realmente oferece suporte?

Cinco: tradução de fala para fala, tradução de fala para texto, tradução de texto para fala, tradução de texto para texto e reconhecimento automático de fala, tudo por meio de um único modelo unificado, em vez de sistemas separados para cada tarefa.

A quantos idiomas o SeamlessM4T oferece suporte?

Até 101 idiomas para entrada de fala e 96 para texto, com a saída de fala cobrindo um conjunto mais restrito, mas ainda significativo. Consulte a lista documentada para seu idioma de destino e sua tarefa específicos.

O SeamlessM4T é melhor que um modelo TTS dedicado para gerar fala?

Não para casos de uso puros de texto para fala. A geração de fala do SeamlessM4T foi criada para servir à tradução, portanto um modelo desenvolvido especificamente para narração expressiva ou clonagem de voz normalmente oferece mais controle e resultados melhores nessa tarefa mais restrita.

Qual é a diferença entre o SeamlessM4T v1 e v2?

A v2 apresenta a arquitetura UnitY2, acrescentando upsampling hierárquico de caracteres para unidades e decodificação não autorregressiva de texto para unidades. Com isso, melhora tanto a qualidade da geração de fala quanto a velocidade de inferência em relação à versão v1 original.

O SeamlessM4T é gratuito?

Sim. A Meta o disponibilizou como código aberto, com o código disponível no GitHub e os modelos hospedados no Hugging Face com suporte nativo da biblioteca Transformers.

Traduza áudio ou vídeo existente com dublagem por IA

Para realizar no navegador um fluxo de tradução de fala para fala com objetivo semelhante, use a Dublagem com IA da Echora. Envie um áudio ou vídeo existente, escolha o idioma de destino e gere um resultado traduzido em áudio ou vídeo.

Começar a dublagem com IA →