Guias sobre modelos de voz com IA de código aberto e populares, e como testar capacidades comparáveis na Echora.
O GPT-SoVITS clona uma voz com apenas 1 minuto de áudio, ou com 5 segundos em modo zero-shot, tem desempenho especialmente forte em chinês e japonês e inclui um conjunto completo de ferramentas WebUI.
O VALL-E 2 acrescenta ao VALL-E a amostragem sensível a repetições e a modelagem de códigos agrupados e, segundo os resultados, alcança desempenho equivalente ao humano em benchmarks de clonagem de voz zero-shot.
O VALL-E X é a extensão interlinguística do VALL-E desenvolvida pela Microsoft: clona uma voz em um idioma para falar fluentemente em outro e inclui controle de sotaque.
O VALL-E é o modelo de linguagem com codec neural da Microsoft que trata a fala como tokens discretos, assim como o GPT trata o texto, e clona uma voz a partir de um prompt de áudio de 3 segundos.
O StyleTTS 2 usa difusão para amostrar o estilo de fala sem precisar de áudio de referência e, segundo relatos, supera gravações humanas em naturalidade no conjunto LJSpeech.
O StyleTTS separa o estilo da fala do conteúdo usando AdaIN e um codificador de estilo dedicado, dando à TTS não autorregressiva controle sobre a prosódia e a interpretação.
Bark é o modelo generativo open source de texto para áudio da Suno que adiciona risadas, suspiros e música por meio de etiquetas simples entre colchetes, lançado sob a licença MIT.
O Tortoise TTS é um modelo multivoz open source sob a licença Apache 2.0 que combina um Transformer autorregressivo com diffusion para oferecer qualidade de áudio excepcional, ainda que lentamente.
O XTTS-v2 é o modelo de clonagem de voz zero-shot da Coqui que cobre 17 idiomas com apenas um clipe de 6 segundos e segue como referência apesar do fechamento da Coqui em 2024.
O E2 TTS é o sistema TTS zero-shot «Embarrassingly Easy» da Microsoft, tão simples que chega a ser constrangedor. Ele usa flow matching sem modelo de duração nem alinhador e é o antecessor direto do F5-TTS na pesquisa.
O F5-TTS é um modelo TTS não autorregressivo baseado em flow matching e em um Diffusion Transformer que clona vozes em segundos, com um fator de tempo real (RTF) de apenas 0,15.
Fish Speech é o TTS open source expressivo da Fish Audio, com clonagem zero-shot, ajuste fino por LoRA e tags de emoção integradas, como [whisper] e [angry].
