Por que isso importa pra você
Se você já tentou colocar áudio num app de IA, sabe o perrengue: um SDK pra transcrição, outro pra TTS, um terceiro pra voz em tempo real, três dashboards de billing diferentes e trace logs espalhados por aí. Pois bem, o AI Gateway da Vercel agora integra 14 modelos da ElevenLabs numa única superfície de API — mesma key, mesmas views de uso/custo/trace, e o mesmo esquema de retry e failover que você já usa pros modelos de texto.
Olha só o que vem no pacote:
- Speech to text — transcreve gravações ou legenda áudio ao vivo
- Streaming TTS — começa a tocar antes do LLM terminar de escrever
- Agentes de voz em tempo real — conversa full-duplex num único WebSocket
- Música — descreve a faixa em texto e recebe a música pronta
- Efeitos sonoros — áudio de game/UI a partir de uma descrição curta
- Diálogo multi-voz — um elenco inteiro numa única request
E pra comemorar o lançamento, todos os modelos ElevenLabs estão com 50% de desconto no AI Gateway por 14 dias, até 9 de novembro. Fora isso, o preço reflete a tabela do provider sem markup e sem taxa de plataforma na inferência, incluindo requests BYOK.

Mão na massa: pipeline de voz em streaming em ~10 linhas
O pulo do gato aqui é a composabilidade. Como transcrição, raciocínio e fala são modelos separados, você troca qualquer etapa sem mexer no resto do pipeline. Bora ver um loop completo de transcrever → raciocinar → falar com o AI SDK:
import {
experimental_streamSpeech as streamSpeech,
experimental_streamTranscribe as streamTranscribe,
streamText,
} from 'ai';
// 1. Transcreve o stream do microfone (PCM 16 kHz)
const heard = streamTranscribe({
model: 'elevenlabs/scribe-v2-realtime',
audio: microphoneStream,
inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
});
// 2. Raciocina sobre a transcrição com qualquer modelo de texto
const { textStream } = streamText({
model: 'anthropic/claude-haiku-5.5',
prompt: await heard.text,
});
// 3. Manda a resposta direto pro TTS da ElevenLabs
const { audioStream } = streamSpeech({
model: 'elevenlabs/eleven-flash-v2.5',
text: textStream,
voice: 'hpp4J3VqNfWAUOO0d1Us',
});
Repara que o textStream é ligado direto no streamSpeech — o usuário ouve a resposta começar antes do LLM terminar de escrever. É exatamente aí que mora a mágica do streaming TTS: a latência percebida cai de segundos pra milissegundos. 🔥
Agentes de voz em tempo real
Pra conversas naturais de ida e volta (suporte, assistentes in-app), os modelos Eleven Realtime v1 Max / Mini rodam a conversa inteira num único modelo via WebSocket. O seu servidor só precisa gerar um token de curta duração pra sua API key nunca ir pro cliente:
import { gateway } from 'ai';
const { token, url } = await gateway.experimental_realtime.getToken({
model: 'elevenlabs/eleven-realtime-v1-max',
});
No browser, usa o hook useRealtime do @ai-sdk/react. No sessionConfig, define um voice ID da ElevenLabs e ativa turnDetection: { type: 'semantic-vad' } — esses modelos suportam semantic VAD mas não suportam server-vad, então planeja sua lógica de turn-taking com isso em mente.
Música, SFX e diálogo multi-voz
Music v2.5 e Sound Effects v2 usam generateSpeech, mas você passa uma descrição em vez de palavras pra ler:
import { generateSpeech } from 'ai';
const { audio } = await generateSpeech({
model: 'elevenlabs/music-v2.5',
text: 'Uma batida lo-fi suave com piano delicado',
providerOptions: { elevenlabs: { musicLengthMs: 30000 } },
});
Pra podcasts ou cenas roteirizadas, Eleven v4 / v4 Turbo / v3 dão voz a vários falantes numa única request — cada troca de voz inicia um novo turno, e você recebe uma gravação contínua sem precisar costurar clipes.

Comparativo rápido dos modelos
| Caso de uso | Modelo | Latência | Observações |
|---|---|---|---|
| Transcrição em tempo real | scribe-v2-realtime | Muito baixa | Streama texto enquanto o usuário fala |
| TTS de baixa latência | eleven-flash-v2.5 | Baixa | Ideal pra pipelines de streaming |
| Agente de voz full-duplex | eleven-realtime-v1-max / -mini | Baixa (WebSocket) | Só semantic VAD, sem server VAD |
| Narração de alta qualidade | eleven-v4 / v4-turbo | Média | Suporta diálogo multi-voz |
| Multi-voz legado | eleven-v3 | Média | Ainda suportado |
| Geração de música | music-v2.5 / music-v2 | Alta | Controle seção por seção disponível |
| Efeitos sonoros | sound-effects-v2 | Média | Loops limpos pra ambiência de game |
Trade-offs que você precisa saber:
- Agentes em tempo real não suportam
server-vad— você é obrigado a usarsemantic-vad, o que muda como você calibra interrupções. - Geração de música é a mais lenta do pacote; não coloque no caminho crítico do usuário.
- Auth por token no realtime exige um round-trip no servidor antes do browser abrir o WebSocket — conta isso na sua latência de primeiro token.
Limitações e cuidados
- Desconto não é de graça: os 50% são promo de lançamento por 14 dias, acabam em 9 de novembro. Depois volta pra tabela do provider (sem markup, mas áudio ElevenLabs não é barato em escala — orça isso).
- Risco de acoplamento: centralizar tudo no AI Gateway é prático, mas se depois você precisar de features específicas do provider (voice cloning custom, fine-tuning), vai ter que furar a abstração.
- Realtime é pesado no browser: o hook
useRealtimecuida de mic e playback, mas permissões, echo cancellation e as manhas do Safari mobile são por sua conta. - Semantic VAD ≠ turn-taking perfeito: em ambiente barulhento ele pode cortar o usuário no meio da frase. Testa com áudio real, não com gravação de estúdio.
Próximos passos
- Lê a doc de áudio do AI Gateway — tem exemplo pros 14 modelos.
- Prototipa um agente de voz com
eleven-realtime-v1-maxantes do desconto acabar; o delta de custo num workload real é o melhor benchmark que você vai ter. - Instrumenta seus traces desde cedo — a view unificada de trace é o maior ganho operacional aqui; usa pra comparar latência de áudio com seu pipeline de texto.
- Se você tá otimizando custo de IA de forma geral, combina com o playbook de cost management em Beyond the Hype: A Strategic Blueprint for Maximizing AI ROI.

Fechando
Vercel AI Gateway + ElevenLabs tira um bom tanto de glue code do caminho: uma key, uma view de billing, um trace, e modelos composáveis que você troca por etapa. A janela de 50% até 9 de novembro é o momento prático pra medir se streaming TTS e agentes em tempo real realmente movem as métricas do seu produto — porque depois da promo, inferência de áudio é uma linha no orçamento que você vai querer ter medido, não chutado.
E se você também tá benchmarkando o lado de hardware de workloads de IA, o guia do NVbandwidth pra medir performance de interconexão e memória de GPU é uma leitura companheira sólida.