Por que isso importa pra você

Se você já tentou colocar áudio num app de IA, sabe o perrengue: um SDK pra transcrição, outro pra TTS, um terceiro pra voz em tempo real, três dashboards de billing diferentes e trace logs espalhados por aí. Pois bem, o AI Gateway da Vercel agora integra 14 modelos da ElevenLabs numa única superfície de API — mesma key, mesmas views de uso/custo/trace, e o mesmo esquema de retry e failover que você já usa pros modelos de texto.

Olha só o que vem no pacote:

  • Speech to text — transcreve gravações ou legenda áudio ao vivo
  • Streaming TTS — começa a tocar antes do LLM terminar de escrever
  • Agentes de voz em tempo real — conversa full-duplex num único WebSocket
  • Música — descreve a faixa em texto e recebe a música pronta
  • Efeitos sonoros — áudio de game/UI a partir de uma descrição curta
  • Diálogo multi-voz — um elenco inteiro numa única request

E pra comemorar o lançamento, todos os modelos ElevenLabs estão com 50% de desconto no AI Gateway por 14 dias, até 9 de novembro. Fora isso, o preço reflete a tabela do provider sem markup e sem taxa de plataforma na inferência, incluindo requests BYOK.

Developer integrating ElevenLabs audio models via Vercel AI Gateway for realtime voice agents Dev Environment Setup

Mão na massa: pipeline de voz em streaming em ~10 linhas

O pulo do gato aqui é a composabilidade. Como transcrição, raciocínio e fala são modelos separados, você troca qualquer etapa sem mexer no resto do pipeline. Bora ver um loop completo de transcrever → raciocinar → falar com o AI SDK:

import {
  experimental_streamSpeech as streamSpeech,
  experimental_streamTranscribe as streamTranscribe,
  streamText,
} from 'ai';

// 1. Transcreve o stream do microfone (PCM 16 kHz)
const heard = streamTranscribe({
  model: 'elevenlabs/scribe-v2-realtime',
  audio: microphoneStream,
  inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
});

// 2. Raciocina sobre a transcrição com qualquer modelo de texto
const { textStream } = streamText({
  model: 'anthropic/claude-haiku-5.5',
  prompt: await heard.text,
});

// 3. Manda a resposta direto pro TTS da ElevenLabs
const { audioStream } = streamSpeech({
  model: 'elevenlabs/eleven-flash-v2.5',
  text: textStream,
  voice: 'hpp4J3VqNfWAUOO0d1Us',
});

Repara que o textStream é ligado direto no streamSpeech — o usuário ouve a resposta começar antes do LLM terminar de escrever. É exatamente aí que mora a mágica do streaming TTS: a latência percebida cai de segundos pra milissegundos. 🔥

Agentes de voz em tempo real

Pra conversas naturais de ida e volta (suporte, assistentes in-app), os modelos Eleven Realtime v1 Max / Mini rodam a conversa inteira num único modelo via WebSocket. O seu servidor só precisa gerar um token de curta duração pra sua API key nunca ir pro cliente:

import { gateway } from 'ai';

const { token, url } = await gateway.experimental_realtime.getToken({
  model: 'elevenlabs/eleven-realtime-v1-max',
});

No browser, usa o hook useRealtime do @ai-sdk/react. No sessionConfig, define um voice ID da ElevenLabs e ativa turnDetection: { type: 'semantic-vad' } — esses modelos suportam semantic VAD mas não suportam server-vad, então planeja sua lógica de turn-taking com isso em mente.

Música, SFX e diálogo multi-voz

Music v2.5 e Sound Effects v2 usam generateSpeech, mas você passa uma descrição em vez de palavras pra ler:

import { generateSpeech } from 'ai';

const { audio } = await generateSpeech({
  model: 'elevenlabs/music-v2.5',
  text: 'Uma batida lo-fi suave com piano delicado',
  providerOptions: { elevenlabs: { musicLengthMs: 30000 } },
});

Pra podcasts ou cenas roteirizadas, Eleven v4 / v4 Turbo / v3 dão voz a vários falantes numa única request — cada troca de voz inicia um novo turno, e você recebe uma gravação contínua sem precisar costurar clipes.

AI Gateway dashboard showing ElevenLabs speech-to-text and music model usage with cost tracking Software Concept Art

Comparativo rápido dos modelos

Caso de usoModeloLatênciaObservações
Transcrição em tempo realscribe-v2-realtimeMuito baixaStreama texto enquanto o usuário fala
TTS de baixa latênciaeleven-flash-v2.5BaixaIdeal pra pipelines de streaming
Agente de voz full-duplexeleven-realtime-v1-max / -miniBaixa (WebSocket)Só semantic VAD, sem server VAD
Narração de alta qualidadeeleven-v4 / v4-turboMédiaSuporta diálogo multi-voz
Multi-voz legadoeleven-v3MédiaAinda suportado
Geração de músicamusic-v2.5 / music-v2AltaControle seção por seção disponível
Efeitos sonorossound-effects-v2MédiaLoops limpos pra ambiência de game

Trade-offs que você precisa saber:

  • Agentes em tempo real não suportam server-vad — você é obrigado a usar semantic-vad, o que muda como você calibra interrupções.
  • Geração de música é a mais lenta do pacote; não coloque no caminho crítico do usuário.
  • Auth por token no realtime exige um round-trip no servidor antes do browser abrir o WebSocket — conta isso na sua latência de primeiro token.

Limitações e cuidados

  • Desconto não é de graça: os 50% são promo de lançamento por 14 dias, acabam em 9 de novembro. Depois volta pra tabela do provider (sem markup, mas áudio ElevenLabs não é barato em escala — orça isso).
  • Risco de acoplamento: centralizar tudo no AI Gateway é prático, mas se depois você precisar de features específicas do provider (voice cloning custom, fine-tuning), vai ter que furar a abstração.
  • Realtime é pesado no browser: o hook useRealtime cuida de mic e playback, mas permissões, echo cancellation e as manhas do Safari mobile são por sua conta.
  • Semantic VAD ≠ turn-taking perfeito: em ambiente barulhento ele pode cortar o usuário no meio da frase. Testa com áudio real, não com gravação de estúdio.

Próximos passos

  1. Lê a doc de áudio do AI Gateway — tem exemplo pros 14 modelos.
  2. Prototipa um agente de voz com eleven-realtime-v1-max antes do desconto acabar; o delta de custo num workload real é o melhor benchmark que você vai ter.
  3. Instrumenta seus traces desde cedo — a view unificada de trace é o maior ganho operacional aqui; usa pra comparar latência de áudio com seu pipeline de texto.
  4. Se você tá otimizando custo de IA de forma geral, combina com o playbook de cost management em Beyond the Hype: A Strategic Blueprint for Maximizing AI ROI.

Cloud architecture diagram of AI Gateway routing audio model requests to ElevenLabs Development Concept Image

Fechando

Vercel AI Gateway + ElevenLabs tira um bom tanto de glue code do caminho: uma key, uma view de billing, um trace, e modelos composáveis que você troca por etapa. A janela de 50% até 9 de novembro é o momento prático pra medir se streaming TTS e agentes em tempo real realmente movem as métricas do seu produto — porque depois da promo, inferência de áudio é uma linha no orçamento que você vai querer ter medido, não chutado.

E se você também tá benchmarkando o lado de hardware de workloads de IA, o guia do NVbandwidth pra medir performance de interconexão e memória de GPU é uma leitura companheira sólida.

Fonte: Vercel blog — ElevenLabs on AI Gateway

Este conteúdo foi elaborado com o auxílio de ferramentas de IA, com base em fontes confiáveis, e revisado pela nossa equipe editorial antes da publicação. Não substitui o aconselhamento de um profissional especializado.