¿Por qué te importa esto?
Si alguna vez metiste audio en una app de IA, ya sabes el dolor: un SDK para transcripción, otro para TTS, un tercero para voz en tiempo real, tres dashboards de billing distintos y trace logs regados por todos lados. Pues bien, AI Gateway de Vercel ahora integra 14 modelos de ElevenLabs en una sola superficie de API — misma key, mismas vistas de uso/costo/trace, y el mismo esquema de retry y failover que ya usas para los modelos de texto.
Checa lo que viene en el paquete:
- Speech to text — transcribe grabaciones o pone subtítulos a audio en vivo
- Streaming TTS — empieza a reproducir antes de que el LLM termine de escribir
- Agentes de voz en tiempo real — conversación full-duplex en un solo WebSocket
- Música — describes la rola en texto y recibes la canción terminada
- Efectos de sonido — audio de game/UI a partir de una descripción corta
- Diálogo multi-voz — un elenco completo en una sola request
Y para celebrar el lanzamiento, todos los modelos de ElevenLabs están con 50% de descuento en AI Gateway por 14 días, hasta el 9 de noviembre. Fuera de eso, el precio refleja la tabla del provider sin markup y sin fee de plataforma en inferencia, incluyendo requests BYOK.

Manos a la obra: pipeline de voz en streaming en ~10 líneas
El truco aquí es la composabilidad. Como transcripción, razonamiento y habla son modelos separados, puedes cambiar cualquier etapa sin tocar el resto del pipeline. Vamos a ver un loop completo de transcribir → razonar → hablar con el AI SDK:
import {
experimental_streamSpeech as streamSpeech,
experimental_streamTranscribe as streamTranscribe,
streamText,
} from 'ai';
// 1. Transcribe el stream del micrófono (PCM 16 kHz)
const heard = streamTranscribe({
model: 'elevenlabs/scribe-v2-realtime',
audio: microphoneStream,
inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
});
// 2. Razona sobre la transcripción con cualquier modelo de texto
const { textStream } = streamText({
model: 'anthropic/claude-haiku-5.5',
prompt: await heard.text,
});
// 3. Manda la respuesta directo al TTS de ElevenLabs
const { audioStream } = streamSpeech({
model: 'elevenlabs/eleven-flash-v2.5',
text: textStream,
voice: 'hpp4J3VqNfWAUOO0d1Us',
});
Fíjate que el textStream se conecta directo al streamSpeech — el usuario escucha la respuesta empezar antes de que el LLM termine de escribir. Ahí está la magia del streaming TTS: la latencia percibida baja de segundos a milisegundos. 🔥
Agentes de voz en tiempo real
Para conversaciones naturales de ida y vuelta (soporte, asistentes in-app), los modelos Eleven Realtime v1 Max / Mini corren toda la conversación en un solo modelo vía WebSocket. Tu servidor solo necesita generar un token de corta duración para que tu API key nunca llegue al cliente:
import { gateway } from 'ai';
const { token, url } = await gateway.experimental_realtime.getToken({
model: 'elevenlabs/eleven-realtime-v1-max',
});
En el browser, usa el hook useRealtime de @ai-sdk/react. En sessionConfig, define un voice ID de ElevenLabs y activa turnDetection: { type: 'semantic-vad' } — estos modelos soportan semantic VAD pero no soportan server-vad, así que planea tu lógica de turn-taking con eso en mente.
Música, SFX y diálogo multi-voz
Music v2.5 y Sound Effects v2 usan generateSpeech, pero le pasas una descripción en vez de palabras para leer:
import { generateSpeech } from 'ai';
const { audio } = await generateSpeech({
model: 'elevenlabs/music-v2.5',
text: 'Un beat lo-fi tranquilo con piano suave',
providerOptions: { elevenlabs: { musicLengthMs: 30000 } },
});
Para podcasts o escenas con guion, Eleven v4 / v4 Turbo / v3 dan voz a varios hablantes en una sola request — cada cambio de voz inicia un nuevo turno, y recibes una grabación continua sin tener que pegar clips.

Comparativa rápida de modelos
| Caso de uso | Modelo | Latencia | Notas |
|---|---|---|---|
| Transcripción en tiempo real | scribe-v2-realtime | Muy baja | Streamea texto mientras el usuario habla |
| TTS de baja latencia | eleven-flash-v2.5 | Baja | Ideal para pipelines de streaming |
| Agente de voz full-duplex | eleven-realtime-v1-max / -mini | Baja (WebSocket) | Solo semantic VAD, sin server VAD |
| Narración de alta calidad | eleven-v4 / v4-turbo | Media | Soporta diálogo multi-voz |
| Multi-voz legacy | eleven-v3 | Media | Todavía soportado |
| Generación de música | music-v2.5 / music-v2 | Alta | Control sección por sección disponible |
| Efectos de sonido | sound-effects-v2 | Media | Loops limpios para ambiencia de game |
Trade-offs que necesitas saber:
- Los agentes en tiempo real no soportan
server-vad— estás obligado a usarsemantic-vad, lo que cambia cómo calibras las interrupciones. - Generación de música es la más lenta del paquete; no la pongas en el camino crítico del usuario.
- Auth por token en realtime requiere un round-trip al servidor antes de que el browser abra el WebSocket — cuenta eso en tu latencia de primer token.
Limitaciones y cuidados
- El descuento no es gratis: los 50% son promo de lanzamiento por 14 días, terminan el 9 de noviembre. Después vuelve a la tabla del provider (sin markup, pero audio de ElevenLabs no es barato en escala — presupuesta eso).
- Riesgo de acoplamiento: centralizar todo en AI Gateway es práctico, pero si después necesitas features específicas del provider (voice cloning custom, fine-tuning), vas a tener que salirte de la abstracción.
- Realtime es pesado en el browser: el hook
useRealtimemaneja mic y playback, pero permisos, echo cancellation y las mañas de Safari mobile son por tu cuenta. - Semantic VAD ≠ turn-taking perfecto: en ambiente ruidoso puede cortar al usuario a media frase. Prueba con audio real, no con grabación de estudio.
Próximos pasos
- Lee la doc de audio de AI Gateway — tiene ejemplo para los 14 modelos.
- Prototipa un agente de voz con
eleven-realtime-v1-maxantes de que acabe el descuento; el delta de costo en un workload real es el mejor benchmark que vas a tener. - Instrumenta tus traces desde temprano — la vista unificada de trace es el mayor gancho operacional aquí; úsala para comparar latencia de audio contra tu pipeline de texto.
- Si estás optimizando costo de IA en general, combínalo con el playbook de cost management en Beyond the Hype: A Strategic Blueprint for Maximizing AI ROI.

Cerrando
Vercel AI Gateway + ElevenLabs te quita un buen tanto de glue code del camino: una key, una vista de billing, un trace, y modelos componibles que cambias por etapa. La ventana de 50% hasta el 9 de noviembre es el momento práctico para medir si streaming TTS y agentes en tiempo real realmente mueven las métricas de tu producto — porque después de la promo, inferencia de audio es una línea en el presupuesto que vas a querer tener medida, no adivinada.
Y si también estás benchmarkeando el lado de hardware de workloads de IA, la guía de NVbandwidth para medir performance de interconexión y memoria de GPU es una lectura compañera sólida.