¿Por qué te importa esto?

Si alguna vez metiste audio en una app de IA, ya sabes el dolor: un SDK para transcripción, otro para TTS, un tercero para voz en tiempo real, tres dashboards de billing distintos y trace logs regados por todos lados. Pues bien, AI Gateway de Vercel ahora integra 14 modelos de ElevenLabs en una sola superficie de API — misma key, mismas vistas de uso/costo/trace, y el mismo esquema de retry y failover que ya usas para los modelos de texto.

Checa lo que viene en el paquete:

  • Speech to text — transcribe grabaciones o pone subtítulos a audio en vivo
  • Streaming TTS — empieza a reproducir antes de que el LLM termine de escribir
  • Agentes de voz en tiempo real — conversación full-duplex en un solo WebSocket
  • Música — describes la rola en texto y recibes la canción terminada
  • Efectos de sonido — audio de game/UI a partir de una descripción corta
  • Diálogo multi-voz — un elenco completo en una sola request

Y para celebrar el lanzamiento, todos los modelos de ElevenLabs están con 50% de descuento en AI Gateway por 14 días, hasta el 9 de noviembre. Fuera de eso, el precio refleja la tabla del provider sin markup y sin fee de plataforma en inferencia, incluyendo requests BYOK.

Developer integrating ElevenLabs audio models via Vercel AI Gateway for realtime voice agents Development Concept Image

Manos a la obra: pipeline de voz en streaming en ~10 líneas

El truco aquí es la composabilidad. Como transcripción, razonamiento y habla son modelos separados, puedes cambiar cualquier etapa sin tocar el resto del pipeline. Vamos a ver un loop completo de transcribir → razonar → hablar con el AI SDK:

import {
  experimental_streamSpeech as streamSpeech,
  experimental_streamTranscribe as streamTranscribe,
  streamText,
} from 'ai';

// 1. Transcribe el stream del micrófono (PCM 16 kHz)
const heard = streamTranscribe({
  model: 'elevenlabs/scribe-v2-realtime',
  audio: microphoneStream,
  inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
});

// 2. Razona sobre la transcripción con cualquier modelo de texto
const { textStream } = streamText({
  model: 'anthropic/claude-haiku-5.5',
  prompt: await heard.text,
});

// 3. Manda la respuesta directo al TTS de ElevenLabs
const { audioStream } = streamSpeech({
  model: 'elevenlabs/eleven-flash-v2.5',
  text: textStream,
  voice: 'hpp4J3VqNfWAUOO0d1Us',
});

Fíjate que el textStream se conecta directo al streamSpeech — el usuario escucha la respuesta empezar antes de que el LLM termine de escribir. Ahí está la magia del streaming TTS: la latencia percibida baja de segundos a milisegundos. 🔥

Agentes de voz en tiempo real

Para conversaciones naturales de ida y vuelta (soporte, asistentes in-app), los modelos Eleven Realtime v1 Max / Mini corren toda la conversación en un solo modelo vía WebSocket. Tu servidor solo necesita generar un token de corta duración para que tu API key nunca llegue al cliente:

import { gateway } from 'ai';

const { token, url } = await gateway.experimental_realtime.getToken({
  model: 'elevenlabs/eleven-realtime-v1-max',
});

En el browser, usa el hook useRealtime de @ai-sdk/react. En sessionConfig, define un voice ID de ElevenLabs y activa turnDetection: { type: 'semantic-vad' } — estos modelos soportan semantic VAD pero no soportan server-vad, así que planea tu lógica de turn-taking con eso en mente.

Música, SFX y diálogo multi-voz

Music v2.5 y Sound Effects v2 usan generateSpeech, pero le pasas una descripción en vez de palabras para leer:

import { generateSpeech } from 'ai';

const { audio } = await generateSpeech({
  model: 'elevenlabs/music-v2.5',
  text: 'Un beat lo-fi tranquilo con piano suave',
  providerOptions: { elevenlabs: { musicLengthMs: 30000 } },
});

Para podcasts o escenas con guion, Eleven v4 / v4 Turbo / v3 dan voz a varios hablantes en una sola request — cada cambio de voz inicia un nuevo turno, y recibes una grabación continua sin tener que pegar clips.

AI Gateway dashboard showing ElevenLabs speech-to-text and music model usage with cost tracking System Abstract Visual

Comparativa rápida de modelos

Caso de usoModeloLatenciaNotas
Transcripción en tiempo realscribe-v2-realtimeMuy bajaStreamea texto mientras el usuario habla
TTS de baja latenciaeleven-flash-v2.5BajaIdeal para pipelines de streaming
Agente de voz full-duplexeleven-realtime-v1-max / -miniBaja (WebSocket)Solo semantic VAD, sin server VAD
Narración de alta calidadeleven-v4 / v4-turboMediaSoporta diálogo multi-voz
Multi-voz legacyeleven-v3MediaTodavía soportado
Generación de músicamusic-v2.5 / music-v2AltaControl sección por sección disponible
Efectos de sonidosound-effects-v2MediaLoops limpios para ambiencia de game

Trade-offs que necesitas saber:

  • Los agentes en tiempo real no soportan server-vad — estás obligado a usar semantic-vad, lo que cambia cómo calibras las interrupciones.
  • Generación de música es la más lenta del paquete; no la pongas en el camino crítico del usuario.
  • Auth por token en realtime requiere un round-trip al servidor antes de que el browser abra el WebSocket — cuenta eso en tu latencia de primer token.

Limitaciones y cuidados

  • El descuento no es gratis: los 50% son promo de lanzamiento por 14 días, terminan el 9 de noviembre. Después vuelve a la tabla del provider (sin markup, pero audio de ElevenLabs no es barato en escala — presupuesta eso).
  • Riesgo de acoplamiento: centralizar todo en AI Gateway es práctico, pero si después necesitas features específicas del provider (voice cloning custom, fine-tuning), vas a tener que salirte de la abstracción.
  • Realtime es pesado en el browser: el hook useRealtime maneja mic y playback, pero permisos, echo cancellation y las mañas de Safari mobile son por tu cuenta.
  • Semantic VAD ≠ turn-taking perfecto: en ambiente ruidoso puede cortar al usuario a media frase. Prueba con audio real, no con grabación de estudio.

Próximos pasos

  1. Lee la doc de audio de AI Gateway — tiene ejemplo para los 14 modelos.
  2. Prototipa un agente de voz con eleven-realtime-v1-max antes de que acabe el descuento; el delta de costo en un workload real es el mejor benchmark que vas a tener.
  3. Instrumenta tus traces desde temprano — la vista unificada de trace es el mayor gancho operacional aquí; úsala para comparar latencia de audio contra tu pipeline de texto.
  4. Si estás optimizando costo de IA en general, combínalo con el playbook de cost management en Beyond the Hype: A Strategic Blueprint for Maximizing AI ROI.

Cloud architecture diagram of AI Gateway routing audio model requests to ElevenLabs IT Technology Image

Cerrando

Vercel AI Gateway + ElevenLabs te quita un buen tanto de glue code del camino: una key, una vista de billing, un trace, y modelos componibles que cambias por etapa. La ventana de 50% hasta el 9 de noviembre es el momento práctico para medir si streaming TTS y agentes en tiempo real realmente mueven las métricas de tu producto — porque después de la promo, inferencia de audio es una línea en el presupuesto que vas a querer tener medida, no adivinada.

Y si también estás benchmarkeando el lado de hardware de workloads de IA, la guía de NVbandwidth para medir performance de interconexión y memoria de GPU es una lectura compañera sólida.

Fuente: Vercel blog — ElevenLabs on AI Gateway

Este contenido fue redactado con la asistencia de herramientas de IA, basándose en fuentes confiables, y fue revisado por nuestro equipo editorial antes de su publicación. No reemplaza el asesoramiento de un profesional especializado.