음성 AI, 이제 '게이트웨이' 하나로 끝낸다

¡Hola Devs! 오늘은 Vercel과 ElevenLabs가 손잡고 AI Gateway에 14종의 음성 모델을 통합한 소식을 정리해볼게요. 잠깐, 왜 이게 중요할까요?

기존에는 음성 인식(STT)은 A사, TTS는 B사, 음악 생성은 C사를 각각 붙여야 했어요. API 키도 따로, 과금 대시보드도 따로, 장애 대응도 따로. 삽질의 연속이죠 😅

이번 통합의 핵심은 단일 게이트웨이 API 키로 전사 → 추론 → 음성 합성 → 음악/효과음 생성까지 한 파이프라인에서 처리된다는 점이에요. 게다가 모든 요청이 기존 AI Gateway의 사용량/비용/트레이스 뷰에 그대로 쌓입니다. 관측성(Observability) 관점에서 이게 진짜 큰 차이를 만들어요.

출시 기념으로 11월 9일까지 모든 ElevenLabs 모델이 50% 할인된 상태이니, 프로토타입 단계라면 지금이 실험하기 좋은 타이밍이에요. 자세한 스펙은 근거자료에서 확인할 수 있어요.

Developer integrating ElevenLabs audio models through Vercel AI Gateway dashboard with unified API key Software Concept Art

지원되는 6가지 오디오 모델 유형

AI Gateway가 커버하는 ElevenLabs 모델은 크게 여섯 갈래예요.

유형대표 모델실무 활용
Speech to TextScribe v2 Realtime실시간 자막, 회의록 전사
Streaming TTSEleven Flash v2.5챗봇 응답 음성화 (지연 최소화)
Realtime Voice AgentEleven Realtime v1 Max/Mini콜센터, 인앱 어시스턴트
MusicMusic v2.5 / v2BGM, 게임 사운드트랙
Sound EffectsSound Effects v2UI 효과음, 앰비언스 루프
Multi-voice DialogueEleven v4 / v4 Turbo / v3팟캐스트, 오디오 드라마

스트리밍 파이프라인 예제

가장 실용적인 패턴은 전사 → LLM 추론 → 스트리밍 TTS를 체이닝하는 구조예요. 아래 코드를 보시면, 각 단계가 독립된 모델이기 때문에 전사 모델만, 혹은 음성 모델만 따로 갈아끼울 수 있습니다.

import {
  experimental_streamSpeech as streamSpeech,
  experimental_streamTranscribe as streamTranscribe,
  streamText,
} from 'ai';

// 1) 마이크 스트림을 실시간으로 전사
export async function* pipeline(microphoneStream) {
  const heard = streamTranscribe({
    model: 'elevenlabs/scribe-v2-realtime',
    audio: microphoneStream,
    inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
  });

  // 2) 전사된 텍스트를 LLM에 넘겨 응답 생성
  const { textStream } = streamText({
    model: 'anthropic/claude-haiku-5.5',
    prompt: await heard.text,
  });

  // 3) LLM 응답을 스트리밍 TTS로 즉시 음성화
  const { audioStream } = streamSpeech({
    model: 'elevenlabs/eleven-flash-v2.5',
    text: textStream,
    voice: 'hpp4J3VqNfWAUOO0d1Us',
  });

  yield* audioStream;
}

포인트는 text: textStream 부분이에요. LLM이 문장을 다 쓸 때까지 기다리지 않고, 토큰이 생성되는 즉시 TTS로 흘려보내서 첫 음성이 나오는 체감 지연을 확 줄입니다.

실시간 음성 에이전트

콜센터처럼 자연스러운 문답이 필요한 경우엔 Realtime v1 시리즈가 낫습니다. WebSocket 세션 하나로 오디오 입출력이 끝나요.

import { gateway } from 'ai';

// 서버는 단명 토큰만 발급해서 API 키를 클라이언트에 노출하지 않음
const { token, url } = await gateway.experimental_realtime.getToken({
  model: 'elevenlabs/eleven-realtime-v1-max',
});

브라우저 쪽에서는 @ai-sdk/react의 useRealtime 훅으로 연결하고, sessionConfig에 turnDetection: { type: 'semantic-vad' }를 지정하세요. 이 모델들은 시맨틱 VAD만 지원하고 server-vad는 지원하지 않는다는 점, 꼭 기억해두세요.

ElevenLabs speech-to-text and streaming TTS pipeline architecture diagram on AI Gateway IT Technology Image

실무에서 주의할 점

좋은 소식만 있는 건 아니에요. 도입 전에 짚어야 할 부분들이 있습니다.

  • 모델별 지원 범위 차이: Realtime 계열은 server-vad 미지원, Music/SFX 계열은 generateSpeech에 텍스트 대신 사운드 설명을 넣는 방식이라 인터페이스가 달라요. 파이프라인 설계 시 모델별 제약을 먼저 표로 정리해두는 걸 권합니다.
  • 비용 관측의 함정: 게이트웨이 통합 덕에 비용 추적은 쉬워졌지만, 스트리밍 TTS는 토큰이 아닌 오디오 길이/문자 수 기반 과금이 섞여 있어요. 대시보드에서 모델별 단가를 미리 확인하고 예산(budget) 룰을 걸어두세요.
  • 벤더 종속 리스크: ElevenLabs 특화 옵션(musicLengthMs, dialogue.voices 등)을 providerOptions로 넘기기 때문에, 나중에 다른 음성 벤더로 갈아탈 때 이 부분은 재작업이 필요합니다. 얇은 추상화 레이어를 두는 걸 추천해요.
  • 음성 데이터 거버넌스: 음성은 생체 정보에 준하는 민감 데이터예요. Zero Data Retention 옵션과 리전 정책을 반드시 확인하세요. 특히 국내 서비스라면 개인정보보호법상 음성정보 처리 동의 흐름을 별도로 설계해야 합니다.

한국 개발 생태계에서의 적용 맥락

국내 SI/스타트업 환경에서는 콜센터 자동화와 교육 앱 발음/회화 피드백이 가장 빠르게 붙는 영역이에요. 다만 국내는 클라우드 리전 이슈와 망분리 요구가 있는 프로젝트가 많아서, 음성 데이터가 해외 리전으로 나가는 구조는 보안 심의에서 걸리는 경우가 흔합니다. 사내망 환경이라면 클라우드 연결이 끊겨도 안전하게 AI를 구동하는 법처럼 폐쇄망/소버린 클라우드 대안도 함께 검토해보세요.

AI Gateway cloud infrastructure routing audio model requests with cost and trace monitoring Technical Structure Concept

정리 및 다음 단계

Vercel AI Gateway의 ElevenLabs 통합은 '음성 AI 스택을 하나의 게이트웨이로 통합'한다는 방향성을 분명히 보여줍니다. 전사·추론·합성·생성을 한 API 키로 묶고, 사용량과 비용을 같은 뷰에서 본다는 건 실무에서 생각보다 큰 생산성 차이를 만들어요.

바로 해볼 액션 아이템은 이렇습니다.

  1. 11월 9일 전까지 50% 할인 기간에 프로토타입을 돌려보세요. 스트리밍 TTS 파이프라인 하나만 붙여봐도 체감 지연 차이가 확 옵니다.
  2. 모델별 과금 단위(문자/오디오 길이/토큰)를 표로 정리하고 예산 룰을 설정하세요.
  3. 실서비스 투입 전엔 음성 데이터 처리 동의·보관 정책을 먼저 확정하세요.

다음 단계 학습 방향

  • @ai-sdk/react의 useRealtime 훅으로 브라우저 실시간 대화 앱 만들기
  • 시맨틱 VAD vs 서버 VAD의 트레이드오프 이해하기
  • 음성 파이프라인에서의 레이턴시 예산(latency budget) 설계

함께 보면 좋은 글

본 콘텐츠는 신뢰할 수 있는 출처를 바탕으로 AI 도구를 활용하여 초안이 작성되었으며, 편집자의 검토를 거쳐 발행되었습니다. 전문가의 조언을 대체하지 않습니다.