音声AIは「ゲートウェイ」一つで完結する時代へ

VercelとElevenLabsが提携し、AI Gateway経由で14種類の音声モデルが利用可能になりました。本記事では、この統合が実務にどう影響するかを整理して共有します。

従来は、文字起こし(STT)はA社、TTSはB社、音楽生成はC社といった具合に個別に接続する必要がありました。APIキーも課金ダッシュボードも障害対応もバラバラで、運用コストが膨らみがちです。

今回の統合の要点は、単一のゲートウェイAPIキーで「文字起こし → LLM推論 → 音声合成 → 音楽/効果音生成」までを一つのパイプラインで処理できる点です。さらに、すべてのリクエストが既存のAI Gatewayの使用量・コスト・トレースビューに集約されます。オブザーバビリティの観点でこれは大きな差分になります。

ローンチ記念として11月9日まで全ElevenLabsモデルが50%オフですので、プロトタイプ検証には絶好のタイミングです。詳細な仕様は根拠資料をご参照ください。

Developer integrating ElevenLabs audio models through Vercel AI Gateway dashboard with unified API key Software Concept Art

対応する6種類の音声モデル

AI GatewayがカバーするElevenLabsモデルは、大きく6分類に整理できます。

種類代表モデル実務での用途
Speech to TextScribe v2 Realtimeリアルタイム字幕、会議の文字起こし
Streaming TTSEleven Flash v2.5チャットボット応答の音声化(低遅延)
Realtime Voice AgentEleven Realtime v1 Max/Miniコールセンター、アプリ内アシスタント
MusicMusic v2.5 / v2BGM、ゲームサウンドトラック
Sound EffectsSound Effects v2UI効果音、環境音ループ
Multi-voice DialogueEleven v4 / v4 Turbo / v3ポッドキャスト、音声ドラマ

ストリーミングパイプラインの実装例

最も実用的なパターンは、文字起こし → LLM推論 → ストリーミングTTSのチェーンです。各ステップが独立したモデルであるため、文字起こしモデルだけ、あるいは音声モデルだけを差し替えられます。

import {
  experimental_streamSpeech as streamSpeech,
  experimental_streamTranscribe as streamTranscribe,
  streamText,
} from 'ai';

// 1) マイクストリームをリアルタイムで文字起こし
export async function* pipeline(microphoneStream) {
  const heard = streamTranscribe({
    model: 'elevenlabs/scribe-v2-realtime',
    audio: microphoneStream,
    inputAudioFormat: { type: 'audio/pcm', rate: 16000 },
  });

  // 2) 文字起こし結果をLLMに渡して応答を生成
  const { textStream } = streamText({
    model: 'anthropic/claude-haiku-5.5',
    prompt: await heard.text,
  });

  // 3) LLM応答をストリーミングTTSで即座に音声化
  const { audioStream } = streamSpeech({
    model: 'elevenlabs/eleven-flash-v2.5',
    text: textStream,
    voice: 'hpp4J3VqNfWAUOO0d1Us',
  });

  yield* audioStream;
}

ポイントは text: textStream の部分です。LLMが文を書き終えるのを待たず、トークン生成と同時にTTSへ流すことで、最初の音声が出るまでの体感遅延を大幅に削減できます。

リアルタイム音声エージェント

コールセンターのように自然なやり取りが必要な場合は、Realtime v1シリーズが適しています。WebSocketセッション一つで音声の入出力が完結します。

import { gateway } from 'ai';

// サーバーは短期トークンのみを発行し、APIキーをクライアントに露出させない
const { token, url } = await gateway.experimental_realtime.getToken({
  model: 'elevenlabs/eleven-realtime-v1-max',
});

ブラウザ側では @ai-sdk/react の useRealtime フックで接続し、sessionConfig に turnDetection: { type: 'semantic-vad' } を指定します。これらのモデルはセマンティックVADのみをサポートし、server-vad は非対応である点に注意してください。

ElevenLabs speech-to-text and streaming TTS pipeline architecture diagram on AI Gateway Development Concept Image

実務導入時の注意点

良い話ばかりではありません。導入前に確認すべきポイントを整理します。

  • モデルごとのサポート範囲の差異: Realtime系は server-vad 非対応、Music/SFX系は generateSpeech に読み上げテキストではなくサウンド説明を渡す仕様で、インターフェースが異なります。パイプライン設計前にモデル別の制約を表にまとめておくことを推奨します。
  • コスト観測の落とし穴: ゲートウェイ統合によりコスト追跡は容易になりましたが、ストリーミングTTSはトークンではなく音声長/文字数ベースの課金が混在します。ダッシュボードでモデル別の単価を確認し、予算(budget)ルールを設定しておきましょう。
  • ベンダーロックインのリスク: ElevenLabs固有のオプション(musicLengthMs、dialogue.voices など)を providerOptions で渡すため、将来的に別の音声ベンダーへ移行する際はこの部分の作り直しが必要です。薄い抽象化レイヤーを挟むことを推奨します。
  • 音声データのガバナンス: 音声は生体情報に準ずる機微データです。Zero Data Retentionオプションやリージョン方針を必ず確認してください。日本のサービスであれば、個人情報保護法上の音声情報の取り扱いと同意フローを別途設計する必要があります。

日本の開発エコシステムにおける適用文脈

国内ではコールセンター自動化と語学学習アプリの会話フィードバックが最も早く導入される領域だと考えられます。ただし、金融・医療系では音声データの国外リージョン送出が審査で問題になるケースが多く、閉域網やソブリンクラウドの選択肢も併せて検討すべきです。関連文脈としてクラウド接続が切れても安全にAIを動かす方法も参考になります。

AI Gateway cloud infrastructure routing audio model requests with cost and trace monitoring Dev Environment Setup

まとめと次のステップ

Vercel AI GatewayのElevenLabs統合は、「音声AIスタックを一つのゲートウェイに集約する」という方向性を明確に示しています。文字起こし・推論・合成・生成を単一APIキーで束ね、使用量とコストを同一ビューで確認できることは、実務において想像以上に生産性の差を生みます。

すぐに試せるアクションは以下です。

  1. 11月9日までの50%オフ期間中にプロトタイプを回してください。ストリーミングTTSパイプラインを一つ繋ぐだけでも、体感遅延の差は明確です。
  2. モデル別の課金単位(文字数/音声長/トークン)を表にまとめ、予算ルールを設定する。
  3. 本番投入前に、音声データ処理の同意・保管ポリシーを先に確定させる。

次の学習ステップ

  • @ai-sdk/react の useRealtime フックでブラウザリアルタイム対話アプリを構築する
  • セマンティックVADとサーバーVADのトレードオフを理解する
  • 音声パイプラインにおけるレイテンシ予算(latency budget)の設計

あわせて読みたい記事

本コンテンツは、信頼性の高い情報源をもとにAIツールを活用して作成され、編集者によるレビューを経て公開されています。専門家によるアドバイスの代替となるものではありません。