Voxtral TTS 解剖：公開されていないエンコーダなしで音声をクローンする方法

Voxtral TTS、なぜ注目すべきか

Mistralが公開したVoxtral-4B-TTSは、40億パラメータのTTSモデルで、LLMベースのオートリグレッシブバックボン（Ministral 3B）を使用して音声トークンを生成します。問題は、Mistralがオーディオオートエンコーダのエンコーダ重みを公開していない点です。そのため、ユーザーはMistralが用意した数種類の音声しか使用できず、任意の音声をクローンすることはできません。

しかし本稿では、(1) Voxtral TTSアーキテクチャの詳細分析、(2) オーディオオートエンコーダの動作原理、(3) 公開されたデコーダとオートリグレッシブモデルのみで勾配降下法により任意の音声を再構成する方法を共有します。

この技術がなぜ重要なのか、個人的な経験を一つお話しします。Whisperが公開される前の2021年、私はWav2Vec2の論文を読み、この技術がオーディオ理解領域の新しいクラシックになると確信しました。Voxtral TTSを見て同じ感覚を得ました。

根拠資料

Voxtral TTS アーキテクチャの核心分析

基本構造

Voxtral-4B-TTSは、3Bバックボン（Ministral 3B）上でオーディオトークンを生成するオートリグレッシブLLM構造を採用しています。入力はクローンする音声を表すオーディオトークンと発話するテキストトークンで、出力は音声トークンです。

重要なポイントは以下の2つです：

1. 独立したオーディオトークン：各トークンは80msのオーディオを表し、重複せず独立しています。これによりネイティブなオーディオストリーミングが可能です。
2. 複雑なヘッド：線形ヘッド（離散トークン予測）とflow-matching transformer（拡散モデルによる連続分布近似）を組み合わせた構造です。これは現在の音声生成における2つの主要アプローチ（離散トークン予測 + 拡散モデル）を統合したものです。

オーディオオートエンコーダ：Voxtral Codec

Voxtral Codecは350Mパラメータのオートエンコーダで、80msのオーディオフレームあたり37個の離散トークンを生成します。構造はEncoder -> Bottleneck -> Decoderの典型的なオートエンコーダ形式ですが、MistralはEncoderの重みを公開していません。

ボトルネックで生成される2種類のトークンは以下の通りです：

• Semantic Token（256次元）：Vector Quantization（VQ）により8192個のコードブックのいずれかにマッピングされます。Whisperデコーダの潜在状態と整列するよう学習され、意味（semantics）と関連します。
• Acoustic Token（36スカラー）：Finite Scalar Quantization（FSQ）により0〜21の整数に量子化されます。声色（voice）自体を表現します。

# Voxtral CodecのFSQ量子化例（vllm-omniベース）
import torch
import torch.nn.functional as F

# 設定：36次元、各22レベル（0〜21）
num_frames = 100  # フレーム数（例）
acoustic_levels = 22

# 連続値（エンコーダ出力から分割された36次元）
continuous_values = torch.randn(num_frames, 36)  # [-inf, +inf]

# Scaled Tanhで[-1, 1]にマッピング
normalized = torch.tanh(continuous_values)

# [0, 1] -> [0, 21] スケーリング後、四捨五入（量子化）
scaled = ((normalized + 1) / 2) * (acoustic_levels - 1)
quantized = scaled.round().long()  # 離散コード

print(f"量子化されたコード shape: {quantized.shape}")  # [100, 36]
print(f"コード範囲: {quantized.min().item()} ~ {quantized.max().item()}")

Semantic Tokenは本当に意味を表現するのか

筆者が疑問に思った点：semantic tokenが実際に発話する単語（意味）を決定し、acoustic tokenが声色を決定するのか？

実験結果は**「いいえ」**でした。Semantic tokenをランダムに変更しても音声は崩れず維持され、むしろ声色が変化する現象が観察されました。つまり、semantic tokenは名前とは異なり意味を明確に分離しておらず、音声生成において2つのトークンが複合的に作用します。

エンコーダなしで音声を再構成する：勾配降下法アプローチ

核心アイデア

エンコーダがないため、デコーダとオートリグレッシブバックボンのみで任意のオーディオに対するコードを直接学習させる方法を考案しました。つまり、コード自体をnn.Parameterとして初期化し、元のオーディオとの再構成損失を最小化するように学習します。

離散トークンの課題

離散トークンはLLMのトークンと同様に、AからBへ段階的に最適化することができません。これを解決するために**Straight-Through Estimator（STE）**を使用します。

Acoustic Token（FSQ）の学習：

# 学習可能なacousticコード（連続値で初期化）
self.acoustic_values = nn.Parameter(torch.randn(num_frames, 36))

# Forward：量子化された離散値を使用、Backward：連続値を介して勾配伝達
acoustic_normalized = torch.tanh(self.acoustic_values)
acoustic_scaled = ((acoustic_normalized + 1) / 2) * (acoustic_levels - 1)
acoustic_quantized = acoustic_scaled.round()

# STE：forwardはquantized、backwardはcontinuous
acoustic_codes = acoustic_scaled + (acoustic_quantized - acoustic_scaled).detach()

Semantic Token（VQ）の学習：

# 学習可能なロジット（8192個のコードブックから選択）
semantic_vocab = 8192
self.semantic_logits = nn.Parameter(torch.randn(num_frames, semantic_vocab))

# Soft確率（勾配伝達用）
probs = F.softmax(self.semantic_logits, dim=-1)  # [T, 8192]

# Hard選択（Forward pass）
hard_codes = probs.argmax(dim=-1)  # [T] 整数インデックス

# 埋め込みテーブル参照（実際のコードブックを使用）
sem_embedding = tokenizer.quantizer.semantic_codebook.embedding  # [8192, 256]

# Soft埋め込み（勾配用）
soft_emb = torch.matmul(probs, sem_embedding)  # [T, 256]
# Hard埋め込み（Forward用）
hard_emb = F.embedding(hard_codes, sem_embedding)  # [T, 256]

# STE：forwardはhard、backwardはsoft
semantic_emb = soft_emb + (hard_emb - soft_emb).detach()  # [T, 256]

損失関数の設計

高周波オーディオ信号を再構成するには、単純なL1 Lossだけでは不十分です。以下の追加損失を適用しました：

1. L1再構成損失：時間領域での波形差分
2. STFT損失：周波数領域での差分（Mistral論文参照、8種類のSTFTサイズを使用）
3. Speaker Embedding損失：SpeechBrainのspeaker embeddingモデルを使用して話者類似性を保持

# STFT損失例（簡略化）
def stft_loss(pred_audio, target_audio, fft_size=512):
    # Short-Time Fourier Transform
    pred_spec = torch.stft(pred_audio, n_fft=fft_size, return_complex=True)
    target_spec = torch.stft(target_audio, n_fft=fft_size, return_complex=True)
    
    # マグニチュードスペクトログラムのL1損失
    loss = F.l1_loss(torch.abs(pred_spec), torch.abs(target_spec))
    return loss

実験結果

約8秒の単一サンプルに対して5000エポック学習（約1時間、Mac Mシリーズ）した結果、元の音声と非常に類似した音声を再構成できました。Speaker diarization損失を追加すると学習速度は低下しますが、最終的な音質が向上しました。

注記： この実験は単一サンプルに対する過学習（overfitting）が目的です。つまり、学習パラメータがそのオーディオを完全に再現するようにすることが目標です。

注意点と限界

1. 過学習ベースのアプローチ：この方法は単一オーディオサンプルに過学習する方式であるため、リアルタイム音声クローニングには不適切です。実際のサービスに適用するには、より効率的なエンコーダ学習が必要です。

2. 計算コスト：8秒のオーディオに1時間かかるため、長いオーディオや大量処理には適していません。

3. 音質の限界：STEを介した近似的な勾配伝達により、元のエンコーダを使用した場合と比較して音質が低下する可能性があります。

4. 法的・倫理的考慮事項：音声複製技術は、同意なしの使用で深刻な倫理的問題を引き起こす可能性があります。必ず合法的で倫理的な範囲内でのみ使用してください。

合わせて読みたい記事

• AWS EventBridgeでミリ秒単位の遅延を解決：Amazon Keyのイベント駆動アーキテクチャ移行記
• 複雑な広告メディアプラン、マルチエージェントアーキテクチャで攻略する

まとめ：Voxtral TTS、こう活用しよう

Voxtral TTSは音声生成分野の新しいパラダイムを示しています。エンコーダの重みが公開されていないため制限的ですが、本稿で紹介した勾配降下法ベースのコード再構成アプローチにより、研究や実験に活用できます。

実務適用のためのアドバイス：

• 研究目的：アーキテクチャ理解と音声トークンの特性分析に有用
• プロトタイピング：限定された音声セットでTTSプロトタイプを作成可能
• 今後の学習方向：Voxtral Codecと類似構造のオートエンコーダを自ら学習する方法を研究することを推奨

AIツール（LLM）を活用した研究は生産性を大きく向上させますが、ML/DLの詳細部分では人間の判断が依然として重要です。AIをツールとして使いこなしつつ、結果を批判的に検討する習慣を身につけましょう。