はじめに:LLM推論はなぜまだ遅いのか

LLMのサービングに携わると、必ず「GPUは空いているのに、なぜトークンは1個ずつしか出てこないのか」という壁にぶつかります。Autoregressive decodingの宿命ですね。トークンを1個生成するたびにモデル全体を通過するため、演算強度(arithmetic intensity)は底を打ち、メモリ帯域だけを消費する構造になっています。

そこで登場するのが Speculative Decoding(投機的デコーディング) です。小さなドラフトモデルが複数トークンを先に提案し、大きなターゲットモデルがそれを並列に検証します。ポイントは 「検証は並列、精度はそのまま」 という点です。ターゲットモデルが受理(accept)したトークンのみを保持するため、受理基準を意図的に緩めない限り、出力シーケンスは標準デコーディングと同一になります。

本記事では、NVIDIAが公開したco-designシリーズ第3弾の内容を基に、実務で即適用できる ドラフト長(D)選定の5ガイドライン と ドラフトメカニズムの比較 を整理します。根拠資料は NVIDIA Developer Blog で確認できます。

Diagram illustrating speculative decoding flow with draft model and target model verification for faster LLM inference

基本概念:D、AL、そしてSpeedupの式

まず用語を整理します。

  • D (Draft Length): ターゲット反復1回あたりに提案するトークン数
  • AL (Acceptance Length): ターゲット反復1回あたりに実際に生成(受理)されるトークン数。範囲は1~(1+D)
  • B (Batch Size): バッチサイズ

速度向上(speedup)は次の式で定量化されます。

speedup = (T_verif(B) × AL) / (T_verif(B × (1+D)) + T_draft(B, D))

ここで T_verif(x) はxトークンの検証時間、T_draft(b, y) はバッチbに対する長さyのドラフト生成時間です。結局 (D, AL, T_draft) タプルの最適点 を探すゲームになります。

ガイドライン1:GEMMをcompute-bound領域へ押し込む

検証段階では演算量は(1+D)に比例して増えますが、メモリアクセスは変わりません。つまり、Dを増やして検証がmemory-boundからcompute-boundへ切り替わる地点まで押し込む と、実質タダで性能が得られます。例えばD=7なら、D=0と比べて1/8のバッチサイズでcompute-boundに到達します。MoEモデルが疎になり、long-contextでKVキャッシュの圧迫が増すほど、この効果は大きくなります。

# 疑似コード:D増加に伴うcompute-bound切り替え地点の探索
def find_optimal_D(batch_size, gemm_size, hardware_profile):
    # メモリ帯域に対する演算スループットの比率を確認
    for D in range(0, 32):
        effective_batch = batch_size * (1 + D)
        # GEMM-Mが十分大きくなればcompute-boundへ遷移
        if is_compute_bound(gemm_size, effective_batch, hardware_profile):
            return D
    return 0  # 遷移しない場合はspeculation非推奨

ガイドライン2:Attentionが支配的な場合は D = 128/G - 1

推論(reasoning)やエージェントワークロードでは、attentionが実行時間を支配します。Decode attentionの演算強度は約 2 × G(G = 1つのKV headを共有するquery head数)ですが、speculationによって 2 × G × (1+D) まで引き上がります。現在のGPUではattentionカーネルはGEMM-M=128で良好な利用率を示すため、D = 128/G - 1 が最適点になります。

ガイドライン3:タイル境界の整列に注意

Dを128/G - 1より大きくする場合は、G × (1+D) が 128の倍数 になるように選んでください。そうでないと最後のタイルが部分的にしか使われず、フルタイル分のコストをそのまま支払うことになります。

ガイドライン4:低レイテンシ領域ではALの増分がドラフトコストを正当化する必要がある

Pareto曲線の極端(低レイテンシ)では、カーネル起動オーバーヘッドが支配的になります。この領域でのspeedupは概ね次の通りです。

speedup ≈ AL / (1 + ρD),  ここで ρ = L_draft / L_target
draft overhead O_d = ρD

つまり、Dを増やすのはALの増分がドラフトオーバーヘッドを相殺する場合のみ有効 です。小さいモデルでDを無闇に増やすと、かえって遅くなる可能性があるということですね。

Server rack with GPU clusters running speculative decoding workloads for LLM inference optimization Coding Session Visual

ドラフトメカニズムの選択:ALとオーバーヘッドの綱引き

Dを決めたら、次は「どうトークンを生成するか」を決めます。主要手法のトレードオフは以下の通りです。

手法ドラフトアーキテクチャ生成方式学習コスト最適用途
External Draft Model小型LLMD回のautoregressive forwardScratch: 1T~10T+トークン / Distill: 100B~400BLPU環境。GPUには非推奨
EAGLE-3Decoder layer + linear projectionモジュールをD回実行ターゲット学習後1~10B追加トークンMTPより低AL、GPUでは非推奨
MTPDecoder layer + linear projectionモジュールをD回実行Pretraining時にターゲットと共学習GPUの大規模モデルに最適
DFlashDecoder layer + linear KV fusionDトークンを並列1ステップ生成ターゲット学習後1~10B追加トークンGPUの大規模モデル
DSparkDecoder layer + linear KV fusion + Markov head並列生成後に軽量な逐次補正ターゲット学習後1~10B追加トークン小規模モデル、batch=1
Suffix / n-gramモデルなし(文字列マッチング)O(1)ルックアップなし繰り返しパターンが多いワークロード

実践的な判断ポイント

  • ALが高いからといって高速とは限りません。 ドラフト生成コストも合わせて見る必要があります。例えばD=11で1-layer MTP headは11ステップかかり O_d = 11/L_target ですが、5-layer DFlashは1パスで生成し O_d = 5/L_target です。レイヤ数が多い大規模モデルではどちらも無視できますが、小規模モデルではDFlash/DSparkがAL低めでも最適となり得ます。
  • ターゲットモデルをファインチューニングするとALが低下することがあります。 出力分布とhidden representationが変わるためです。ターゲット変更後は必ず代表的なワークロードでALを再測定してください。MTPはターゲットに内蔵されているため、ファインチューニング時に共学習するか、専用のrealign段階が必要です。
  • ワークロード特性を反映したベンチマークが必須です。 NVIDIAは SPEED-Bench を推奨しています。コーディングや要約など実際のプロダクションワークロードを反映したspeculative decodingベンチマークで、32K/128Kなど多様なシーケンス長のsplitを提供しています。

この技術の限界と注意点

Speculative decodingは万能ではありません。① 受理率(AL)が低いワークロード(例:創造的生成、固有名詞が多いドメイン)ではオーバーヘッドだけが増えます。② メモリ余裕が乏しい環境 ではドラフトモデルの重みとKVキャッシュが追加負担になります。③ 通信コスト:テンソル並列環境でDが大きくなると検証の通信量も増えるため、compute-communication overlap戦略が必要です。

Developer analyzing speculative decoding performance metrics on laptop screen with Pareto frontier charts Developer Related Image

まとめ:5つのガイドライン・チェックリスト

NVIDIAの内容を実務チェックリストとして圧縮すると以下の通りです。

  1. GEMMをcompute-boundへ押し込むためにDを増やす(KVキャッシュ圧迫なしで)
  2. Attentionが支配的な場合は D = 128/G - 1 を起点に
  3. Dがそれより大きい場合は G × (1+D) を128の倍数に 揃えてタイル利用率を維持
  4. 低レイテンシ領域ではALの増分がドラフトコストを正当化する時のみDを増やす
  5. ワークロード・ハードウェアに合わせてALとドラフトオーバーヘッドを均衡 させてメカニズムを選択

日本の開発エコシステムにおける適用文脈

国内では、vLLMやTensorRT-LLMなどのフレームワークを導入してファインチューニング済みモデルをサービングするケースが増えています。この場合、MTPやEAGLE-3のようにターゲットチェックポイントに付随するdrafterを検討する際、ファインチューニングパイプラインにdrafter再学習フェーズを含める ことが実務的に重要です。また、オンプレミスでGPUリソースが限られる環境では、Dを闇雲に増やすのではなく、ガイドライン4(低レイテンシ領域の判断) を先に適用してオーバーヘッドを測定することをお勧めします。

次のステップ学習の方向性

あわせて読みたい記事

本コンテンツは、信頼性の高い情報源をもとにAIツールを活用して作成され、編集者によるレビューを経て公開されています。専門家によるアドバイスの代替となるものではありません。