はじめに:LLM推論はなぜまだ遅いのか
LLMのサービングに携わると、必ず「GPUは空いているのに、なぜトークンは1個ずつしか出てこないのか」という壁にぶつかります。Autoregressive decodingの宿命ですね。トークンを1個生成するたびにモデル全体を通過するため、演算強度(arithmetic intensity)は底を打ち、メモリ帯域だけを消費する構造になっています。
そこで登場するのが Speculative Decoding(投機的デコーディング) です。小さなドラフトモデルが複数トークンを先に提案し、大きなターゲットモデルがそれを並列に検証します。ポイントは 「検証は並列、精度はそのまま」 という点です。ターゲットモデルが受理(accept)したトークンのみを保持するため、受理基準を意図的に緩めない限り、出力シーケンスは標準デコーディングと同一になります。
本記事では、NVIDIAが公開したco-designシリーズ第3弾の内容を基に、実務で即適用できる ドラフト長(D)選定の5ガイドライン と ドラフトメカニズムの比較 を整理します。根拠資料は NVIDIA Developer Blog で確認できます。

基本概念:D、AL、そしてSpeedupの式
まず用語を整理します。
- D (Draft Length): ターゲット反復1回あたりに提案するトークン数
- AL (Acceptance Length): ターゲット反復1回あたりに実際に生成(受理)されるトークン数。範囲は1~(1+D)
- B (Batch Size): バッチサイズ
速度向上(speedup)は次の式で定量化されます。
speedup = (T_verif(B) × AL) / (T_verif(B × (1+D)) + T_draft(B, D))
ここで T_verif(x) はxトークンの検証時間、T_draft(b, y) はバッチbに対する長さyのドラフト生成時間です。結局 (D, AL, T_draft) タプルの最適点 を探すゲームになります。
ガイドライン1:GEMMをcompute-bound領域へ押し込む
検証段階では演算量は(1+D)に比例して増えますが、メモリアクセスは変わりません。つまり、Dを増やして検証がmemory-boundからcompute-boundへ切り替わる地点まで押し込む と、実質タダで性能が得られます。例えばD=7なら、D=0と比べて1/8のバッチサイズでcompute-boundに到達します。MoEモデルが疎になり、long-contextでKVキャッシュの圧迫が増すほど、この効果は大きくなります。
# 疑似コード:D増加に伴うcompute-bound切り替え地点の探索
def find_optimal_D(batch_size, gemm_size, hardware_profile):
# メモリ帯域に対する演算スループットの比率を確認
for D in range(0, 32):
effective_batch = batch_size * (1 + D)
# GEMM-Mが十分大きくなればcompute-boundへ遷移
if is_compute_bound(gemm_size, effective_batch, hardware_profile):
return D
return 0 # 遷移しない場合はspeculation非推奨
ガイドライン2:Attentionが支配的な場合は D = 128/G - 1
推論(reasoning)やエージェントワークロードでは、attentionが実行時間を支配します。Decode attentionの演算強度は約 2 × G(G = 1つのKV headを共有するquery head数)ですが、speculationによって 2 × G × (1+D) まで引き上がります。現在のGPUではattentionカーネルはGEMM-M=128で良好な利用率を示すため、D = 128/G - 1 が最適点になります。
ガイドライン3:タイル境界の整列に注意
Dを128/G - 1より大きくする場合は、G × (1+D) が 128の倍数 になるように選んでください。そうでないと最後のタイルが部分的にしか使われず、フルタイル分のコストをそのまま支払うことになります。
ガイドライン4:低レイテンシ領域ではALの増分がドラフトコストを正当化する必要がある
Pareto曲線の極端(低レイテンシ)では、カーネル起動オーバーヘッドが支配的になります。この領域でのspeedupは概ね次の通りです。
speedup ≈ AL / (1 + ρD), ここで ρ = L_draft / L_target
draft overhead O_d = ρD
つまり、Dを増やすのはALの増分がドラフトオーバーヘッドを相殺する場合のみ有効 です。小さいモデルでDを無闇に増やすと、かえって遅くなる可能性があるということですね。

ドラフトメカニズムの選択:ALとオーバーヘッドの綱引き
Dを決めたら、次は「どうトークンを生成するか」を決めます。主要手法のトレードオフは以下の通りです。
| 手法 | ドラフトアーキテクチャ | 生成方式 | 学習コスト | 最適用途 |
|---|---|---|---|---|
| External Draft Model | 小型LLM | D回のautoregressive forward | Scratch: 1T~10T+トークン / Distill: 100B~400B | LPU環境。GPUには非推奨 |
| EAGLE-3 | Decoder layer + linear projection | モジュールをD回実行 | ターゲット学習後1~10B追加トークン | MTPより低AL、GPUでは非推奨 |
| MTP | Decoder layer + linear projection | モジュールをD回実行 | Pretraining時にターゲットと共学習 | GPUの大規模モデルに最適 |
| DFlash | Decoder layer + linear KV fusion | Dトークンを並列1ステップ生成 | ターゲット学習後1~10B追加トークン | GPUの大規模モデル |
| DSpark | Decoder layer + linear KV fusion + Markov head | 並列生成後に軽量な逐次補正 | ターゲット学習後1~10B追加トークン | 小規模モデル、batch=1 |
| Suffix / n-gram | モデルなし(文字列マッチング) | O(1)ルックアップ | なし | 繰り返しパターンが多いワークロード |
実践的な判断ポイント
- ALが高いからといって高速とは限りません。 ドラフト生成コストも合わせて見る必要があります。例えばD=11で1-layer MTP headは11ステップかかり
O_d = 11/L_targetですが、5-layer DFlashは1パスで生成しO_d = 5/L_targetです。レイヤ数が多い大規模モデルではどちらも無視できますが、小規模モデルではDFlash/DSparkがAL低めでも最適となり得ます。 - ターゲットモデルをファインチューニングするとALが低下することがあります。 出力分布とhidden representationが変わるためです。ターゲット変更後は必ず代表的なワークロードでALを再測定してください。MTPはターゲットに内蔵されているため、ファインチューニング時に共学習するか、専用のrealign段階が必要です。
- ワークロード特性を反映したベンチマークが必須です。 NVIDIAは SPEED-Bench を推奨しています。コーディングや要約など実際のプロダクションワークロードを反映したspeculative decodingベンチマークで、32K/128Kなど多様なシーケンス長のsplitを提供しています。
この技術の限界と注意点
Speculative decodingは万能ではありません。① 受理率(AL)が低いワークロード(例:創造的生成、固有名詞が多いドメイン)ではオーバーヘッドだけが増えます。② メモリ余裕が乏しい環境 ではドラフトモデルの重みとKVキャッシュが追加負担になります。③ 通信コスト:テンソル並列環境でDが大きくなると検証の通信量も増えるため、compute-communication overlap戦略が必要です。

まとめ:5つのガイドライン・チェックリスト
NVIDIAの内容を実務チェックリストとして圧縮すると以下の通りです。
- GEMMをcompute-boundへ押し込むためにDを増やす(KVキャッシュ圧迫なしで)
- Attentionが支配的な場合は D = 128/G - 1 を起点に
- Dがそれより大きい場合は G × (1+D) を128の倍数に 揃えてタイル利用率を維持
- 低レイテンシ領域ではALの増分がドラフトコストを正当化する時のみDを増やす
- ワークロード・ハードウェアに合わせてALとドラフトオーバーヘッドを均衡 させてメカニズムを選択
日本の開発エコシステムにおける適用文脈
国内では、vLLMやTensorRT-LLMなどのフレームワークを導入してファインチューニング済みモデルをサービングするケースが増えています。この場合、MTPやEAGLE-3のようにターゲットチェックポイントに付随するdrafterを検討する際、ファインチューニングパイプラインにdrafter再学習フェーズを含める ことが実務的に重要です。また、オンプレミスでGPUリソースが限られる環境では、Dを闇雲に増やすのではなく、ガイドライン4(低レイテンシ領域の判断) を先に適用してオーバーヘッドを測定することをお勧めします。
次のステップ学習の方向性
- Part 1: AI Model Co-Design: Hardware-Friendly LLM Design — モデル設計がスループットと対話性に与える影響
- Part 2: Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference — group size、head dimension、sequence lengthがdense attention性能をどう形成するか
- 実習: NVIDIA/Model-OptimizerリポジトリのEAGLE-3、DFlash、DSpark学習例から始め、自身のモデル・ワークロード・ハードウェアでALとend-to-end速度を検証してください。