들어가며: LLM 추론, 왜 아직도 느린가?
LLM 서빙을 하다 보면 누구나 한 번은 이런 벽에 부딪힙니다. "GPU는 놀고 있는데 왜 토큰은 한 개씩만 나오지?" Autoregressive decoding의 숙명이죠. 토큰 하나 생성할 때마다 전체 모델을 통과해야 하니, 연산 집약도(arithmetic intensity)는 바닥이고 메모리 대역폭만 갈아 넣는 구조입니다.
여기서 Speculative Decoding(추측 디코딩) 이 등장합니다. 작은 드래프트 모델이 여러 토큰을 미리 던지고, 큰 타겟 모델이 이를 병렬로 검증하는 방식이죠. 핵심은 "검증은 병렬로, 정확도는 그대로" 라는 점입니다. 타겟 모델이 수용(accept)한 토큰만 유지하므로, 수용 기준을 의도적으로 풀지 않는 한 출력 시퀀스는 표준 디코딩과 동일합니다.
이 글에서는 NVIDIA가 공개한 co-design 시리즈의 3편 내용을 바탕으로, 실무에서 바로 적용할 수 있는 드래프트 길이(D) 선택 5가지 가이드라인과 드래프트 메커니즘 비교를 정리해 드립니다. 근거자료는 NVIDIA Developer Blog에서 확인하실 수 있어요.

핵심 개념: D, AL, 그리고 Speedup 공식
먼저 용어를 정리하고 갑시다.
- D (Draft Length): 타겟 반복 1회당 제안하는 토큰 수
- AL (Acceptance Length): 타겟 반복 1회당 실제로 생산(수용)되는 토큰 수. 범위는 1 ~ (1+D)
- B (Batch Size): 배치 크기
속도 향상(speedup)은 다음 공식으로 정량화됩니다.
speedup = (T_verif(B) × AL) / (T_verif(B × (1+D)) + T_draft(B, D))
여기서 T_verif(x)는 x개 토큰 검증 시간, T_draft(b, y)는 배치 b에 대해 길이 y의 드래프트 생성 시간입니다. 결국 (D, AL, T_draft) 튜플의 최적점을 찾는 게임이죠.
가이드라인 1: GEMM을 compute-bound로 밀어넣어라
검증 단계에서 연산량은 (1+D)에 비례해 늘지만 메모리 접근은 그대로입니다. 즉, D를 늘려서 검증이 memory-bound에서 compute-bound로 전환되는 지점까지 밀어붙이면 공짜로 성능을 얻습니다. 예를 들어 D=7이면 D=0 대비 1/8 배치 크기만으로도 compute-bound에 도달합니다. MoE 모델이 희소해지고 long-context로 KV 캐시 압박이 커질수록 이 효과는 더 커집니다.
# 의사 코드: D 증가에 따른 compute-bound 전환 지점 탐색
def find_optimal_D(batch_size, gemm_size, hardware_profile):
# 메모리 대역폭 대비 연산 처리량 비율 확인
for D in range(0, 32):
effective_batch = batch_size * (1 + D)
# GEMM-M이 충분히 커지면 compute-bound로 전환
if is_compute_bound(gemm_size, effective_batch, hardware_profile):
return D
return 0 # 전환 실패 시 speculation 비권장
가이드라인 2: Attention이 지배적일 때는 D = 128/G - 1
추론(reasoning)이나 에이전트 워크로드에서는 attention이 실행 시간을 지배합니다. Decode attention의 연산 집약도는 약 2 × G (G = 하나의 KV head를 공유하는 query head 수)인데, speculation이 이를 2 × G × (1+D)로 끌어올립니다. 현재 GPU에서 attention 커널은 GEMM-M=128에서 좋은 활용도를 보이므로, D = 128/G - 1이 최적점이 됩니다.
가이드라인 3: 타일 경계 정렬을 신경 써라
D를 128/G - 1보다 크게 잡아야 한다면, G × (1+D)가 128의 배수가 되도록 선택하세요. 그렇지 않으면 마지막 타일이 부분적으로만 활용되면서 full tile 비용을 그대로 냅니다.
가이드라인 4: 저지연 구간에서는 AL 증가분이 드래프트 비용을 정당화해야
Pareto 곡선의 극단(저지연)에서는 커널 런치 오버헤드가 지배합니다. 이 구간에서 speedup은 대략 다음과 같습니다.
speedup ≈ AL / (1 + ρD), 여기서 ρ = L_draft / L_target
draft overhead O_d = ρD
즉, D를 늘리는 것은 AL 증가분이 드래프트 오버헤드를 상쇄할 때만 유효합니다. 작은 모델에서 D를 무작정 키우면 오히려 느려질 수 있다는 뜻이죠.
![]()
드래프트 메커니즘 선택: AL vs 오버헤드의 줄다리기
D를 정했다면, 이제 "어떻게 토큰을 생성할 것인가"를 결정해야 합니다. 주요 기법들의 트레이드오프를 정리하면 다음과 같습니다.
| 기법 | 드래프트 아키텍처 | 생성 방식 | 학습 비용 | 최적 용도 |
|---|---|---|---|---|
| External Draft Model | 소형 LLM | D회 autoregressive forward | Scratch: 1T | LPU 환경. GPU에는 비권장 |
| EAGLE-3 | Decoder layer + linear projection | 모듈 D회 실행 | 타겟 학습 후 1~10B 추가 토큰 | MTP 대비 낮은 AL, GPU에서 비권장 |
| MTP | Decoder layer + linear projection | 모듈 D회 실행 | Pretraining 시 타겟과 함께 학습 | GPU 대형 모델에 최적 |
| DFlash | Decoder layer + linear KV fusion | D개 토큰을 병렬 1스텝 생성 | 타겟 학습 후 1~10B 추가 토큰 | GPU 대형 모델 |
| DSpark | Decoder layer + linear KV fusion + Markov head | 병렬 생성 후 경량 순차 보정 | 타겟 학습 후 1~10B 추가 토큰 | 소형 모델, batch=1 |
| Suffix / n-gram | 모델 없음 (문자열 매칭) | O(1) 룩업 | 없음 | 반복 패턴이 많은 워크로드 |
실전 판단 포인트
- AL이 높다고 무조건 빠른 게 아닙니다. 드래프트 생성 비용을 함께 봐야 합니다. 예를 들어 D=11에서 1-layer MTP head는 11스텝이 걸려
O_d = 11/L_target이지만, 5-layer DFlash는 한 번에 생성해O_d = 5/L_target입니다. 레이어 수가 많은 대형 모델에서는 둘 다 무시할 수준이지만, 소형 모델에서는 DFlash/DSpark가 AL이 낮아도 최적일 수 있습니다. - 타겟 모델을 파인튜닝하면 AL이 떨어질 수 있습니다. 출력 분포와 hidden representation이 바뀌기 때문이죠. 타겟 교체 후에는 반드시 대표 워크로드에서 AL을 재측정하세요. MTP는 타겟에 내장되어 있으니 파인튜닝 시 함께 학습하거나 별도 realign 단계가 필요합니다.
- 워크로드 특성을 반영한 벤치마크가 필수입니다. NVIDIA는 SPEED-Bench를 권장합니다. 코딩, 요약 등 실제 프로덕션 워크로드를 반영한 speculative decoding 벤치마크로, 32K/128K 등 다양한 시퀀스 길이 split을 제공합니다.
이 기술의 한계와 주의사항
Speculative decoding은 만능이 아닙니다. ① 수용률(AL)이 낮은 워크로드(예: 창의적 생성, 고유명사 많은 도메인)에서는 오버헤드만 늘어납니다. ② 메모리 여유가 부족한 환경에서는 드래프트 모델의 가중치와 KV 캐시가 추가 부담이 됩니다. ③ 커뮤니케이션 비용: 텐서 병렬화 환경에서 D가 커지면 검증 통신량도 늘어나므로 compute-communication overlap 전략이 필요합니다.

결론: 5가지 가이드라인 체크리스트
NVIDIA가 제시한 내용을 실무 체크리스트로 압축하면 다음과 같습니다.
- GEMM을 compute-bound로 밀어넣기 위해 D를 늘려라 (KV 캐시 압박 없이)
- Attention이 지배적이면 D = 128/G - 1을 시작점으로
- D가 더 크면 G × (1+D)를 128의 배수로 맞춰 타일 활용도 유지
- 저지연 구간에서는 AL 증가분이 드래프트 비용을 정당화할 때만 D 증가
- 워크로드·하드웨어에 맞춰 AL과 드래프트 오버헤드를 균형 있게 보고 메커니즘 선택
한국 개발 생태계에서의 적용 맥락
국내 환경에서는 자체 LLM을 온프레미스로 서빙하는 팀보다 vLLM, TensorRT-LLM 같은 프레임워크를 도입해 파인튜닝 모델을 서빙하는 케이스가 많습니다. 이 경우 MTP나 EAGLE-3처럼 타겟 체크포인트에 붙는 drafter를 고려할 때, 파인튜닝 파이프라인에 drafter 재학습 단계를 포함시키는 것이 실무적으로 중요합니다. 또한 국내 SI 프로젝트 특성상 GPU 자원이 제한적인 경우가 많아, D를 무작정 키우기보다 가이드라인 4(저지연 구간 판단) 를 먼저 적용해 오버헤드를 측정하는 걸 권장합니다.
다음 단계 학습 방향
- Part 1: AI Model Co-Design: Hardware-Friendly LLM Design — 모델 설계가 처리량과 상호작용성에 미치는 영향
- Part 2: Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference — group size, head dimension, sequence length가 dense attention 성능을 어떻게 형성하는지
- 실습: NVIDIA/Model-Optimizer 저장소의 EAGLE-3, DFlash, DSpark 학습 예제로 시작해, 본인 모델·워크로드·하드웨어에서 AL과 end-to-end 속도를 검증해 보세요.