LLM 추론 단계의 특화

추론의 모든 단계가 같은 가중치 정밀도, 같은 문맥, 같은 실행 순서를 공유한다는 가정이 깨지고 있습니다. 단계를 따로 설정해 얻는 이득은 그 단계가 어디에서 막히는지, 전역 문맥을 누가 들고 있는지에 따라 달라집니다.

LLM 서빙은 보통 체크포인트 하나를 한 가지 정밀도로 올리고, 모든 단계가 같은 문맥을 정해진 순서로 처리합니다. 2026년에 나온 세 연구는 이 가정을 서로 다른 단계에서 하나씩 깹니다. 분리 양자화는 prefill과 decode의 정밀도를 나누고, DLite는 드래프터가 보는 문맥을 줄이며, Saguaro는 draft와 verify의 실행 순서를 겹칩니다.

세 연구 모두 이득을 보고하지만, 분리마다 가중치 사본, 추가 학습, 추가 GPU 같은 대가가 붙습니다. 어느 단계를 나눌지 판단하려면 이득이 난 조건과 사라진 조건을 함께 봐야 합니다. 이 글은 그 조건을 병목의 종류와 문맥 의존성이라는 두 축으로 정리합니다.

네 단계가 막히는 곳

prefill은 프롬프트 전체를 한 번에 처리하고, decode는 토큰을 하나씩 생성합니다. 두 단계의 비대칭은 Transformer 구조와 LLM 서빙 최적화에 정리했습니다. 분리 양자화 논문(arXiv:2609.26333)은 이 차이를 선형층 하나의 산술로 설명합니다.

H×H 가중치가 토큰 T개를 처리하면 옮기는 원소는 O(H²+TH)개이고 연산은 O(TH²)입니다. 충분히 긴 prefill에서는 T가 커서 가중치 전송이 많은 연산에 나뉘므로 선형층이 대체로 연산에서 막힙니다. 배치 1 decode(T=1)에서는 가중치 하나가 곱셈-덧셈 한 번에만 쓰이므로 가중치 적재가 지연을 정합니다.

추측 디코딩(speculative decoding)은 여기에 두 단계를 더합니다. 작은 드래프터가 후보 토큰 K개를 만드는 draft와, 타깃 모델이 후보를 한 번의 forward로 검사하는 verify입니다. 라운드당 수락되는 평균 토큰 수를 수용 길이(acceptance length, τ)라고 하며, τ가 크고 draft와 verify가 짧을수록 가속이 커집니다.

정밀도를 단계마다 고르기

Panferov 등의 분리 양자화(disaggregated quantization, arXiv:2609.26333, 2026-09)는 두 단계에 다른 포맷을 줍니다. prefill은 하드웨어가 직접 계산하는 4비트 부동소수점 포맷 NVFP4로 가중치와 활성화를 모두 양자화합니다(W4A4). decode는 옮기는 비트를 줄이는 가중치 전용(weight-only) 저비트 포맷을 씁니다.

출발점은 단계별 민감도의 비대칭입니다. 저자들은 한 단계만 NVFP4로 양자화해 두 단계의 손실을 비교했습니다.

GSM8K, MATH-500, MMLU-Pro 같은 decode-heavy 과제에서는 decode 쪽 손실이 prefill 쪽의 24배였습니다. 이는 대부분 모델의 범위이고, Gemma3-1B에서는 최대 7배였습니다. 프롬프트가 길고 답이 짧은 RULER에서는 반대로 prefill 쪽 손실이 1.14.1배였고, 8개 모델 중 7개에서 그랬습니다.

가장 싼 분리는 가중치 한 벌을 공유하고 decode에서만 활성화 양자화를 끄는 포맷 분리입니다. 논문은 이 방식이 메모리 병목인 decode를 활성화 양자화 생략으로 약간 빠르게 한다고 설명합니다. 더 큰 차이는 prefill 가중치를 따로 두는 완전 분리에서 나오며, weight-only decode의 정확도가 크게 떨어지는 2비트에서 두드러집니다.

완전 분리는 가중치를 두 벌 두므로 디바이스 메모리가 늘어납니다. 논문의 ODP(Offloaded Disaggregated Prefill)는 prefill 가중치를 SSD 저장장치에서 블록 단위로 읽어 이 메모리를 되돌립니다.

논문 Table 1의 값이며, 속도와 메모리는 Qwen3-8B를 DGX Spark에서 잰 값입니다. prefill은 16K 문맥, decode는 vLLM 배치 1의 토큰당 지연 기준입니다. 정확도는 Qwen 3(0.6B8B) / Gemma 3(1B12B) 크기 평균이고, LUT2는 2비트 룩업 테이블(lookup table) 포맷입니다.

완전 분리는 2비트 weight-only보다 두 과제 유형 모두에서 정확도가 높지만, 상주 가중치가 4.66 GB에서 8.57 GB로 늘어납니다. ODP를 쓰면 메모리는 4.66 GB로 돌아오고, prefill 가속은 1.49배에서 1.47배로 조금 줄어듭니다.

가장 큰 차이는 decode 체크포인트를 고정한 실험에서 나옵니다. 저자들은 공개된 Qwen3.8-27B GGUF IQ1_S decoder를 그대로 두고 NVFP4 prefiller만 학습해 붙였습니다.

그 결과 MMLU-Pro가 29.04에서 61.54로, MMMU-Pro가 24.39에서 59.65로 올랐습니다. BF16 기준은 84.62와 75.26이며, 평가는 GB300의 vLLM에서 온도 1.0으로 칸마다 한 번 실행한 값입니다.

논문은 이 이득의 일부를 나눠 봤습니다. 학습하지 않은 RTN(round-to-nearest) NVFP4 prefill만 붙인 값은 MMLU-Pro 48.39, MMMU-Pro 30.29였습니다. 학습한 prefiller의 61.54, 59.65와 비교하면 prefill을 따로 두는 것만으로 생긴 이득과 학습으로 더한 이득이 구분됩니다.

응답 길이도 바뀌었습니다. IQ1_S의 MMMU-Pro 평균 응답 길이는 14,579에서 6,582토큰으로 54.8% 줄었고, 최대 길이에서 잘린 비율은 24.57%에서 4.16%로 내려갔습니다. 다만 정확도 이득이 어떤 경로로 생기는지는 분리되지 않았습니다.

드래프터가 과거를 보지 않을 때

DLite(arXiv:2610.23787, 2026-10)는 에이전트 워크로드에서 기존 드래프터의 수용 길이가 최대 80% 떨어진다고 보고합니다. 같은 논문에서 Qwen3-4B 타깃의 DFlash 드래프터는 GSM8K τ가 5.97이었습니다. 입력이 55.5K~74.1K 토큰인 AgentLongBench에서는 τ가 1.14였고, 속도는 자기회귀 디코딩의 0.95배로 오히려 느렸습니다.

저자의 진단은 드래프터가 타깃이 이미 처리한 과거 정보를 반복해서 재구성한다는 것입니다. 이 부담은 시스템 비용으로도 나타납니다.

저자들이 SGLang에서 DeepSeek-V4의 MTP(multi-token prediction) 모듈을 측정하자 KV 캐시 갱신과 유지가 종단 지연의 10~20%를 차지했습니다. 이 측정의 하드웨어와 배치는 적혀 있지 않습니다.

DLite는 매 라운드 입력을 타깃의 문맥 은닉 상태, 현재 앵커 토큰, 드래프트 자리표시자 K개로 한정합니다. 위치는 누적 전역 위치가 아닌 블록 안의 로컬 위치를 쓰고, 라운드 사이에 드래프트 KV 캐시를 유지하지 않습니다. 저자는 이 구조를 전역 문맥 모델링은 타깃에 맡기고 드래프터는 로컬 예측만 하는 것으로 설명합니다.

조건은 H800, 블록 크기 K=7입니다. 기준선 DSpark는 논문이 직전 최고 성능으로 지목한 반자기회귀(semi-autoregressive) 드래프터로, 병렬 백본에 가벼운 순차 모듈을 붙인 구조입니다.

GSM8K에서는 τ 차이가 2% 안팎이고, 입력이 수만 토큰인 에이전트 워크로드에서는 차이가 벌어집니다. 저자들은 드래프터가 과거를 버려도 되는 이유를 타깃이 그 과거를 이미 처리해 은닉 상태로 넘겨주기 때문이라고 설명합니다.

문맥을 더 넣는 반대 방향

ReaDy(arXiv:2610.20503, 2026-10)는 같은 DSpark 드래프터에 문맥을 더합니다. DSpark의 병렬 백본과 순차 헤드는 그대로 두고, 타깃의 순환 상태를 보조 문맥(supplementary context)으로 읽어 더합니다.

타깃 Qwen3.8-27B는 Gated DeltaNet 선형 어텐션 층과 full attention 층을 섞은 모델입니다. 선형 층은 접두사 길이와 무관하게 헤드당 128×128 크기의 순환 상태로 과거를 요약하며, ReaDy는 층 30과 62의 상태를 드래프트 위치별 질의로 읽습니다.

B200 1장, SGLang, 동시성 1, greedy 조건의 7개 벤치마크 평균 처리량은 DSpark 280.42에서 302.78 TPS(초당 토큰 수)로 7.97% 올랐습니다. 상태를 읽지 않고 같은 절차로 미세조정만 한 대조군은 2.17% 올랐습니다. 얕은 층 2의 상태를 더하면 이득이 6.22%로 오히려 줄었습니다.

DLite는 드래프터의 과거를 없애고, ReaDy는 DSpark의 기존 과거 경로에 타깃이 계산한 고정 크기 요약을 더합니다. DLite 논문은 DSpark도 길이가 늘어나는 과거 문맥에 명시적으로 의존한다고 분류합니다. 두 연구 모두 타깃이 계산한 표현에서 과거 정보를 가져온다는 점이 같다고 판단합니다.

두 연구는 타깃, 하드웨어, 워크로드가 달라 수치를 직접 비교할 수 없습니다. 같은 워크로드에서 둘을 비교한 실험도 없습니다.

타깃 decode의 문맥

전역 문맥을 직접 들고 있는 타깃 decode는 사정이 다릅니다. SAS(arXiv:2609.13141, 2026-09)는 prefill을 dense attention으로 두고 decode attention만 희소화합니다. 각 질의는 64토큰 블록 중 선택기가 고른 일부와 현재 블록만 읽습니다.

Qwen3-4B의 GPQA-Diamond 결과는 예산에 따라 달랐습니다. 예산 1024토큰에서 SAS는 50.41%로 full attention 56.19%보다 낮았습니다. 같은 예산에서 증류 기반 SeerAttention-R은 39.84%, StreamingLLM은 13.86%, 슬라이딩 윈도는 1.52%였습니다.

예산을 2048과 4096토큰으로 늘리면 SAS는 54.86%와 55.11%였습니다. 이 차이는 SAS에 붙은 ±2.8~2.9 범위 안입니다.

속도 이득은 긴 문맥에서 납니다. 배치 1에서 8K 문맥은 full attention과 거의 같았고, 64K에서 2.4배, 512K에서 5.6배 빨랐습니다.

긴 문맥에서는 정확도 손실도 커집니다. 부록의 RULER에서 예산 4096일 때 Qwen3-4B는 64K에서 SAS 35.53 대 full attention 73.17, 128K에서 21.87 대 63.81이었습니다. 속도 이득이 나는 구간과 정확도가 크게 떨어지는 구간이 겹치므로, 타깃 decode의 문맥은 드래프터의 과거처럼 줄이기 어렵다고 판단합니다.

검증을 기다리지 않는 드래프트

표준 추측 디코딩에서 드래프터는 검증 결과를 알아야 다음 후보를 만들 수 있습니다. 어디까지 수락됐는지에 따라 다음 후보가 이어질 문맥이 달라지기 때문입니다. 그래서 draft와 verify는 번갈아 실행됩니다.

Kumar, Dao, May의 Speculative Speculative Decoding(arXiv:2603.03251, ICLR 2026)은 이 순서를 겹칩니다. 검증 결과를 수락 길이 k와 보너스 토큰의 쌍으로 보고, 타깃이 검증하는 동안 별도 GPU의 드래프터가 가능성 높은 결과마다 다음 후보를 미리 만듭니다. 이 방식을 최적화한 알고리즘이 Saguaro이며, 이 글은 이 방법을 Saguaro로 부릅니다.

flowchart LR
  V["verify: 타깃이 현재 후보 검사"] --> O["실제 결과<br/>수락 길이 k, 보너스 토큰"]
  P["draft GPU: 예상 결과별 다음 후보 생성"] --> C["speculation cache"]
  O --> H{"결과가 캐시에 있는가"}
  C --> H
  H -->|"적중"| R["준비된 후보를 바로 다음 검증에 사용"]
  H -->|"miss"| B["backup 드래프터로 후보 생성"]
  B --> R2["생성이 끝난 뒤 다음 검증"]

장치 사이에는 KV 캐시를 옮기지 않고 검증 결과, 후보 토큰, logits만 주고받습니다. 실제 결과가 캐시에 있으면 준비된 후보를 바로 쓰고, 없으면 backup 드래프터가 후보를 만듭니다.

논문 부록 B.3은 Llama-3.1-70B 타깃과 Llama-3.2-1B 드래프터로 4개 데이터셋 평균 decode 속도를 보고합니다. 자기회귀는 54.7, 추측 디코딩은 161.8, Saguaro(논문 표기 SSD)는 255.8 tok/s였습니다. 배치 1, 출력 512토큰, prefill 제외 조건이며, 자기회귀와 추측 디코딩은 H100 4장, Saguaro는 드래프터용 1장을 더한 5장을 썼습니다.

논문의 배치 모형에서는 겹치기의 이득이 배치가 커질수록 줄어듭니다. 이 모형인 Corollary 16은 요청별 캐시 적중이 독립이고, 한 요청이라도 miss하면 배치 전체가 backup을 기다린다고 가정합니다.

p      : 요청 하나가 캐시에 적중할 확률
b      : 배치 크기
T_p    : 주 드래프터 시간 (검증 시간 = 1)
T_b    : backup 드래프터 시간
E_hit  : 적중일 때 기대 생성 토큰 수
E_miss : miss일 때 기대 생성 토큰 수
 
speedup(b) = (p*E_hit + (1-p)*E_miss) / (p^b * max(1, T_p) + (1 - p^b) * (1 + T_b))
b가 커지면 p^b -> 0 이므로 speedup -> (p*E_hit + (1-p)*E_miss) / (1 + T_b)

배치 전체가 적중할 확률 p^b는 배치가 커질수록 0에 가까워집니다. 그러면 검증과 draft를 겹치는 max(1, T_p) 항이 사라지고, 속도는 backup 시간 T_b와 miss일 때의 생성 수가 정합니다. 논문은 큰 배치에서 빠른 backup으로 바꾸며, 공개 구현의 backup은 무작위 토큰을 반환합니다.

특화가 이득을 내지 않는 조건

첫째는 decoder의 정확도 손실 크기입니다. prefiller의 이득은 공칭 비트 수보다 weight-only decoder의 정확도가 얼마나 떨어졌는지를 따라갔습니다. 같은 2비트대에서도 IQ2_S는 MMLU-Pro +2.80, MMMU-Pro +0.87이었고, Q2_K_XL은 +0.18, −0.64였습니다.

3비트대 decoder에서는 이득이 거의 없었고, MMMU-Pro는 세 포맷 모두 1.97~2.77 낮게 나왔습니다. 다만 Table 5는 온도 1.0에서 칸마다 한 번 실행했고 유의성 검정이 없습니다. 특히 MMLU-Pro의 −0.62, −0.63 같은 작은 차이는 하락으로 단정하기 어렵습니다.

둘째는 배치입니다. 분리 양자화의 decode 속도는 배치 1에서만 쟀고, 저자는 고배치 서빙과 멀티턴, 에이전트 동작을 평가하지 않았다고 밝힙니다.

앞의 산술대로라면 배치가 커질수록 decode 선형층도 가중치를 여러 토큰에 재사용하므로 정밀도 분리의 근거가 약해질 수 있습니다. 이는 추정입니다.

DLite도 동시성이 오르면 가속이 줄었습니다. Qwen3-8B LiveCodeBench에서 동시성 1의 3.95배가 동시성 64에서 2.13배가 됐고, 같은 조건의 DSpark도 3.60배에서 2.08배로 줄었습니다. 이 동시성 실험은 Alpaca, MT-Bench, LiveCodeBench 같은 일반 과제만 다루며, 에이전트 워크로드의 결과는 없습니다.

동시성 1에서 64 사이에 DSpark 대비 우위는 모델마다 달랐습니다. Qwen3-4B MT-Bench에서는 +2.1%에서 +6.3%로 커졌고, Qwen3-8B LiveCodeBench에서는 +9.8%에서 +2.4%로 줄었습니다. Qwen3-4B MT-Bench 동시성 16에서는 DLite 8162 TPS가 DSpark 8177 TPS보다 조금 낮았습니다.

셋째는 단계 사이의 결합입니다. 분리 양자화 저자는 멀티턴에서 캐시된 assistant 토큰이 decode가 만든 KV를 유지한다고 적습니다. 같은 이력을 prefill로 다시 만들면 다른 캐시가 생기며, 이 의존성은 검증되지 않았습니다.

넷째는 증거의 강도입니다. DLite가 과거 KV를 쓰지 않아도 된다는 직접 근거는 같은 데이터와 설정으로 학습한 128·512토큰 슬라이딩 윈도 변형과 비교한 Fig. 5(b)입니다. 본문은 비슷한 수용 길이에 도달했다고만 적고 수치와 벤치마크를 밝히지 않으며, 평가 온도도 적지 않습니다.

다섯째는 대가입니다. 완전 분리는 상주 가중치를 1.7~2.1배로 늘리고, 이를 되돌리는 ODP는 dense 모델용이며 MoE(mixture-of-experts) 모델에는 그대로 옮겨지지 않습니다. 짧은 프롬프트에서는 SSD 저장장치에서의 적재가 계산을 막습니다.

DLite는 동형 교사를 거치는 2단계 학습이 필요하고, Saguaro는 GPU 수가 다른 조건의 비교입니다.

소스가 답하지 못한 것도 있습니다. 여러 분리를 함께 쓴 실험은 위 논문 어디에도 없습니다.

예를 들어 verify는 후보 K개를 한 번에 처리하므로 T가 1보다 크고 prefill보다 훨씬 작습니다. verify가 prefill 포맷과 decode 포맷 중 무엇을 써야 하는지는 열린 문제라고 판단합니다.

어느 단계를 나눌지 정하는 기준

단계를 나눌지는 두 축으로 정합니다. 그 단계의 병목이 이웃 단계와 다른지, 그리고 그 단계가 전역 문맥을 직접 들고 있는지입니다. 네 질문에 차례로 답해 보면 됩니다.

• 병목이 다른가? 운영 배치와 프롬프트 길이에서 prefill이 연산에, decode가 적재에 막히는지 먼저 측정합니다. 배치가 커서 decode도 연산에 막히면 정밀도 분리의 근거가 약해질 수 있습니다. 이 기준은 앞에서 밝힌 추정에 기댑니다.
• 어느 단계가 품질을 정하는가? 한 단계만 양자화해 손실을 재면 알 수 있습니다. 분리 양자화 논문이 쓴 방법이며, decode-heavy와 prefill-heavy 과제에서 결과가 반대로 나왔습니다.
• 전역 문맥을 누가 들고 있는가? 타깃이 들고 있으면 드래프터는 과거를 버리거나(DLite) 고정 크기 요약을 더할 수 있습니다(ReaDy). 타깃 decode 자신이 들고 있으면 학습된 선택으로만 줄일 수 있고, 긴 문맥에서 정확도 손실이 큽니다.
• 직렬 의존의 결과를 예측할 수 있는가? 배치 1이고 GPU가 남으면 결과 예측으로 draft와 verify를 겹칠 수 있습니다. 배치가 크면 p^b 때문에 이득이 줄어듭니다.

prefill과 decode를 다른 GPU에 두면 단계 사이에 KV 캐시를 옮기는 비용이 생깁니다. 이 비용과 캐시 위치의 문제는 KV 캐시 중심으로 본 LLM 서빙에 정리했습니다. 옮길 캐시를 줄이는 구조는 Multi-head Latent Attention과 KV 캐시 압축에 있습니다.

참고 자료

• Disaggregated Quantization: Specializing LLM Prefill and Decode, arXiv:2609.26333 (2026-09)
• DLite: History-free Speculative Decoding for Agentic AI, arXiv:2610.23787 (2026-10)
• ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models, arXiv:2610.20503 (2026-10)
• SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking, arXiv:2609.13141 (2026-09)
• Speculative Speculative Decoding, arXiv:2603.03251 (2026-03, v3 2026-05, ICLR 2026)

모든 수치는 2026-10 기준으로 각 원문에서 대조했습니다.

정리

LLM 추론의 네 단계는 서로 다른 곳에서 막히고, 2026년 연구들은 정밀도, 문맥, 실행 순서를 단계별로 나눠 이득을 냈습니다. 분리 양자화는 weight-only decode의 정확도가 크게 떨어질 때 prefill을 따로 두어 정확도 손실의 일부를 메웠습니다.

DLite는 입력이 수만 토큰인 에이전트 워크로드에서 드래프터의 과거를 버려 가속을 올렸습니다. Saguaro는 배치 1에서 GPU 한 장을 더 써 draft와 verify를 겹쳤습니다.

이득의 조건은 병목의 종류와 문맥 의존성이라고 판단합니다. 타깃이 전역 문맥을 대신 들고 있으면 드래프터는 과거를 버리거나 고정 크기 요약을 더할 수 있습니다. 문맥을 직접 들고 있는 타깃 decode는 학습된 선택으로 줄여도 긴 문맥에서 손실이 큽니다.

분리 양자화의 속도는 배치 1에서만 측정됐습니다. DLite와 DSpark의 가속은 일반 과제에서 동시성이 오를수록 함께 줄었고, Saguaro의 이득은 논문의 모형에서 배치가 커질수록 줄어듭니다. 여러 분리를 결합한 효과는 아직 측정되지 않았습니다.