같은 문서를 다시 검색해도 앞에 놓인 문맥이 달라지면, 저장된 KV를 그대로 재사용할 수 없습니다.
접두사 재사용의 경계
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 검색한 문서를 모델의 입력에 넣습니다. 대규모 언어 모델(Large Language Model, LLM)은 프리필(prefill) 단계에서 입력의 Key와 Value를 계산합니다. 이 값을 저장한 KV 캐시는 이후 토큰을 생성할 때 같은 계산을 반복하지 않도록 합니다.
vLLM의 접두사 캐싱은 이전 요청과 앞부분의 토큰열이 같은 구간을 재사용합니다. 검색된 문서의 조합이나 순서가 바뀌면 공통 접두사가 짧아지므로, 문서가 같아도 재사용되는 계산은 줄어듭니다.
아래는 문서 경계를 토큰 블록 경계와 맞췄다고 가정한 예시입니다. S는 시스템 지시문, A·B·C는 문서 청크, Q는 질문입니다.
| 이전 요청 | 새 요청 | 공통 접두사 |
|---|---|---|
| S → A → B → Q | S → A → C → Q | S → A |
| S → A → B → Q | S → B → A → Q | S |
이 조건은 캐시 키에도 반영됩니다. vLLM의 설계 문서에 따르면 블록 해시는 현재 토큰뿐 아니라 앞선 블록의 해시도 포함합니다. 문서 식별자만 같다는 이유로 같은 캐시를 찾지 않는 구조입니다.
위치와 문맥의 불일치
CacheBlend가 다루는 비접두사 재사용은 청크마다 미리 만든 KV를 요청에 맞춰 조합하는 방식입니다. 그러나 청크 B를 혼자 인코딩한 결과에는 앞선 청크 A를 읽으며 형성할 표현이 없습니다. 특히 앞 계층의 어텐션 결과를 입력으로 받는 후속 계층에서 차이가 남습니다.
flowchart TD
subgraph FULL["전체 프리필"]
direction TB
A["청크 A"] --> B["A를 참조하는 청크 B"]
B --> F["연결된 문맥의 KV"]
end
subgraph CACHED["독립 사전 계산"]
direction TB
C["청크 B만 인코딩"] --> D["B 내부 문맥의 KV"]
D --> E["요청에서 A 뒤에 배치<br/>A의 문맥은 누락"]
end
위치 정보도 별도로 맞춰야 합니다. 회전 위치 임베딩(Rotary Position Embedding, RoPE)을 사용하는 모델에서는 캐시된 Key의 위치를 새 입력의 위치에 맞게 변환해야 합니다. 위치 정렬과 누락된 교차 청크 어텐션은 별도 문제이며, CacheBlend의 재계산은 문맥 차이를 다룹니다.
따라서 위치를 옮기는 연산만으로 전체 프리필과 같은 표현이 복원되지는 않습니다. 예를 들어 A에 인물의 이름, B에 그 인물을 가리키는 대명사가 있다면 두 청크의 연결 관계도 평가해야 합니다. 이는 위치 보정의 성공과 답변 품질을 따로 확인해야 하는 이유입니다.
선택적 재계산
CacheBlend는 캐시를 불러온 뒤 중요한 토큰의 KV만 다시 계산합니다. 선택된 토큰은 현재 요청의 문맥을 참조하고, 나머지는 기존 값을 유지하므로 계산량을 줄입니다. 다만 전체 프리필과 모든 토큰의 표현이 같다는 보장은 없습니다.
CacheBlend는 EuroSys 2025에 발표됐으며, 학회의 아티팩트 평가에서 공개와 기능 동작을 확인받았습니다. 이 평가는 모든 품질·가속 수치를 독립 재현했다는 뜻은 아닙니다. 여기서는 선택적 재계산의 설계 근거로 사용합니다.
재계산할 토큰을 선택하고 갱신하는 데에도 시간이 듭니다. 전체 프리필과 같은 모델·질문·검색 문서를 사용해 답변 품질과 전체 요청 지연을 함께 비교합니다. 재사용 토큰 비율만으로 속도나 정확도를 판단하지 않습니다.
성능 비교의 조건
첫 토큰 지연(Time-to-First-Token, TTFT)은 요청부터 첫 출력 토큰까지의 시간입니다. 검색, 대기, 캐시 로드와 보정 비용을 포함하지 않은 프리필 시간은 TTFT와 다릅니다. 아래 항목을 같은 실행 경계로 맞추는 것이 비교 설계의 출발점입니다.
| 항목 | 비교 조건 |
|---|---|
| 기준선 | 같은 모델의 전체 프리필과 정확한 접두사 캐싱 |
| 입력 | 같은 질문, 문서 집합과 문서 순서 |
| 품질 | 전체 질문의 정확도와 여러 문서의 근거를 잇는 과제 |
| 시간 | 검색·대기·로드·보정·첫 출력까지 포함 |
| 비용 | 사전 계산, 캐시 저장과 갱신 비용 |
특정 질문에서 전체 프리필도 실패했다면 두 경로가 모두 틀린 결과가 평균 차이를 가릴 수 있습니다. 전체 집합과 기준선이 성공한 하위 집합을 별도로 볼 수 있지만 분모를 명시해야 합니다. 이는 이 글에서 제안하는 평가 방법이며 CacheBlend의 정리나 보장으로 제시하는 것은 아닙니다.
도입 전 측정 기준
다음 표는 서비스 평가를 위한 제안입니다. 캐시 적중과 미적중을 나누어 측정하고, 근사 재사용으로 생긴 품질 차이를 추적합니다.
| 관찰할 항목 | 확인할 판단 |
|---|---|
| 청크 재등장률과 접두사 적중률 | 비접두사 재사용의 실험 필요성 |
| 검색·대기·KV 로드·보정 시간 | 줄이려는 계산이 실제 병목인지 |
| 여러 문서에 걸친 질문의 정확도 | 문맥 손실의 영향 |
| 모델·원문 변경 후 재구축 비용 | 사전 계산 비용 회수 여부 |
원문, 토크나이저, 모델 가중치와 어댑터 버전을 캐시 유효성 조건에 포함합니다. 서로 다른 버전의 KV를 섞지 않도록 관리합니다. 이 글에서는 CacheBlend의 서빙 성능을 직접 재현하지 않았으므로 실제 적용에는 별도 측정이 필요합니다.
정리
같은 문서를 다시 찾는 것과 같은 KV를 재사용하는 것은 조건이 다릅니다. 비접두사 재사용은 위치뿐 아니라 선행 문맥의 차이를 다뤄야 하며, CacheBlend는 선택적 재계산으로 이를 보완합니다. 그 결과가 전체 프리필과 항상 같다는 보장은 없습니다. 청크 재등장, 요청 전체 지연과 답변 품질을 함께 측정해 적용 여부를 정해야 합니다.