공유 접두사 캐시의 격리는 재사용을 허용할 요청 집합을 먼저 정하는 문제입니다.
접두사 캐시는 이전 입력과 앞부분이 일치할 때 어텐션 Key와 Value(KV)를 재사용합니다. 프리필 계산이 줄면 첫 토큰까지 걸리는 시간(Time to First Token, TTFT)도 달라질 수 있습니다.
vLLM 공식 보안 문서는 여러 사용자가 같은 캐시를 쓰는 환경의 타이밍 부채널과 cache salting을 설명합니다. 이 글은 공식 구현 문서가 설명하는 격리 범위와 서비스 검증 항목을 다룹니다. 특정 신규 방어 논문의 성능이나 안전성 보장을 전제하지 않습니다.
응답 시간과 캐시 공유
다른 사용자의 입력과 같은 접두사를 추측한 요청이 캐시에 적중하면 계산량이 달라질 수 있습니다. 공격자가 그 차이를 관측할 수 있는지는 부하와 네트워크, 캐시 상태에도 영향을 받습니다.
flowchart TD
V[다른 사용자의 요청] --> C[공유 접두사 캐시]
A[후보 접두사 요청] --> C
C --> H[적중과 재사용]
C --> M[미적중과 계산]
H --> T[첫 토큰 시간 관측]
M --> T
이 그림은 캐시 재사용의 관측 경로를 설명합니다. 특정 환경의 공격 성공률을 측정한 결과는 아닙니다. 응답 본문에서 민감한 문자열을 제거하는 것과 실행 시간의 공유 상태 노출은 별도로 평가해야 합니다.
캐시 키와 신뢰 그룹
vLLM v0.15.0 설계 문서는 블록 해시에 부모 블록 해시, 토큰과 추가 키를 사용한다고 설명합니다. cache_salt는 첫 블록 해시에 반영되어 같은 salt를 가진 요청끼리만 캐시를 공유하게 합니다.
서비스는 인증된 사용자나 테넌트를 salt와 연결해야 합니다. 보안 문서는 추측 가능한 계정 이름 대신 충분히 무작위인 비밀 값을 사용하도록 설명합니다. 외부 호출자가 다른 테넌트의 salt를 임의로 선택할 수 있다면 의도한 경계를 유지할 수 없습니다.
| 항목 | 결정하는 것 | 대신하지 않는 것 |
|---|---|---|
| 입력 토큰과 부모 해시 | 일치하는 접두사 | 사용자 인증 |
| cache_salt | 재사용을 허용할 요청 그룹 | 그룹 구성원의 적절성 |
| 게이트웨이의 그룹 배정 | 인증 주체와 공유 그룹 연결 | 모델 응답과 저장소 전체의 보안 |
세 번째 행은 이 글의 서비스 설계 제안입니다. vLLM의 요청 필드만으로 조직의 권한 정책이 자동 구성되지는 않습니다.
격리 범위와 비용
Salt를 나누면 그룹 간 캐시 재사용이 제한됩니다. 서로 공유해도 되는 요청을 더 잘게 나누면 재사용 기회도 줄어듭니다. 실제 지연과 처리량 변화는 요청의 접두사 분포에 따라 측정해야 합니다.
| 비교 구성 | 확인할 공유 범위 | 함께 측정할 항목 |
|---|---|---|
| 캐시 비활성 | 접두사 재사용 없음 | 프리필 비용과 처리량 |
| 전체 공유 | 같은 백엔드의 요청 | 그룹 간 적중 여부와 시간 분포 |
| 그룹별 salt | 같은 신뢰 그룹의 요청 | 그룹 안팎의 재사용과 성능 |
이 표는 자체 비교 실험을 위한 구성입니다. 어떤 방식이 몇 퍼센트 빠르다는 공통 성능값을 제공하지 않습니다. Salt는 캐시 키의 공유 경계이며 모든 GPU·네트워크 부채널을 제거한다는 보장도 아닙니다.
서비스에서 확인할 조건
캐시가 맞게 나뉘는지와 외부에서 시간이 구분되는지는 다른 검증입니다. 속도가 비슷하다는 관찰만으로 격리가 올바르다고 판단하지 않습니다.
| 검증 | 확인할 결과 |
|---|---|
| 같은 그룹의 같은 접두사 | 의도한 재사용이 이루어지는지 |
| 다른 그룹의 같은 접두사 | 그룹 간 KV 재사용이 제한되는지 |
| salt 누락과 위조 | 인증 경계에서 정책대로 처리되는지 |
| 그룹 변경과 비밀 값 교체 | 새로운 요청이 의도한 키를 사용하는지 |
| 실제 부하 | TTFT 분포, 처리량과 캐시 사용량 |
이 검증 항목은 운영 제안이며 이 글에서 실행한 벤치마크가 아닙니다. KV 캐시의 용량과 스케줄링은 KV 캐시를 일급 자원으로 다루기에서 다룹니다.
정리
공유 캐시는 재사용에 따른 시간 차이를 노출할 수 있습니다. vLLM의 cache_salt는 같은 값을 가진 요청으로 재사용 범위를 제한하지만 사용자 인증과 그룹 배정은 서비스가 담당합니다. 격리의 효과와 성능 비용은 실제 요청 분포에서 각각 검증해야 합니다. 캐시 키의 격리를 시스템 전체의 부채널 제거로 확대해서는 안 됩니다.