게이트웨이 단계의 정규식 차단은 1차 방어가 아니라 마지막 안전망입니다. 그 위에 요청 데이터의 보존 기간과 학습 사용 여부를 각각 정한 계약과 데이터 분류 라우팅, immutable(한 번 쓰면 수정·삭제 불가) audit log가 함께 놓여야 의미가 생깁니다.
외부 LLM 트래픽을 한 곳에 모아야 하는 이유
서비스가 커질수록 외부 LLM API 호출 지점이 흩어집니다. Agent 워크플로우, 별도 임베딩 파이프라인, 운영자가 직접 만든 임시 스크립트가 모두 자체 API 키와 자체 클라이언트로 외부에 나갑니다. 이 상태에서는 어떤 데이터가 어떤 모델로 가는지 추적할 수 없습니다. 사고가 났을 때 어느 호출부터 차단할지 결정하는 데도 시간이 걸립니다.
Egress 게이트웨이는 분산된 외부 호출을 한 곳으로 모으는 장치입니다. 모든 외부 LLM 트래픽이 같은 프록시를 거치면 인증, 모델 라우팅, 키 관리, rate limit을 한곳에서 강제할 수 있습니다. audit log와 마지막 PII 정규식 차단도 같은 경계에 놓입니다. 사고 시에도 게이트웨이 한 군데만 차단해 외부 송신을 즉시 멈출 수 있습니다.
게이트웨이의 PII 정규식 차단은 1차 방어가 아니라 cascade(여러 단계를 순서대로 적용하는 다단계 방어)의 마지막 검사입니다. 1차 방어는 입력단 sanitize입니다. 2차는 도구·RAG 단계의 마스킹입니다. 게이트웨이는 두 단계를 거친 뒤 남은 식별자를 한 번 더 거릅니다.
앞선 방어 없이 정규식에만 의존하면 정규식이 놓친 PII가 그대로 누출됩니다.
게이트웨이가 제공하는 5가지 통제
flowchart LR
A["애플리케이션"] --> G["Egress Gateway"]
G --> C["데이터 분류"]
C --> R["정책 라우팅"]
R --> P["허용된 LLM 제공자"]
G --> B["차단·마스킹"]
G --> L[("최소 감사 로그")]
산업에서 통용되는 Egress 게이트웨이는 LiteLLM Proxy, Cloudflare AI Gateway, Portkey 셋이 사실상 표준 후보입니다. 세 후보는 구현이 다르지만 다음 통제를 공통으로 제공합니다.
- 모델 라우팅: 데이터 분류 등급에 따라 외부 모델/자체 vLLM/TEE를 선택. 카탈로그에 등록된 등급-모델 매핑을 강제합니다.
- API 키 추상화: 클라이언트는 게이트웨이 키만 알고, 실제 벤더 키는 게이트웨이가 보관·로테이션합니다. 키 유출 폭이 줄고 회수가 빨라집니다.
- Rate limit + cost guardrail: 사용자·팀·모델별 호출 빈도와 비용 상한을 강제합니다. 무한 루프 도구 호출이 비용 폭탄으로 이어지는 사고를 막습니다.
- Audit log: 누가, 언제, 어떤 입력으로, 어떤 모델을 호출했는지 immutable하게 기록합니다.
- PII 정규식 차단: cascade 최종 단계에서 출력·입력에 남은 식별자를 거릅니다.
세 게이트웨이의 차이는 운영 위치와 통합 깊이에 있습니다. LiteLLM은 자체 호스팅 가능한 Python 프록시로 OpenAI 호환 API를 100+ 모델에 제공합니다. callback hook으로 입출력 처리를 구현할 수 있어 자체 마스킹·가드레일과 결합하기 쉽습니다.
Cloudflare AI Gateway는 엣지에서 동작하는 매니지드 게이트웨이로 캐시·로깅·rate limit이 강점입니다. Portkey는 multi-provider 라우팅과 fallback, 분석 대시보드를 SaaS 형태로 제공합니다.
선택은 보통 컴플라이언스가 결정합니다. 한국 PIPA(개인정보 보호법) 환경에서 confidential 이상 데이터 트래픽이 위탁사 인프라를 거치는 것이 부담스럽다면, self-host LiteLLM이 무난합니다. Public·Internal 트래픽 비중이 크고 글로벌 분산 캐시가 가치 있다면 Cloudflare AI Gateway가 어울립니다.
보존 기간과 학습 사용 정책
요청 데이터의 보존 기간과 학습 사용 여부는 별도 조건입니다. Zero-retention이라는 이름만으로 모든 엔드포인트, 로그와 예외에 같은 정책이 적용되거나 학습 사용이 자동 금지된다고 판단하면 안 됩니다. 실제 계약과 사용 중인 기능의 정책을 확인해야 합니다.
Nasr와 동료들의 ICLR 2025 연구는 정렬된 서비스 모델에서 학습 문자열을 추출하는 공격을 평가했습니다. 원문은 arXiv:2311.17035로 공개됐습니다. 연구는 시험 당시 모델의 학습 데이터 노출을 보여 주지만, 특정 고객의 API 요청이 학습에 들어갔다는 증거는 아닙니다.
이 연구만으로 특정 보관 계약이 유출을 막는다고 결론낼 수도 없습니다. 입력 최소화는 현재 보내는 데이터를 줄이고, 보존·학습 사용 조건은 제공자가 데이터를 처리하는 범위를 정합니다. 이미 학습한 내용의 출력은 별도로 평가해야 합니다.
| 계약과 운영에서 확인할 항목 | 구분할 조건 |
|---|---|
| 요청 보존 | 본문, 파일, 로그와 백업의 보존 범위 |
| 학습 사용 | 학습·개선 목적 사용 여부와 적용 예외 |
| 기능별 적용 | 엔드포인트, 옵션과 별도 저장 기능 |
| 조직의 송신 정책 | 데이터 등급별 허용 경로와 계약 적용 확인 |
이 표는 기술 검토 항목이며 법적 준수 판정표가 아닙니다. 특정 국가 리전이나 계약 한 장을 모든 서비스의 필수·충분 조건으로 제시하지 않습니다.
데이터 분류 라우팅
다음은 이 시리즈에서 제안하는 데이터 등급별 라우팅 정책 예시입니다. 인증된 서비스가 등급을 부여하고 게이트웨이가 정책을 집행하도록 구성하며, 제품의 기본 동작이나 연구로 검증된 유일한 정책을 뜻하지 않습니다.
| 등급 | 추론 경로 |
|---|---|
| Public | 외부 LLM OK (원문) |
| Internal | 외부 LLM + 마스킹 |
| Confidential | 외부 LLM (zero-retention DPA) 또는 H100 CC TEE |
| Restricted (PII/PHI/시크릿) | vLLM in VPC 또는 H100 CC TEE only (외부 송신 금지) |
게이트웨이는 등급 메타데이터가 없거나 잘못된 라우팅이 들어오면 즉시 거절합니다. 정규식 차단보다 라우팅 결정이 더 강한 통제입니다. 정규식은 패턴을 못 잡으면 통과시키지만, 라우팅은 등급이 맞지 않으면 호출 자체가 일어나지 않습니다.
임베딩도 같은 등급 시스템에 포함시켜야 합니다. 임베딩 역변환은 벡터에서 원문을 복원하는 공격입니다. EMNLP 2023의 Vec2Text는 대상 벡터와 시험한 인코더 접근 조건에서 텍스트 복원을 평가했습니다. 이를 임의의 벡터 저장소에 대한 동일한 복원율로 확대하지 않습니다.
confidential 이상 데이터의 임베딩은 self-host 벡터 DB로 보내고, 외부 임베딩 API에 같은 데이터를 보내지 않도록 라우팅에서 끊습니다.
정규식 차단
cascade 최종 단계의 정규식 차단은, 앞단의 마스킹이 못 잡은 것을 거르는 자리입니다. LiteLLM의 callback hook을 예로 들면 다음과 같은 형태가 됩니다.
# pseudo-code
async def pre_call_hook(data, user_api_key_dict, call_type):
text = extract_text(data)
if has_pii_pattern(text): # 주민등록번호, 카드번호, 계좌번호, 이메일 등
raise BlockedRequest("egress PII pattern matched")
log_audit(user_api_key_dict, data, redacted=False)
return data이 코드의 흐름은 단순합니다. 요청 본문에서 텍스트를 추출해 정규식 패턴을 검사합니다. 패턴이 일치하면 호출을 거절합니다. audit log는 매 요청에 대해 무조건 기록합니다.
정규식이 잡는 것은 형식이 명확한 식별자(주민등록번호, 카드번호, 계좌번호, 이메일, 전화번호)에 한정됩니다. 자연어로 표현된 식별자나 간접 식별자(나이+직장+질병)는 정규식이 잡을 수 없으므로, 입력단의 문맥 검토와 데이터 최소화도 별도로 평가해야 합니다. 게이트웨이의 정규식은 명확한 패턴만 잡고, 나머지는 차단하지 않는다는 점을 알고 있어야 안전하다는 착각을 피할 수 있습니다.
Audit log
게이트웨이가 만드는 가장 큰 가치는 사고 시 추적 가능성입니다. 누가, 언제, 어떤 입력으로, 어떤 모델을 호출했는지를 immutable하게 보관해야 사고 직후 영향 범위를 산정할 수 있습니다.
- append-only: 한 번 쓴 레코드는 수정·삭제 불가. SHA-256 해시 체인을 걸어 prev_hash로 무결성을 검증합니다.
- WORM(Write Once Read Many) 저장: S3 Object Lock의 Compliance 모드로 retention 기간 동안 삭제 불가하게 잠급니다.
- 분리 권한: audit log를 쓰는 ID와 읽는 ID를 분리해, 운영자가 자기 호출 이력을 지울 수 없도록 합니다.
GDPR Art. 32(Security of processing)는 "적절한 기술적 조치"의 증거로 audit log를 인정하는 흐름이 있습니다. PIPA 시행령 제30조의 안전성 확보 조치 강화 증거로도 활용됩니다.
immutable log 자체가 컴플라이언스 산출물이 됩니다.
도입 1주차(Phase 0)
게이트웨이를 처음 도입할 때 1주 내 끝낼 수 있는 항목은 다음과 같습니다.
- LiteLLM/AI Gateway 등 egress proxy 설치 + 외부 LLM 엔드포인트 화이트리스트 (등록되지 않은 모델로의 호출 차단)
- 게이트웨이 통과 키만 클라이언트에 배포, 벤더 키는 게이트웨이가 보관
- 모든 destructive tool에 LangGraph
interrupt()강제 - LangSmith
hide_inputs/hide_outputs+ Presidio callable 또는 self-hosted Langfuse - Audit log를 S3 Object Lock의 Compliance 모드로 즉시 잠금
확장은 그다음 1개월 동안 zero-retention 계약 갱신, 데이터 분류 카탈로그 4등급 정책, PII 골든셋 200개 회귀 테스트 도입으로 이어집니다.
정리
Egress 게이트웨이는 외부 LLM 트래픽을 한 곳에 모아 모델 라우팅·키 추상화·rate limit·audit log·PII 정규식 차단을 동시에 강제하는 장치입니다. LiteLLM Proxy(self-host), Cloudflare AI Gateway(엣지 매니지드), Portkey(SaaS) 중 컴플라이언스 요구에 맞는 것을 고릅니다.
정규식 차단은 cascade의 마지막 안전망일 뿐입니다. 요청 보존과 학습 사용 조건, 데이터 등급 라우팅과 감사 기록을 별도로 확인해야 합니다.
임베딩도 같은 등급 시스템에 포함시킵니다. 등급이 맞지 않는 호출은 정규식이 아니라 라우팅에서 끊습니다.
마지막 글은 출력 가드레일과 관측·삭제권을 다루며 시리즈를 마무리합니다.