입력단 방어는 외부 LLM에 보내기 전에 PII를 가리고, 돌아온 답에서 필요한 값만 다시 복원하는 구조입니다.
입력단이 첫 번째 방어선인 이유
외부 LLM API에 요청을 보내는 순간, 본문에 담긴 텍스트가 위탁사 인프라로 넘어갑니다. 그 안에 회원 이름이나 전화번호 같은 PII(Personally Identifiable Information, 개인을 식별할 수 있는 정보)가 섞여 있을 수 있습니다. 그러면 애플리케이션이 통제할 수 없는 곳에 PII가 원문으로 도착합니다.
입력단에서 PII를 가리는 일은 가장 앞쪽의 방어선입니다. 여기서 줄인 노출은 RAG, 도구 호출, 관측 로그로 이어지는 후속 경로의 위험도 함께 줄입니다.
입력단 방어는 탐지와 치환으로 나뉩니다. 탐지는 어떤 토큰이 PII인지 찾고, 치환은 찾아낸 토큰을 가짜 값으로 바꿔 LLM에 보냅니다.
두 단계를 분리해야 합니다. 그래야 탐지 정확도와 치환 자연스러움을 따로 튜닝할 수 있습니다.
Microsoft Presidio
탐지 도구로는 Microsoft Presidio가 많이 쓰입니다. 내부에는 AnalyzerEngine(탐지)과 AnonymizerEngine(치환)이 분리돼 있습니다.
탐지기는 개체명 인식(Named Entity Recognition, NER), 정규식, 체크섬, 사용자 정의 recognizer를 함께 씁니다. NER 엔진은 spaCy, Stanza, Transformers 중에서 선택합니다.
영어권 기본 엔티티에는 PERSON, EMAIL_ADDRESS, PHONE_NUMBER, CREDIT_CARD가 있습니다. IP_ADDRESS, LOCATION, US_SSN, DATE_TIME도 포함됩니다.
영어 텍스트라면 설치 직후부터 상당량을 잡습니다. 한국어는 이름, 주소, 주민등록번호, 계좌번호 같은 항목을 별도로 보강해야 합니다.
한국어 보강
한국어 NER 모델로 이름·지명·기관을 찾고, 한국 특유의 식별자는 PatternRecognizer로 별도 등록합니다.
klue/bert-base-ner또는KPF-bert-ner로 PERSON·LOC·ORG 보강- 주민등록번호·계좌번호·사업자등록번호는 정규식 + 체크섬을 단
PatternRecognizer nlp_engine_provider에 한국어 spaCy(ko_core_news_lg) 또는 transformers 백엔드 주입
Presidio의 정확도는 NER 모델의 한국어 학습 분포에 좌우됩니다. 의료·금융·HR처럼 도메인이 바뀌면 false negative 패턴도 달라집니다.
운영 환경에서는 누락 사례를 골든셋으로 모아 분기마다 점검합니다.
가역 익명화
탐지만으로는 부족합니다. 치환된 값이 LLM 응답에 그대로 남으면 사용자가 자기 이름 대신 가짜 이름을 보게 됩니다.
LangChain의 PresidioReversibleAnonymizer는 치환 매핑을 보관합니다. 응답이 돌아온 뒤에는 그 매핑을 이용해 필요한 값을 다시 원본으로 복원합니다.
from langchain_experimental.data_anonymizer import PresidioReversibleAnonymizer
anonymizer = PresidioReversibleAnonymizer(
analyzed_fields=["PERSON", "PHONE_NUMBER", "EMAIL_ADDRESS", "KR_RRN"],
faker_seed=42,
add_default_faker_operators=True,
)
safe_prompt = anonymizer.anonymize("저는 홍길동, 010-1234-5678 입니다.")
answer = llm.invoke(safe_prompt)
final = anonymizer.deanonymize(answer)위 코드에서 anonymize는 analyzed_fields에 등록된 엔티티를 찾아 가짜 값으로 바꿉니다. 치환 매핑은 deanonymizer_mapping에 저장됩니다.
LLM 응답이 돌아오면 deanonymize가 그 매핑을 보고 가짜 값을 원본으로 복구합니다. KR_RRN은 한국 주민등록번호용으로 직접 등록한 식별자입니다.
deanonymizer_mapping은 세션·요청 범위의 메모리에만 보관합니다. 영속화하지 않습니다.
매핑을 디스크나 데이터베이스에 저장하면 평문 PII와 가짜 값이 1:1로 묶여 남습니다. 이 저장소도 원본 PII를 보관하는 데이터베이스가 됩니다.
매핑은 체크포인트 대상과 분리된 로컬 메모리에 보관하도록 설계합니다. PrivateState라는 이름만으로 영속화가 차단되지는 않으므로 실제 체크포인터와 추적 결과를 확인해야 합니다.
세션 안에서 일관된 대체값
같은 대상을 여러 번 참조하는 작업에서는 세션 안에서 대체값이 일관되어야 합니다. 이 글에서는 원본 식별자에 무작위 대체값을 배정하고, 같은 세션의 후속 요청에서 해당 매핑을 재사용하는 설계를 제안합니다.
| 항목 | 설계 조건 | 한계 |
|---|---|---|
| 동일 대상 | 세션 안에서 같은 대체값 사용 | 반복 등장과 관계는 드러날 수 있음 |
| 다른 세션 | 별도 매핑과 접근 경계 사용 | 매핑 저장소의 보호가 필요함 |
| 복원 | 권한 있는 사용자에게 필요한 필드만 복원 | 대체값의 존재가 접근 권한을 뜻하지 않음 |
| 세션 종료 | 정한 수명에 따라 매핑 폐기 | 이미 생성된 로그와 복제본은 별도 확인 |
대체값은 암호학적 익명성이나 차등 프라이버시의 보장이 아닙니다. 모델이 원본 없이 해야 하는 작업과 반드시 원본이 필요한 로컬 처리를 구분해야 합니다. 금액이나 날짜를 바꾼다면 계산과 검색 의미가 달라지는지도 시험합니다.
간접 식별자와 문맥
직접 식별자를 제거해도 직장, 나이, 직책과 병력의 조합으로 개인을 좁힐 수 있습니다. 정규식 탐지만으로 문맥의 식별 가능성까지 평가했다고 볼 수 없습니다.
추가 모델이나 사람의 검토를 사용하는 경우에도 효과를 따로 측정해야 합니다. 이 글은 특정 소형 모델이 간접 식별자를 모두 제거하거나 더 낮은 비용으로 같은 보호를 제공한다고 주장하지 않습니다.
| 평가 항목 | 확인할 결과 |
|---|---|
| 직접 식별자 | 이름·전화번호·계좌 등 도메인별 누락과 오탐 |
| 문맥 조합 | 개별 필드는 일반적이어도 조합이 식별 정보를 남기는지 |
| 작업 품질 | 검색·계산·요약의 정확성이 유지되는지 |
| 복원 권한 | 다른 세션이나 사용자에게 원본이 반환되지 않는지 |
입력 처리 흐름
다음은 탐지, 일관된 치환과 복원을 분리한 설계 예입니다. 각 단계의 효과는 해당 서비스의 평가 집합에서 확인해야 합니다.
flowchart TD
A[사용자 입력] --> B[PII 탐지와 도메인별 검사]
B --> C[세션별 일관된 대체값]
C --> D[잔여 문맥과 전송 정책 확인]
D --> E[외부 LLM]
E --> F[출력 검사]
F --> G[권한 있는 필드만 로컬 복원]
이 흐름은 외부 모델에 보내는 내용을 줄이기 위한 제안입니다. 뒤 단계가 앞 단계의 모든 오류를 잡는다는 보장은 없습니다. 매핑과 원본이 로그나 체크포인트에 함께 저장되는지도 별도로 확인해야 합니다.
정리
입력 처리는 탐지, 치환과 복원을 분리해 설계합니다. 같은 대상을 참조하는 작업에는 세션 안에서 일관된 매핑이 필요합니다. 직접 식별자를 제거한 뒤에도 문맥과 작업 품질을 함께 평가해야 합니다. 원본 복원은 매핑의 존재가 아니라 사용자의 접근 권한을 기준으로 제한합니다.
다음 글은 RAG·도구·MCP 단계의 방어를 다룹니다.