Agent의 입력은 사용자 질의 하나가 아닙니다. 도구 결과·RAG 컨텍스트·MCP(Model Context Protocol) 도구 description이 매 턴 LLM에 합류하므로, 각 합류 지점마다 검증 게이트가 필요합니다.
Agent에서 누출 면적이 늘어나는 이유
flowchart LR
U["사용자 입력"] --> A["Agent 상태"]
R[("RAG 인덱스")] --> A
T["Tool 결과"] --> A
M["MCP 서버"] --> T
A --> O["모델 출력"]
A --> W["외부 작업"]
Agent는 사용자 질의 외에도 매 턴 도구 결과와 RAG 컨텍스트를 LLM에 주입합니다. 이 결과와 컨텍스트는 모두 외부 LLM에 보내는 본문에 포함됩니다. 입력단에서 사용자 텍스트만 가려도 각 추가 지점에 잠재적 누출 또는 인젝션 경로가 남습니다.
- 도구 결과에 포함된 회원 데이터
- RAG 인덱스에 박혀 있는 PII
- MCP 서버가 광고하는 도구 description
InjecAgent(Findings of ACL 2024)는 외부 도구 결과에 담긴 지시가 에이전트의 행동을 바꿀 수 있음을 평가했습니다. 벤치마크는 1,054개 사례와 30개 에이전트 구성을 포함하며, 직접 피해와 비공개 데이터 유출을 구분합니다. 결과는 평가한 모델·프롬프트·도구 조건의 범위입니다.
이 결과를 현재 모델의 공격 성공률이나 MCP·RAG·도구 경로의 위험 순위로 사용하지 않습니다. 이 글은 외부 콘텐츠를 받는 경로와 실제 작업을 실행하는 권한을 각각 통제하는 설계안을 설명합니다.
Tool Calling
도구 호출은 PII가 외부로 전달될 수 있는 지점입니다. LLM이 사용자 텍스트의 PII를 도구 인자에 그대로 복사해 넘길 수 있습니다. 도구 결과에 포함된 인젝션 페이로드는 LLM의 다음 결정을 바꿀 수 있습니다. 두 방향을 다 막아야 합니다.
인자 스크러버 + allowlist
도구를 호출하기 직전, 인자 dict를 한 번 더 anonymizer에 통과시킵니다.
def scrub_tool_args(tool_input: dict) -> dict:
return {k: anon.anonymize(v) if isinstance(v, str) else v
for k, v in tool_input.items()}위 코드는 최상위 문자열 인자만 처리하는 개념 예시입니다. 실제 도구 호출 경로에는 중첩 객체·목록도 검사하는 래퍼를 두고, 사용하는 SDK의 연결 지점을 확인해야 합니다.
도구별로 허용 인자를 화이트리스트에 등록합니다. 자유 텍스트 인자는 가능하면 거부하고, 구조화된 dict나 enum으로 받습니다. 자유 텍스트는 스키마 강제만으로 못 막는 우회 경로를 만듭니다.
파괴적 행동(메일 발송, 결제, 삭제, 외부 송신, exec)은 별도 카테고리로 분리해 LangGraph의 interrupt()로 사람 승인을 강제합니다. 승인 대상과 전달 내용을 사용자가 확인할 수 있어야 하며, 승인 후 인자 변경도 차단해야 합니다.
도구 결과는 비신뢰 입력
도구 결과가 외부 API의 응답이거나 내부 DB의 자유 입력 필드라면 인젝션 페이로드가 들어 있을 수 있습니다. InjecAgent는 이러한 도구 결과를 통한 공격을 평가합니다. 도구가 반환했다는 사실만으로 그 안의 지시에 작업 권한을 부여해서는 안 됩니다.
다음 두 항목은 이 글의 방어 설계안입니다. 어느 하나도 인젝션을 완전히 차단한다는 보장은 없습니다.
- 역할과 출처 분리: 도구 결과를
tool역할로 전달하고 출처를 보존합니다. 시스템 지시문에는 외부 콘텐츠의 지시를 사용자 승인으로 취급하지 않도록 명시합니다. - 실행 전 검증: 다음 도구 호출의 대상·인자·송신 위치를 허용 정책과 대조합니다. 가드레일 모델의 판정은 보조 신호로 사용하고, 허용 목록과 권한 검사는 실행 코드에서 강제합니다.
RAG 인덱스
RAG는 사용자 질의와 코퍼스를 동시에 다루므로, PII가 들어오는 지점이 여럿입니다. 인덱스에 박힌 회원 정보, 질의에 묻어오는 사용자 식별자, 답변에 섞이는 민감 정보, 그리고 인덱스 자체가 오염될 가능성까지 처리해야 합니다.
인덱싱 단계의 PII 제거
코퍼스에서 PII는 인덱싱 전에 탐지해 마스킹하거나, 해시로 대체하거나, 익명화된 참조 ID로 바꿉니다. LangChain의 PebbloSafeLoader(anonymize_snippets=True)를 시작점으로 둡니다. 한국어 환경에서는 Presidio 한국어 NER와 PatternRecognizer를 같은 파이프라인에 추가합니다. 일부 시나리오에서는 원본을 별도의 보안 저장소에 두고, 인덱스에는 요약·치환본만 올려 노출 면적을 줄입니다.
임베딩도 원문에서 정보를 추출한 데이터입니다. Vec2Text 원 논문(EMNLP 2023)은 두 임베딩 모델을 대상으로 역변환 모델을 학습했습니다. 짧은 텍스트의 복원과 임상 기록의 이름 복원을 평가했으며, 모든 모델·입력 길이에서 같은 복원률을 보장하지는 않습니다.
이 결과를 바탕으로 원문이 민감하면 임베딩도 접근 통제와 보존 정책에 포함하는 설계를 제안합니다. self-host 벡터 DB 자체가 역변환을 막지는 않습니다. 양자화나 노이즈의 고정값을 안전 기준으로 삼지 말고, 적용하려면 검색 품질과 해당 공격 모델에서의 복원 위험을 함께 측정해야 합니다.
검색 단계의 권한 필터와 trust score
검색 결과를 컨텍스트로 LLM에 넣기 전에 두 가지를 더 합니다. 첫째, 역할 기반 접근 제어(Role-Based Access Control, RBAC)로 결과를 필터링합니다. 사용자가 볼 수 없는 문서는 검색 결과에 들어가서는 안 됩니다.
둘째, 컨텍스트 주입 직전에 한 번 더 sanitize를 돌려 마스킹 누락분을 잡습니다.
PoisonedRAG(USENIX Security 2025)는 공격자가 지식 저장소에 악성 텍스트를 넣어 특정 질문의 답을 오염시키는 공격을 평가했습니다. 검색기·생성 모델·공격자 접근 조건이 결과에 영향을 줍니다. 논문에서 평가한 방어도 공격을 충분히 막지 못했으므로 문서 개수만 늘리는 것을 방어 보장으로 삼을 수 없습니다.
다음은 이 글의 운영 제안입니다.
- 콘텐츠의 출처·작성자·변경 이력과 접근 권한을 기록합니다.
- 답변의 근거를 대조하고, 서로 다른 문서가 같은 오염된 원문을 복사했는지도 확인합니다.
- 자동 크롤링 결과가 인덱스에 들어가는 승인·검사 경로를 둡니다.
권한이 있는 문서도 틀리거나 오염될 수 있습니다. 권한 검사와 내용 신뢰도 검사는 별도 단계로 평가합니다.
MCP
MCP(Model Context Protocol)로 제공된 도구 설명과 스키마도 외부 서버가 제공하는 데이터입니다. 이를 모델 입력에 포함하는 시스템은 실행 결과뿐 아니라 도구 등록·메타데이터 변경도 검토해야 합니다. InjecAgent와 PoisonedRAG는 이 글의 특정 MCP 클라이언트나 버전의 안전성을 평가한 자료가 아닙니다.
다음은 MCP 연동에 적용할 설계 제안입니다.
- 등록할 서버와 도구를 허용 목록으로 관리하고, 설명·스키마 변경을 검토합니다.
- 호출 대상과 실제 전달할 인자를 사용자 승인 또는 실행 정책과 대조합니다.
- 제시한 도구 정의, 선택한 호출과 승인 결과를 기록하되 비밀 값은 제외합니다.
- 도구 실행 환경의 파일·네트워크·자격 증명 권한을 필요한 범위로 제한합니다.
설명 필터만으로 우회를 차단할 수 있다는 보장은 없습니다. 클라이언트·호스트·서버의 실제 권한 경로를 테스트해야 하며, 서로 다른 실험의 성공률로 제품 순위를 정하지 않습니다.
State 설계
LangGraph 환경에서는 State 구조 자체가 누출 면적을 결정합니다. 가역 매핑 같은 비밀을 checkpoint에 함께 직렬화하면 데이터베이스에 평문 PII와 가짜 값이 짝을 이뤄 저장됩니다.
아래는 저장 대상과 비밀 저장소를 분리하려는 개념 예시입니다. 실제 체크포인터 설정을 구현한 코드는 아닙니다.
class PublicState(TypedDict):
safe_query: str
safe_answer: str
class SessionSecrets(TypedDict):
pii_map: dict # keep outside the persisted graph state타입이나 필드 이름은 영속화 여부를 정하지 않습니다. pii_map과 deanonymizer_mapping을 그래프의 직렬화 상태 밖에서 관리하고, 체크포인트·로그·오류 보고에 포함되지 않는지 확인해야 합니다. safe_query·safe_answer도 마스킹 누락과 보존 정책을 검사한 뒤 저장합니다.
checkpointer 자체도 PostgresSaver + EncryptedSerializer.from_pycryptodome_aes(KMS_KEY)로 암호화합니다. LANGGRAPH_STRICT_MSGPACK=true로 직렬화 우회를 차단합니다. SQLite checkpointer의 metadata filter key에는 외부 입력을 넣지 않습니다.
다층 방어 매핑
이 단계의 방어를 표로 정리하면 다음과 같습니다.
| 방어 | 효과 영역 | 한계 |
|---|---|---|
| Static tool description validation | 메타데이터 poisoning | 자연어 우회 |
| Parameter visibility 강제 | hidden parameter 공격 | UX 저해 |
| 추가 검사 모델 | 의심스러운 입력·출력 | 오탐·누락과 추가 호출 비용 |
| Sandboxed execution | RCE | 도구 기능 제약 |
| Human approval (interrupt) | 파괴적 액션 | 자동화 손실 |
| Role 격리(system/user/tool) | IPI | 우회 사례 다수 |
| Tool allowlist + 인자 스키마 강제 | 임의 호출 | 합법 도구 악용엔 무력 |
| Provenance / trust score | RAG corruption | 공급망 신뢰 필요 |
| Output validator agent | exfiltration | latency |
| Intent verification | task drift | extra 호출 비용 |
이 표는 위협별 통제를 배치하기 위한 설계안이며 조합의 검증된 방어율을 뜻하지 않습니다. 도구 허용 목록은 허용된 도구의 오용까지 판정하지 않으므로 인자·대상·권한도 검사해야 합니다.
방어 층의 개수보다 실제 우회 경로와 정상 작업의 성공 여부를 함께 측정하는 것이 중요합니다. 검사 실패 시 차단·수동 검토·재시도 중 어떤 동작을 할지도 명시합니다.
정리
Agent 단계의 누출 면적은 도구 호출·RAG·MCP 세 갈래로 늘어납니다. 도구는 인자 스크러버와 allowlist로 막고, 파괴적 액션은 사람 승인을 강제합니다.
RAG에서는 인덱싱 시 PII를 제거하고 검색 시 권한 필터·trust score를 적용합니다. MCP는 서버·도구 정의의 변경과 실제 호출 권한을 확인합니다. 가역 매핑은 영속 그래프 상태 밖에서 관리하고 체크포인트와 로그에 남지 않는지 검증합니다.
다음 글은 외부 LLM 트래픽이 마지막으로 통과하는 Egress 게이트웨이(LiteLLM·Cloudflare AI Gateway·Portkey)를 다룹니다.