RAG 데이터스토어 멤버십 추론

파인튜닝을 하지 않아도 검색 코퍼스에 어떤 문서가 들어 있는지는 API 질의만으로 새어 나갑니다.

표적이 가중치에서 코퍼스로 옮겨갑니다

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 민감 데이터를 외부 코퍼스에 분리 보관합니다. 파인튜닝을 피하면 프라이버시 위험도 사라진다는 통념이 자리 잡았습니다. 2024년 이후의 멤버십 추론 연구는 그 통념이 성립하지 않는 조건을 보여줍니다.

학습 데이터를 겨냥한 멤버십 추론 공격(Membership Inference Attack, MIA)은 특정 샘플이 학습 셋에 있었는지 추정합니다. RAG 대상 MIA는 "이 문서가 지금 검색 데이터베이스에 있는가"를 판정합니다.

판정 신호는 검색기가 그 문서를 붙였을 때 응답이 달라지는 정도입니다.

이 차이는 위험의 성격을 바꿉니다. 코퍼스 MIA는 현재 상태를 읽으므로 문서 추가와 삭제가 그대로 관측됩니다. 코퍼스에는 사내 문서나 의료 기록처럼 더 민감하고 최신인 정보가 담길 수 있습니다.

Anderson, Amit, Goldsteen(2024)은 설계된 프롬프트만으로 코퍼스 포함 여부를 추론할 수 있음을 처음 실증했습니다. 블랙박스와 그레이박스 환경 모두에서 성립합니다(arXiv:2405.20446, 2024-05 기준). "이 문서가 시스템 안에 존재한다"는 사실 자체가 부차 채널(side channel)로 흘러나온다는 뜻입니다.

공격자가 필요로 하는 것

공격자의 관찰 범위는 두 갈래로 나뉩니다. 어느 쪽도 모델이나 검색기의 내부 파라미터를 요구하지 않습니다.

필요한 것은 시스템에 질의를 보내고 응답을 받는 API 수준의 접근뿐입니다. 사내 RAG를 외부 파트너에게 열어주거나 제품 기능으로 공개하는 순간, 이 조건은 이미 충족됩니다.

방어 측에서 보면 관측 가능한 것은 질의 텍스트와 검색 결과, 그리고 최종 응답입니다. 공격자가 어떤 문서를 후보로 들고 있는지는 서버 쪽에 남지 않으므로, 판정 시도 자체는 로그에 드러나지 않습니다.

판정 신호의 세 세대

공격 기법은 어떤 신호로 멤버십을 판정하는지에 따라 세대가 갈립니다. 세대가 넘어갈수록 필요한 질의 수와 사전 준비가 줄어듭니다.

DCMI는 대상 문서를 넣었을 때와 뺐을 때의 출력 확률 차이를 보정 기준으로 삼습니다(arXiv:2509.06026, 2025-09 기준). 확률 분포 차이를 사용하면 응답 텍스트만 사용할 때보다 판정 신호를 구분하기 쉽습니다.

같은 연구는 검색 결과 품질이 낮은 조건에서 기존 공격 대비 개선폭이 두드러진다고 보고합니다. 검색이 부실한 시스템이 공격에도 더 안전하리라는 직관은 성립하지 않는다는 뜻입니다. 이 결과는 규모가 작은 파일럿 코퍼스에 외부 접근을 허용하지 않아야 할 근거가 됩니다.

MEntA는 모델 응답이 후보 문서를 자연어 함축 관계로 뒷받침하는지 측정합니다. 논문은 질의 5개에서 최대 0.991 AUC를 보고합니다. 기존 최고 성능보다 최대 0.42 AUC 높았고 공격 비용은 최대 65배 낮았습니다(arXiv:2605.24312, 2026-05 기준).

flowchart LR
    A[공격자<br/>대상 문서 보유] --> B[정보 탐색형<br/>자연어 질의 소수]
    B --> C[RAG 시스템<br/>검색 후 응답 생성]
    C --> D[응답 텍스트]
    D --> E[함축 판정<br/>응답이 문서를 뒷받침하는가]
    E --> F[멤버십 점수<br/>코퍼스 포함 가능성]

그림은 MEntA 계열 공격의 판정 흐름입니다. 공격자는 대상 문서에 관한 질의를 보내고, 응답이 문서 내용을 함축하는 정도를 점수로 환산합니다.

운영 관점에서 위험한 지점은 성능 수치보다 은밀성입니다. 이전 세대는 반복적·기계적 템플릿 질의에 의존해 로그에서 패턴이 드러날 수 있었습니다. MEntA는 폭넓은 정보 탐색형 자연어 질문만 사용합니다. 서로게이트(대체) 모델 학습도 필요 없으므로, API 접근권만 있으면 준비 단계 없이 시도할 수 있습니다.

그래프 RAG에서 달라지는 것

Liu, Zhang, Wang(2025)은 그래프 RAG가 원문 유출을 줄인다고 보고합니다(arXiv:2508.17222). 다만 엔티티와 관계로 재구성된 지식은 더 쉽게 추출됩니다.

그래프는 정보를 압축·정규화하는 과정에서 "누구와 누가 어떤 관계인가"라는 구조적 사실을 직접 노출하는 경로를 만듭니다. 텍스트 전용 RAG를 대상으로 얻은 프라이버시 분석 결론을 그래프·멀티모달 구조에 그대로 옮길 수 없다는 뜻입니다. 아키텍처를 확장할 때는 위협 모델링을 다시 해야 합니다.

방어 구조와 트레이드오프

Choi, Park, Byun, Lee, Park(2025, EMNLP)은 MIRABEL이라는 방어를 제안했습니다(arXiv:2505.22061, 2025-05 기준). 질의와 코퍼스 내 실제 문서 사이의 유사도가 비정상적으로 높은 경우를 탐지하는 방식입니다. Gumbel 분포 기반 이상 탐지로 임계값을 정하고, 위험 질의에는 결과 반환을 제한하거나 차등 프라이버시 노이즈를 더하는 계층 구조를 씁니다.

이 방어는 멤버십 추론 정확도를 낮추지만 정상적인 검색에도 영향을 줍니다. 임계값을 강하게 잡을수록 정상 사용자의 합법적 질의 일부도 함께 차단됩니다. 따라서 방어 강도를 높이면 검색 재현율(recall)이 낮아질 수 있습니다.

Xu et al.(2026)의 분류 연구는 RAG 프라이버시 방어를 네 계층으로 정리합니다(arXiv:2604.08304, 2026-04 기준).

같은 논문은 현재 방어가 대체로 검색 이후의 신뢰 경계에 몰려 있다고 지적합니다. 코퍼스 거버넌스와 사후 탐지는 상대적으로 미비합니다. 방어가 반응형으로 흩어져 있어 적응형 공격에 취약하다는 평가입니다.

운영 체크리스트

사내 문서나 고객 데이터를 코퍼스로 쓰는 RAG를 외부에 노출한다면, 아래 항목을 점검합니다.

• 위협 모델 재작성: "파인튜닝을 하지 않았으니 안전하다"는 전제를 폐기하고, 코퍼스 포함 여부 자체를 보호 대상 자산으로 등록합니다.
• 코퍼스 분리: 민감 등급이 다른 문서를 한 인덱스에 섞지 않습니다. 테넌트·등급별로 인덱스를 나누면 한 번의 공격이 닿는 범위가 줄어듭니다.
• 탐지 신호 갱신: 반복적·기계적 질의 패턴만 보는 규칙은 자연어 기반 공격을 놓칩니다. 질의와 상위 검색 문서 사이의 유사도 분포를 함께 봅니다.
• 다층 방어 조합: 근접도 기반 필터링을 1차로 두고, 고위험 코퍼스에는 출력단 차등 프라이버시를 겹칩니다. 두 계층 모두 재현율·품질 손실을 수반하므로 지표를 미리 정합니다.
• 접근 계정 단위 관측: 공격에 필요한 질의 수가 적으므로 총량 기준 레이트 리밋만으로는 부족합니다. 계정별 질의 주제 분포의 급변을 함께 기록합니다.
• 구조 확장 시 재평가: 그래프·멀티모달 RAG로 옮길 때는 텍스트 RAG 기준의 위험 평가를 다시 수행합니다.

정리

공격자는 API 질의만으로 RAG 검색 코퍼스의 문서 포함 여부를 추론할 수 있습니다. 판정 신호는 응답 유사도에서 출력 확률 차이를 거쳐 자연어 함축으로 옮겨 왔습니다. 질의 패턴 탐지에만 기댄 방어는 이 계열의 공격을 놓칩니다.

현재 현실적인 대응은 근접도 기반 질의 필터링과 출력단 차등 프라이버시를 겹치되, 재현율과 응답 품질의 손실 폭을 미리 합의해 두는 쪽입니다. 그래프 RAG처럼 구조를 바꾸면 위험 프로필도 바뀌므로, 텍스트 RAG에서 얻은 결론을 재사용하지 않는 편이 안전합니다.