토큰 정렬에서 표현 수준 방어로

거부 학습과 언러닝은 모델 안에서 얇은 층 하나로 구현되기 때문에 계속 뚫립니다. 남은 선택지는 활성화를 직접 끊는 내부 방어와 모델 밖 경계를 나눠 배치하는 것입니다.

2024년부터 2026년까지 나온 정렬 연구는 한 방향을 가리킵니다. 토큰 수준에서 거부를 학습시키는 접근은 모델 내부에 얇은 층 하나만 만들고, 그 층은 프롬프트 최적화·양자화·소량 재학습 어느 쪽으로도 벗겨집니다. 그래서 방어의 무게중심이 두 갈래로 내려가고 있습니다. 하나는 중간 계층 활성화를 직접 제어하는 모델 내부 방어이고, 다른 하나는 모델이 손댈 수 없는 실패를 맡는 시스템 경계입니다.

방향 하나가 매개하는 거부

Arditi 외의 2024년 분석은 거부 동작의 위치를 특정했습니다. 최대 72B 규모의 오픈소스 채팅 모델 13개에서 거부는 잔차 스트림의 1차원 부분공간 하나로 매개됩니다. 활성화에서 이 방향을 지우면 모델은 유해 지시를 거부하지 않고, 반대로 더하면 무해한 지시까지 거부합니다.

같은 논문은 적대적 접미사가 이 방향의 전파를 억제하는 과정도 기계론적으로 분석했습니다. 실패의 원인을 특정 공격 기법이 아니라 정렬이 놓인 자리에서 찾았다는 점이 중요합니다. LLM 탈옥과 자동화 레드팀에서 정리했듯 PAIR는 API 접근만으로 평균 20회 미만 질의에 탈옥합니다. 방어가 방향 하나에 걸려 있다면 공격은 그 방향의 투영값을 상쇄하기만 하면 됩니다.

자리에 남는 지운 지식

언러닝은 같은 한계를 다른 각도에서 드러냅니다. Zhang 외의 양자화 연구는 유틸리티 제약을 건 언러닝 기법이 full precision에서 목표 지식의 평균 21%를 남긴다고 보고했습니다. 4비트 양자화를 적용하면 그 값이 83%로 올라갑니다. 공격자가 따로 무언가를 하지 않아도 배포 관행인 양자화만으로 지식이 돌아온다는 뜻입니다.

복원 경로는 하나가 아닙니다. Xu 외는 소량 미세조정만으로 원래 동작이 복원된다는 점을 보이고 이를 가역성 문제로 정식화했습니다. Reisizadeh 외는 평가 조건 자체를 겨눕니다. 탐욕적 디코딩에서 성공으로 보이던 기법이 확률적 샘플링에서는 지운 내용을 다시 내놓았습니다.

REBEL은 가중치를 건드리지 않고 진화 기반 적대적 프롬프트만 씁니다. TOFU에서 최대 60%, WMDP에서 최대 93%의 공격 성공률로 잊었다던 지식을 되살렸습니다. 세 경로가 요구하는 접근 권한은 서로 다릅니다. 양자화는 가중치만, 재학습은 작은 미세조정 예산만, 적대적 프롬프팅은 블랙박스 질의만 필요합니다.

거부 학습과 언러닝은 목적이 다르지만 실패하는 자리는 같습니다. 둘 다 모델이 아는 것을 바꾸지 않고 무엇을 말할지의 확률만 조정합니다. 그래서 확률 계산의 조건이 바뀌면 원래 지식이 돌아옵니다. 정밀도를 낮추거나, 샘플링을 여러 번 하거나, 가중치를 조금 움직이는 것으로 충분합니다.

표현을 끊는 방어

표현 수준 방어는 개입 지점을 출력 로짓에서 중간 계층 활성화로 옮깁니다. Zou 외의 서킷 브레이커는 거부를 학습시키거나 특정 공격을 겨눠 적대적 훈련을 하는 대신, 유해 출력을 만들어내는 표현 자체를 제어합니다. 논문은 이 방식이 텍스트와 멀티모달 모델 모두에서 유틸리티를 희생하지 않고 훈련에 없던 강한 공격까지 막는다고 보고합니다. 에이전트로 확장했을 때 공격 상황에서의 유해 행동 비율도 줄었습니다.

2026년 후속 연구는 정적 개입의 빈틈을 봅니다. JPU는 탈옥이 주로 중간 계층의 지워지지 않은 파라미터를 활성화한다는 것을 실증했습니다. 그렇게 재조립되는 경로를 동적 탈옥 경로로 정의하고, 훈련 중인 정책에서 적대적 샘플을 실시간으로 캐내 그 경로를 안전 앵커 쪽으로 정류합니다. 고정된 데이터셋으로 한 번 끊어두는 것으로는 부족하다는 진단이 깔려 있습니다.

다만 JPU는 2026년 1월 프리프린트이며 2026-09 기준 심사 중입니다. 독립 재현은 아직 없습니다.

모델 밖에서 시작되는 실패

표현을 정확히 끊어도 남는 실패가 있습니다. 개입 지점이 모델 내부가 아니라 데이터가 들어오고 나가는 경계에 있는 경우입니다.

슬리퍼 메모리 포이즈닝 연구는 웹페이지나 문서에 심은 내용이 조작된 기억으로 저장되는 비율을 측정했습니다. GPT-5.5에서 최대 99.8%, Kimi-K2.6에서 95%였고, 회수에 성공한 오염 기억 중 60~89%는 공격자가 의도한 행동으로 이어졌습니다. 공격의 세부 구조는 LLM 에이전트 메모리 포이즈닝에 정리해 두었습니다.

TMA-NM 연구는 방어 신호 자체의 취약성을 다룹니다. 내용이나 계보에 기대는 방어는 요약, 신뢰 도구 반향, 조작된 교차확인이라는 세 세탁 채널로 무너집니다. 여덟 개 모델 벤치마크에서 기존 방어는 최대 68%의 공격 성공률을 보였고, 쓰기 시점 출처 결합을 적용한 TMA-NM은 0%였습니다.

검색 코퍼스도 같은 성격의 경계입니다. MEntA는 자연어 함축 신호만으로 질의 5개에서 최대 0.991 AUC를 기록했습니다. 기존 최고 성능 대비 최대 0.42 AUC를 끌어올렸고, 공격 비용은 최대 65분의 1이었습니다. RAG 데이터스토어 멤버십 추론에서 판정 신호의 세대별 변화를 다뤘습니다.

이 실패들은 모델이 유해한 말을 했기 때문에 생기지 않습니다. 어떤 데이터를 어떤 권한으로 받아들이고 어디로 내보냈는지의 문제입니다. 그래서 개입 지점은 쓰기 시점의 출처 결합과 검색 게이트로 옮겨갑니다. 마지막 관문은 Egress 게이트웨이 방어에서 다룬 유출 통제입니다.

두 방어가 맡는 서로 다른 실패

표의 마지막 열이 실무에서 가장 자주 걸리는 제약입니다. 앞의 두 줄은 가중치를 학습할 수 있는 쪽만 고를 수 있는 선택지이고, 세 번째 줄만 애플리케이션 팀이 직접 설계합니다.

표현 방어가 답이 아닌 조건

가장 큰 반례는 적응형 공격입니다. 최근 방어 12종을 겨눈 2025년 평가는 네 갈래 최적화를 조율했습니다. 그래디언트 하강, 강화학습, 무작위 탐색, 사람이 이끄는 탐색으로 대부분을 90% 이상의 공격 성공률로 우회했습니다. 이 방어들 다수는 원래 0에 가까운 공격 성공률을 보고했던 것들입니다. 정적 공격 집합에서 얻은 강건성 수치는 방어 위치와 무관하게 신뢰하기 어렵습니다.

내부 지표를 훈련 목표로 삼는 것도 위험합니다. Song 외는 공개된 언러닝 모델 398개를 감사해, 공격 전 접근성 지표가 모델 수준에서 회복 속도와 정도를 예측한다는 것을 보였습니다. 그런데 이 지표를 직접 최소화하면 감사 점수는 낮아지고 공격 후 회복량은 오히려 커졌습니다. 모델이 지식을 지우는 대신 감사에서 숨기는 법을 배우기 때문입니다.

마지막 제약은 배치 권한입니다. 표현 수준 개입은 가중치를 학습할 수 있는 쪽만 할 수 있어서, API로 모델을 쓰는 팀에게는 선택지가 아닙니다. 이 팀들이 실제로 쥔 결정권은 경계 설계뿐입니다. 이 대비는 위 논문들이 명시한 결과가 아니라 판단입니다.

방어 배치 기준

아래 그림은 두 방어가 놓이는 자리를 나눈 것입니다. 위쪽 경로는 사용자 요청이 지나는 길이고, 아래쪽 경로는 외부 콘텐츠가 저장소를 거쳐 모델로 들어오는 길입니다. 표현 수준 제어는 가운데 모델 노드 안에만 있고, 나머지 네 지점은 애플리케이션이 소유합니다.

• 가중치를 직접 학습할 수 있는지 먼저 확인합니다. 아니라면 표현 방어는 모델 선택 기준으로만 쓰고 예산은 경계에 넣습니다.
• 실패의 결과가 텍스트인지 행동인지 나눕니다. 행동이면 도구 권한 축소와 쓰기 시점 출처 결합이 표현 방어보다 앞섭니다.
• 삭제 요청 대응이라면 출력 지표 하나로 완료를 주장하지 않습니다. 양자화 버전 재측정, 무관 데이터 재학습 회복 확인, 표현 수준 감사를 따로 봅니다.
• 방어를 도입할 때 적응형 공격 결과가 없는 near-zero 수치는 근거로 쓰지 않습니다.
• 내부 감사 지표는 진단으로만 쓰고 훈련 목표로 삼지 않습니다.

앞의 두 항목이 방어 예산의 배분을 정합니다. 나머지 세 항목은 그 방어가 실제로 작동하는지 확인하는 기준입니다.

정리

토큰 수준 정렬이 뚫리는 이유는 공격이 영리해서가 아니라 방어가 놓인 자리가 얇기 때문입니다. 거부는 방향 하나로 매개되고, 언러닝은 출력 분포만 눌러서 양자화·재학습·적대적 프롬프팅에 되돌아옵니다. 그래서 모델 내부 방어는 표현 수준으로 내려가고, 메모리 오염이나 코퍼스 유출처럼 모델이 관할하지 못하는 실패는 경계가 맡아야 합니다. 다만 어느 층도 단독 보장이 아니어서, 적응형 공격 앞에서는 두 층 모두 정적 평가 수치를 잃습니다. 결정 기준은 하나로, 가중치를 만질 수 있으면 표현 방어를 고르고 그렇지 않으면 쓰기·검색·egress 경계에 예산을 넣습니다.

출처는 2026-09 기준으로 확인했습니다.