리랭커 목적 함수의 이동

리랭커를 질의 관련성으로 학습시키는 관행이 흔들리고 있습니다. 2026년의 연구들은 생성기가 실제로 쓸 수 있는 근거인가를 목적 함수로 삼고, 그 결과 검색기와 생성기의 경계가 리랭커 안으로 들어옵니다.

검색 강화 생성(Retrieval-Augmented Generation, RAG)의 리랭커는 오랫동안 검색 시스템의 마지막 부품이었습니다. 질의와 문서 쌍의 관련성 라벨로 학습하고 nDCG 같은 정보 검색 지표로 평가하는 방식입니다. 2026년의 연구들은 이 목적 함수를 생성기 기준으로 다시 세우는 쪽으로 모여 있습니다. 위치 편향과 계산 비용, 지식 충돌은 각각 다른 문제로 보이지만 모두 관련성이라는 목적 함수가 감당하지 못하는 영역에서 나옵니다.

관련성 지표가 답변 품질과 어긋나는 지점

Less is More for RAG(arXiv:2601.17532, 2026-01)는 이 어긋남을 직접 측정했습니다. 검색 관련성 지표는 종단 질의응답 품질과 약하게 상관되고, 여러 패시지를 함께 주입하면 음의 상관으로 뒤집히기도 합니다. 논문은 중복과 경미한 충돌이 생성을 불안정하게 만드는 것을 원인으로 지목합니다.

논문이 제안한 정보 이득 가지치기(Information Gain Pruning, IGP)는 생성기에 정렬된 유틸리티 신호로 근거를 고릅니다. 컨텍스트를 잘라내기 전에 약하거나 해로운 패시지를 먼저 걸러내는 방식입니다. 대표적인 다중 근거 설정에서 평균 F1이 상대 1220% 오르고, 최종 단계 입력 토큰은 검색기만 쓴 기준선 대비 약 7679% 줄었습니다.

같은 진단이 학습 방법 쪽에서도 나옵니다. 리랭커가 정적인 사람 라벨로 생성 과정과 분리된 채 학습되는 것을 근본적 불일치로 지목한 연구가 있습니다(arXiv:2604.02091, 2026-04). 이 논문의 RRPO(ReRanking Preference Optimization)는 리랭킹을 순차적 의사결정으로 놓고, 리더 LLM의 생성 품질을 보상으로 삼아 강화학습합니다.

결과는 모델 크기의 우열을 뒤집습니다. base 크기의 gte 다국어 리랭커를 RRPO로 학습시키자, 리스트형 LLM 리랭커인 RankZephyr를 두 벤치마크의 네 지표에서 모두 앞섰습니다.

같은 인코더를 유틸리티 신호로 다시 학습시킨 것 말고는 달라진 것이 없습니다. 파라미터를 늘리는 대신 목적 함수를 바꾼 쪽이 앞섰다는 뜻입니다.

순서와 집합이 산출물이 되는 이유

Rank4Gen(arXiv:2601.11273, 2026-01)은 통제 분석으로 두 가지를 짚습니다. 종단 응답 품질이 관련성뿐 아니라 선택된 문서의 구성과 순서에 좌우된다는 것, 그리고 그 선호가 생성기마다 체계적으로 다르다는 것입니다. 기존 랭커는 질의와 문서의 관련성만으로 학습되므로 둘 중 어느 것도 모델링하지 않습니다.

연구진은 PRISM이라는 이중 언어 선호 데이터셋을 만들었습니다. 4단계 파이프라인이 부분집합과 순서의 조합 공간을 약 1만분의 1로 압축하고, 일곱 개 생성기를 조건으로 한 응답 품질 선호 감독 신호를 만듭니다. 13k 질의 부분집합으로 학습한 Rank4Gen은 문서 집합 선택과 순서 결정을 함께 수행합니다. 다섯 개 벤치마크에서 생성기별 F1이 가장 강한 집합 선택 기준선 대비 최대 2.08 올랐습니다.

순서가 점수의 일부라는 관찰은 위치 편향 논의와 맞닿습니다. 뒤쪽 문서가 상위로 올라오지 못하는 위치 편향은 Late Interaction 리랭킹에 정리했습니다. 위치 편향을 리랭커의 결함으로 보면 보정 대상이 되지만, 순서가 생성기 입력의 일부라고 보면 순서 결정 자체가 리랭커의 산출물이 됩니다.

프레임을 더 밀어붙인 연구도 있습니다. SETR(arXiv:2507.06838, 2025-07)은 복합 다중 홉 질의에서 개별 관련성 순위가 정보 요구를 충족하지 못한다고 봅니다. 사고 사슬로 질의의 정보 요구사항을 먼저 분해한 뒤, 이를 함께 만족하는 문서 집합을 고릅니다. 순위 매기기가 아니라 집합 선택이 문제 정의가 됩니다.

무엇을 믿을지 정하는 자리

관련성 점수는 서로 모순되는 두 관련 문서를 구분하지 못합니다. 둘 다 질의와 관련 있으므로 둘 다 높은 점수를 받습니다. 어느 쪽을 위에 둘지 정하려면 관련성 밖의 기준이 필요합니다.

한 진단 연구(arXiv:2605.14473, 2026-05)는 이 상황에서 모델이 무엇을 따르는지를 컨텍스트 순응(context compliance)으로 정의합니다. 최악 조건으로 설계한 TruthfulQA 오개념 주입 실험에서 표준 RAG의 정확도는 15.0%에 그쳤습니다. 논문이 제안한 컨텍스트 기반 분해(Context-Driven Decomposition)는 국소적 사실 충돌에서 개선을 보였습니다. 엔티티 교체 조건에서는 79.3%가 88.0%로 올랐습니다.

ConflictRAG(arXiv:2605.17301, 2026-05)는 이 판단을 검색 파이프라인 안으로 넣습니다. 경량 임베딩 MLP 분류기로 1차 탐지하고 애매한 경우만 LLM으로 재확인해, API 비용을 62% 줄이면서 탐지 정확도 90.8%를 유지합니다. 이어서 엔트로피-TOPSIS로 출처 신뢰도를 점수화해 재정렬하며, 출처 선택 정확도가 수동 휴리스틱 대비 7.1% 올랐고 탐지 F1은 88.7%를 기록했습니다. 정답률은 가장 강한 충돌 인식 기준선 대비 5.3~6.1% 개선됐습니다.

여기서 재정렬의 기준은 질의와의 관련성이 아니라 출처의 신뢰도입니다. 리랭커가 생성기를 대신해 무엇을 믿을지 결정하는 셈입니다. 관련성 목적 함수로는 표현할 수 없는 판단이 리랭킹 단계에 들어와 있습니다.

세 절의 근거를 한 그림에 놓으면 경계가 어디로 옮겨갔는지 보입니다.

질의당 예산이 옮겨가는 곳

CompRank(arXiv:2606.11700, 2026-06)는 문서 표현을 후보 순서와 질의 맥락에서 분리해 재사용 가능한 상태로 저장합니다. 일곱 개 BEIR 데이터셋에서 문서 토큰의 10.2%만 남기고도 평균 NDCG@10 39.2를 기록해, 전체 토큰을 쓴 39.7과 0.5포인트 차이에 그쳤습니다. TREC-COVID 확장 실험에서는 30개 문서 목록으로 학습한 모델이 500개 목록까지 안정적이었고, 생성 기반 리스트형 리랭킹 대비 종단 속도가 4.9~9.5배 빨랐습니다.

RRK(arXiv:2604.26483, 2026-04)도 같은 방향입니다. 문서를 다중 토큰 고정 크기 임베딩으로 압축해 증류로 학습시키면, 8B 모델이 0.64B 리랭커보다 318배 빠르면서 효과는 같거나 낫습니다. 장문서 벤치마크에서 이 격차는 더 벌어집니다.

두 연구는 비용 절감을 목표로 내세우지만, 압축이 만드는 진짜 여유는 질의당 예산의 재배치라고 봅니다. 이는 판단입니다. 문서 인코딩을 질의와 분리해 오프라인으로 밀어내면, 질의 시점에 남은 예산을 관련성 재계산이 아니라 유틸리티 판단에 쓸 수 있습니다. IGP가 최종 단계 입력 토큰을 76~79% 줄인 것도 같은 회계입니다.

이 이동이 성립하지 않는 조건

가장 큰 반례는 이 이동을 뒷받침한 관찰 자체에서 나옵니다. Rank4Gen이 보인 생성기별 선호 차이는 유틸리티로 학습한 리랭커가 특정 생성기에 묶인다는 뜻이기도 합니다. 생성기를 교체하면 관련성 리랭커는 그대로 쓸 수 있지만, 유틸리티 리랭커는 감독 신호부터 다시 모아야 합니다.

일반화도 약한 고리입니다. 22개 리랭킹 방법과 40개 변형을 통제 비교한 연구가 있습니다(arXiv:2508.16757, 2025-08). LLM 기반 리랭커는 익숙한 질의에서 우수하지만, 처음 보는 질의에서는 일반화가 들쭉날쭉하다는 결론입니다. 유틸리티 학습은 특정 리더와 질의 분포에 더 밀착하므로 이 위험을 줄이기보다 키울 수 있습니다. 이는 추정입니다.

개선폭도 냉정하게 볼 필요가 있습니다. 생성기별 F1 최대 2.08, 정답률 5.3~6.1%, HotpotQA EM 32.40에서 34.10입니다. 유틸리티 신호를 모으려면 리더 LLM을 학습 루프에 넣어야 하므로, 이 폭이 그 비용을 정당화하는지는 시스템마다 갈립니다.

소스가 답하지 못한 것도 있습니다. 충돌 인식 재정렬과 유틸리티 정렬 학습을 결합한 실험은 위 논문 어디에도 없습니다. 두 신호가 서로를 강화하는지 상쇄하는지는 아직 열린 문제입니다.

목적 함수를 바꿀지 정하는 기준

목적 함수를 바꿀지는 병목이 어디인지로 정합니다. 네 질문에 차례로 답해 보면 됩니다.

• 검색 지표는 좋은데 답이 틀리는가. 관련성과 유틸리티가 어긋난 신호이므로 유틸리티 정렬이 후보입니다.
• 생성기를 자주 교체하는가. 자주 바꾼다면 생성기 종속 학습의 재작업 비용이 이득을 잠식합니다.
• 후보 문서끼리 사실이 어긋나는가. 그렇다면 출처 신뢰도 점수화가 관련성 개선보다 먼저입니다.
• 질의당 지연 예산이 남는가. 남지 않으면 문서 압축으로 예산을 먼저 확보해야 합니다.

2단계 검색 구조 자체를 먼저 점검하는 편이 순서에 맞습니다. 1차 검색이 정답 문서를 후보에 넣지 못하면 어떤 목적 함수도 이를 만들어내지 못합니다. 1차 검색기 설계는 DPR 기반 RAG 밀집 검색에 정리했습니다. 크로스 인코더 재순위의 기본 구조는 RAG 크로스 인코더 재순위에 있습니다.

참고 자료

• Less is More for RAG, arXiv:2601.17532 (2026-01)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning, arXiv:2604.02091 (2026-04)
• Rank4Gen, arXiv:2601.11273 (2026-01)
• Shifting from Ranking to Set Selection for Retrieval Augmented Generation, arXiv:2507.06838 (2025-07)
• Does RAG Know When Retrieval Is Wrong, arXiv:2605.14473 (2026-05)
• ConflictRAG, arXiv:2605.17301 (2026-05)
• CompRank, arXiv:2606.11700 (2026-06)
• Efficient Listwise Reranking with Compressed Document Representations, arXiv:2604.26483 (2026-04)
• How Good are LLM-based Rerankers, arXiv:2508.16757 (2025-08)

모든 수치는 2026-09 기준으로 각 논문 초록 또는 본문에서 대조했습니다.

정리

리랭커의 목적 함수는 질의와의 관련성에서 생성기가 쓸 수 있는가로 옮겨가고 있습니다. IGP와 RRPO는 이 이동을 학습 신호로 구현했고, Rank4Gen과 SETR은 순서와 집합까지 산출물로 끌어왔습니다. ConflictRAG는 무엇을 믿을지까지 재정렬 기준에 넣었고, 문서 압축 연구는 이 판단에 쓸 질의당 예산을 만들어 줍니다.

대가는 생성기 종속과 감독 신호 수집 비용이고, 보고된 개선폭은 벤치마크에서 한 자릿수에 머뭅니다. 검색 지표가 좋은데 답이 틀리는 상황이 재현된다면 목적 함수를 의심할 차례입니다. 그렇지 않다면 1차 검색과 후보 수부터 손보는 편이 낫습니다.