검색 근거를 공유하는 토론 시스템에서는 출처 추적과 답변 합의를 별도로 평가해야 합니다.
검색과 토론
Multiagent Debate는 여러 응답이 서로를 참고해 수정하는 절차를 연구합니다. Dense Passage Retrieval은 질문과 문단을 임베딩해 관련 문단을 찾는 검색 방법입니다. 두 연구를 결합했다고 해서 토론의 정확도가 자동으로 높아지는 것은 아닙니다.
이 글은 검색한 문서를 여러 에이전트에 제공하는 설계 예제입니다. 특정 논문의 알고리즘이나 성능 결과를 재현한 설명이 아닙니다.
공유할 정보
문서 본문만 전달하면 어느 버전의 어떤 문장을 근거로 삼았는지 확인하기 어렵습니다. 공유 자료에는 문서 식별자, 버전, 위치와 원문을 포함합니다. 요약은 원문과 연결해 두고, 에이전트가 만든 주장을 새 사실로 자동 등록하지 않습니다.
| 정보 | 목적 |
|---|---|
| 문서 ID와 버전 | 동일한 자료를 읽었는지 확인 |
| 문단 위치와 원문 | 주장이 실제 문장에 근거하는지 확인 |
| 검색 질의 | 후보가 선택된 이유를 추적 |
| 주장과 출처의 연결 | 합의한 답의 근거를 검토 |
처리 흐름
flowchart TD
Q["질문"] --> R["문서 검색"]
R --> E["출처가 포함된 근거 묶음"]
E --> A["독립 초기 응답"]
A --> D["응답과 근거 비교"]
D --> V["최종 주장과 원문 대조"]
V --> F["답변 또는 근거 부족 표시"]
초기 응답은 같은 근거를 보더라도 서로 다른 해석을 할 수 있습니다. 이후 토론에서는 상대의 결론만 반복하지 말고, 해당 문장이 무엇을 지지하는지 비교합니다. 새로운 자료가 필요하면 별도 검색 결과를 기록하고 검토한 뒤 근거 묶음에 추가합니다.
평가 방법
검색만 사용하는 단일 생성, 검색 없이 토론하는 방식, 검색과 토론을 결합한 방식을 비교할 수 있습니다. 전체 토큰과 호출 예산을 맞추고, 답 정확도와 인용 근거의 적절성을 따로 채점합니다. 공유 자료를 추가한 효과와 단순히 호출 수가 늘어난 효과를 구분해야 합니다.
합의율이 높아져도 같은 잘못된 문서에 의존했을 수 있습니다. 검색 누락, 잘못된 출처 선택, 원문과 다른 해석을 별도로 기록합니다. 검색 자료가 부족하면 그 범위를 답변에 남깁니다.
정리
근거 공유는 여러 응답이 참고한 자료를 추적하기 위한 설계 선택입니다. 자료를 공유한다고 해석이나 결론이 정확해지는 것은 아닙니다. 검색과 토론의 효과를 각각 평가하고, 생성한 주장을 검증된 지식으로 자동 저장하지 않아야 합니다.