여러 에이전트가 서로의 응답을 참고해 답을 수정하는 절차입니다.
개념
Multi-Agent Debate는 여러 AI 에이전트가 서로 토론하며 문제를 해결하는 기법입니다. 서로의 응답을 참고해 답을 수정합니다.
flowchart LR
Q["문제"] --> A["에이전트 A 답변"]
Q --> B["에이전트 B 답변"]
A --> X["상호 반박과 근거 확인"]
B --> X
X --> J["투표 또는 중재"]
J --> F["최종 답변"]
구조
에이전트 A: "답은 X입니다. 왜냐하면..."
에이전트 B: "아니요, ...을 간과했습니다. 답은 Y입니다."
에이전트 A: "좋은 지적입니다. 그렇다면 ...는 어떻게 보는가?"
여러 라운드를 반복한 뒤, 투표 또는 중재로 최종 답을 결정합니다.
기대 효과와 조건
다른 응답은 누락이나 오류를 찾을 기회를 제공합니다. 그러나 같은 모델은 비슷한 오류를 낼 수 있고, 토론 중 맞던 답을 잘못 바꿀 수도 있습니다. 합의율만으로 답변 정확도를 평가해서는 안 됩니다.
성능
Du 외의 ICML 2024 논문(arXiv:2305.14325)은 수학·전략 추론과 사실성 과제에서 토론을 평가했습니다. 이 결과는 평가한 모델, 과제와 토론 예산에 한정됩니다. 토론 자체의 효과를 판단하려면 토론 없이 여러 응답을 생성해 투표하는 기준선도 같은 비용으로 비교해야 합니다.
아래 대화는 설명용 예시이며 논문의 실행 기록이 아닙니다.
토론 예시
수학 문제
문제: "3개의 주사위를 던졌을 때, 합이 10이 될 확률은?"
Agent A (1라운드): "각 주사위의 경우의 수는 6이므로 전체 경우의 수는 (6^3 = 216)입니다. 합이 10이 되는 조합은 (1,3,6), (1,4,5), (2,2,6), (2,3,5), (2,4,4), (3,3,4) 6가지이므로 확률은 (6/216 = 1/36)입니다."
Agent B (반박): "Agent A는 순서를 무시한 조합만 셌습니다. 분모 216은 순서를 구분한 값이므로 분자도 순서를 펼쳐야 합니다. (1,3,6)·(1,4,5)·(2,3,5)는 각각 (3! = 6)가지, (2,2,6)·(2,4,4)·(3,3,4)는 같은 눈이 둘이라 각각 (3!/2! = 3)가지입니다."
Agent A (수정): "맞습니다. 펼치면 (6 \times 3 + 3 \times 3 = 27)가지이므로 확률은 (27/216 = 1/8)입니다."
최종 답변: (1/8) ✓
논리 문제
문제: "모든 새는 날 수 있습니다. 펭귄은 새입니다. 따라서 펭귄은 날 수 있습니다. 이 논증은 타당한가?"
Agent A: "논리적 형식상 타당합니다. 대전제와 소전제에서 결론이 도출됩니다."
Agent B (반박): "논리적 형식은 타당하지만, 대전제가 거짓입니다. '모든 새는 날 수 있다'는 사실이 아닙니다. 펭귄, 타조, 키위 등 날지 못하는 새가 있습니다."
Agent A (수정): "맞습니다. 논증의 형식적 타당성과 전제의 진리값을 구분해야 합니다. 이 논증은 형식적으로 타당하나, 대전제가 거짓이므로 건전하지 않습니다."
최종 답변: 형식적으로 타당하나 건전하지 않음 ✓
조직 구조
Multi-Agent 시스템은 다음과 같은 조직 구조로 구성할 수 있습니다.
| 구조 | 특징 | 장점 | 단점 |
|---|---|---|---|
| 중앙집중식 | 중재자가 조율 | 일관성, 빠른 결정 | 단일 실패점 |
| 분산식 | 동등한 참여 | 창발성, 다양성 | 합의 어려움 |
| 하이브리드 | 계층적 구조 | 균형 | 복잡성 |
역할 기반 토론
각 에이전트에 다른 역할을 부여합니다.
긍정적 비평가: "이 접근의 장점은..."
부정적 비평가: "하지만 이런 문제점이..."
통합자: "두 관점을 종합하면..."
역할 예시
| 역할 | 책임 |
|---|---|
| 옹호자 | 제안을 지지하고 장점 강조 |
| 비판자 | 약점과 위험 지적 |
| 사실 확인자 | 주장의 근거 검증 |
| 중재자 | 합의 도출 |
동작 알고리즘
아래는 실행하지 않은 의사코드이며, 원 논문의 구현을 재현하지 않습니다. 초기 응답 수집 → 라운드 반복 → 합의 확인 → 최종 결정 순으로 동작합니다. max_rounds는 토론 라운드 상한이고, responses는 에이전트별 최신 응답을 담는 딕셔너리입니다. check_consensus가 합의를 감지하면 조기 종료하고, 마지막 vote_or_mediate가 아래 '합의 방식' 표의 전략으로 최종 답을 정합니다.
def multi_agent_debate(question, agents, max_rounds=3):
responses = {}
# 초기 응답 수집
for agent in agents:
responses[agent.id] = agent.generate(question)
# 토론 라운드
for round in range(max_rounds):
for agent in agents:
# 다른 에이전트의 응답 확인
others_responses = {
k: v for k, v in responses.items()
if k != agent.id
}
# 반박 또는 수정
responses[agent.id] = agent.generate(
f"질문: {question}\n"
f"다른 에이전트 응답: {others_responses}\n"
f"당신의 기존 응답: {responses[agent.id]}\n"
f"반박하거나 수정하세요."
)
# 합의 확인
if check_consensus(responses):
break
# 최종 답변 결정 (투표 또는 중재)
return vote_or_mediate(responses)합의 방식
| 방식 | 설명 |
|---|---|
| 다수결 | 가장 많은 지지를 받은 답 |
| 가중 투표 | 신뢰도에 따른 가중치 |
| 중재자 결정 | 별도의 중재 에이전트 |
| 합의 도출 | 모든 에이전트가 동의 |
한계
- 비용: 여러 에이전트 호출로 비용 증가
- 시간: 여러 라운드 필요
- 합의 실패: 영원히 합의에 도달하지 못할 수 있음
- 동질성: 같은 모델은 비슷한 편향 가능
검색 근거 공유
토론에 출처가 있는 문서를 함께 제공하는 설계를 고려할 수 있습니다. 공유한 근거 자체가 틀리면 여러 에이전트가 같은 오류를 반복할 수 있으므로, 합의와 사실 확인을 구분해야 합니다. 이는 이 글의 설계 제안이며 특정 확장 논문의 성능을 주장하지 않습니다.
정리
Multi-Agent Debate는 여러 응답을 생성하고 토론을 통해 수정하는 절차입니다. 원 논문은 특정 과제에서 개선을 보고했지만, 합의가 정확성을 보증하지는 않습니다. 같은 계산 예산의 비토론 기준선과 비교하고, 오답으로 바뀐 사례와 비용도 함께 평가해야 합니다.