멀티에이전트 시스템 평가와 오케스트레이션 토폴로지

에이전트를 여러 개 붙인다고 좋아지지 않습니다. 조정 비용과 실패 전파, 토폴로지를 함께 재야 판단이 섭니다.

조정 비용이라는 새 차원

멀티에이전트 시스템(Multi-Agent System, MAS)은 여러 에이전트가 역할을 나눠 한 과제를 푸는 구조입니다. 단일 에이전트 벤치마크 점수를 그대로 가져오면 이 구조의 핵심 비용을 놓칩니다. 협업에는 조정 비용, 메시지 품질, 에이전트 간 오정렬, 오류 전파라는 차원이 새로 붙기 때문입니다.

비용부터 큽니다. Anthropic은 MAS가 일반 채팅 대비 약 15배, 단일 에이전트는 약 4배 토큰을 쓴다고 보고했습니다.

토큰이 늘면 정확도가 오를 것 같지만 꼭 그렇지는 않습니다. 한 스케일링 연구(arXiv:2512.08296)는 전체 평균 MAS 개선폭을 -3.5%로 측정했습니다. 단일 에이전트 정확도가 이미 약 45%를 넘는 과제에서는 에이전트를 더해도 수익이 음수였습니다.

오류도 증폭됩니다. 같은 연구는 오류 증폭률을 중앙집중형 4.4배, 독립형 17.2배로, 조정 오버헤드를 58~515% 범위로 보고했습니다. 그래서 MAS는 단일 에이전트가 분명히 막히는 과제에서만 값을 합니다. 병렬 탐색이 본질인 Anthropic 리서치 시스템이 단일 대비 90.2% 앞선 사례가 그 경계를 보여줍니다.

다섯 축으로 나눠 보기

MAS 평가는 한 점수로 합치면 정보를 잃습니다. 축마다 측정 대상이 다르고 서로 상충하므로, 다섯 축으로 나눠 보는 편이 정확합니다.

신뢰성 축은 따로 강조할 값이 있습니다. tau-bench가 도입한 pass^k는 k번 시도가 모두 성공할 확률을, pass@k는 k번 중 한 번이라도 성공할 확률을 봅니다. 두 지표는 같은 성공률을 전혀 다르게 보여줍니다.

단일 성공률 70%
pass@3 = 1 - (1 - 0.7)^3 = 0.973
pass^3 = 0.7^3 = 0.343

같은 70% 성공률이 pass@3에서는 97%로, pass^3에서는 34%로 보입니다. 사람이 매번 개입하면 pass@k가, 무인 자동화 파이프라인이면 pass^k가 정직한 지표입니다. 실제로 GPT-4o는 tau-bench retail에서 pass^1이 약 61%인데 pass^8은 25% 미만으로 떨어집니다.

실패가 흩어지는 세 범주

실패를 줄이려면 어디서 깨지는지를 먼저 알아야 합니다. MAST(arXiv:2503.13657)는 MAS 전용 실패 분류 체계입니다. 7개 프레임워크의 1,642개 실행 기록(trace)을 주석해 3범주 14개 실패 모드를 정의했습니다.

분포가 말하는 바는 분명합니다. 실패가 세 범주에 고루 퍼져 있어 한 곳만 고쳐서는 해결되지 않습니다. 에이전트 간 오정렬 안에서는 추론과 행동이 어긋나는 모드가 단일 최대 약 13%를 차지했습니다.

표적 개입의 효과도 작았습니다. MAST 분석에서 ChatDev는 오케스트레이션을 재구성하면 +9.4%, 검증 단계를 추가하면 +15.6%에 그쳤습니다. 부분 수정보다 구조 자체의 재설계가 필요하다는 근거입니다. 같은 분석에서 최신(state-of-the-art) 프레임워크 7개가 41%~86.7%의 과제에서 실패했습니다.

비용과 성능을 가르는 토폴로지

토폴로지는 에이전트들이 메시지를 주고받는 연결 구조입니다. 크게 순차·병렬·계층·혼합으로 나뉩니다. 중앙 감독자(supervisor)가 작업을 분배하는 구조와, 에이전트끼리 직접 넘기는 스웜(swarm)이 양 극단에 있습니다.

• 순차 파이프라인: 검색에서 요약, 검증으로 단계가 정해진 과제에 맞습니다. 디버깅이 쉽지만 병렬성이 없습니다.
• 감독자 중앙형(star·tree): 감독자가 작업을 나누고 결과를 합칩니다. 책임 소재가 분명하나 감독자가 병목이 됩니다.
• 스웜형(graph·mesh): 에이전트가 서로 직접 통신합니다. 유연하지만 메시지가 폭증하고 디버깅이 어렵습니다.

토폴로지 선택은 비용과 성능을 동시에 가릅니다. MultiAgentBench(arXiv:2503.01935)에서 tree 토폴로지는 토큰을 가장 많이 쓰고 성능은 가장 낮았으며, graph와 star가 우수했습니다. 메시지 양과 성능이 비례하지 않는다는 신호입니다.

AgentPrune은 이 직관을 검증했습니다. 중복 메시지를 쳐내자 최고 토폴로지의 성능을 정답 1건당 약 5.6달러에 재현했습니다. 같은 성능을 가지치기 없이 내려면 약 43.7달러가 들었다고 보고했습니다. 오가는 메시지의 상당수가 잉여라는 뜻입니다.

토폴로지를 태스크에 맞춰 고르기

고정 토폴로지 하나로 모든 과제를 풀 필요는 없습니다. 과제에 맞춰 구조를 고르는 적응형 오케스트레이션이 최근의 흐름입니다.

AdaptOrch(arXiv:2602.16873)는 모델 성능이 수렴하는 구간에서는 모델보다 토폴로지 선택이 더 큰 차이를 낸다고 주장합니다. 라우터가 과제 분해 그래프를 분석해 적합한 토폴로지를 고릅니다. 코딩과 추론, 검색 증강 생성(Retrieval-Augmented Generation, RAG)에서 단일 토폴로지 기준 대비 12~23% 향상을 보고했습니다.

DAAO(arXiv:2509.11079)는 쿼리 난이도에 따라 워크플로 복잡도를 조정합니다. 쉬운 쿼리는 단일 에이전트로 한 번에 처리하고, 어려운 쿼리에만 다단계 추론 체인을 배정합니다. 난이도는 변분 오토인코더(Variational Autoencoder)로 추정하고, 성공·실패 피드백으로 추정을 갱신합니다.

협업 구조에는 함정도 있습니다. 'Beyond the Strongest LLM'(arXiv:2509.23537)은 한 가지 위험을 지적했습니다. 진행 중인 투표 결과를 실시간 공개하면 herding(군집) 현상으로 에이전트가 조기 합의에 쏠립니다. 정보 공유의 시점과 범위를 설계 단계에서 정해 두어야 합니다.

과정을 채점하는 평가

결과 점수만으로는 협업 품질을 보지 못합니다. 누가 무엇을 했는지, 중간 단계가 옳았는지를 보려면 과정(trajectory)을 채점해야 합니다.

Agent-as-a-Judge(arXiv:2410.10934)는 전체 실행 과정을 평가합니다. DevAI 과제에서 인간 합의와 90.4%(black-box)·92.1%(gray-box) 일치해, 단일 LLM 심판의 60.4%·70.8%를 앞섰습니다. 인간 평가 대비 시간과 비용을 약 97% 줄였다고 보고했습니다.

LLM 심판을 그대로 쓰면 위치·장황함·자기 선호 편향이 끼어듭니다. 단일 출력만 채점하면 조정 실패나 기여도 분배를 놓칩니다. 그래서 과정을 보는 평가나 보정된 심판 패널이 필요합니다.

비용까지 함께 보면 토폴로지의 값이 또렷해집니다. 한 금융 문서 처리 벤치마크(arXiv:2603.22651)에서 계층형 감독자-작업자 구조는 F1 0.921을 1.4배 비용으로 달성해 비용-성능 경계에서 우위를 보였습니다. 더 비싼 반성형 구조는 F1 0.943을 2.3배 비용에 냈습니다.

정리

멀티에이전트는 토큰을 단일 대비 약 15배 쓰고 오류를 증폭하므로, 단일 에이전트가 막히는 과제에서만 값을 합니다. 평가는 결과·조정 비용·과정·신뢰성·안전 다섯 축으로 나누고, 무인 파이프라인이면 pass^k로 일관성을 봐야 합니다. 실패는 명세·오정렬·검증 세 범주에 흩어지므로 한 곳만 고쳐서는 부족하고, 토폴로지 선택과 구조 재설계가 함께 가야 합니다. 모델 성능이 수렴하는 구간일수록 어떤 토폴로지를 고르고 어떻게 채점하는지가 시스템의 성패를 가릅니다.