AI 에이전트 진화사

텍스트만 생성하던 모델이 추론하고 행동하는 에이전트로 바뀌기까지, 2022년부터 2025년까지의 핵심 기법을 시기순으로 정리합니다.

에이전트가 등장한 이유

대형 언어 모델(Large Language Model, LLM)은 본래 다음 토큰을 예측하는 텍스트 생성기입니다. 한 번 질문하면 한 번 답하고 끝나며, 실시간 정보에 접근하거나 외부 도구를 쓰지 못합니다. 이 구조로는 여러 단계를 거치거나 검증이 필요한 작업을 풀기 어렵습니다.

에이전트는 이 한계를 넘기 위한 설계입니다. LLM 에이전트는 환경을 인식하고, 목표를 추론하며, 실제 행동까지 실행하는 시스템입니다. 2022년 이후의 발전은 이 인식-추론-행동 루프를 하나씩 채워 온 과정으로 읽을 수 있습니다.

전체 흐름 한눈에 보기

큰 줄기는 추론을 밖으로 꺼내고, 도구와 연결하고, 반복으로 검증하고, 다시 추론을 안으로 넣는 순서입니다. 아래 표는 각 단계의 대표 기법과 원 논문이 보고한 결과입니다.

표의 성능 수치는 각 기법의 원 논문이 보고한 값입니다. 벤치마크 종류와 실험 설정에 따라 달라지므로, 절대 수치보다 같은 과제에서의 상대 변화로 읽는 편이 안전합니다.

단계별 추론과 도구 행동

Chain of Thought(이하 CoT)는 2022년 초의 출발점입니다. 모델이 답만 내지 않고 풀이 과정을 단계별로 출력하면 추론 정확도가 오른다는 발견입니다. 이 효과는 약 1000억(100B) 매개변수 이상 규모에서 두드러지는 창발 능력으로 보고됐습니다(Wei 외, 2022).

CoT에는 두 가지 한계가 남았습니다. 생각을 글로 풀어도 사실을 지어내는 할루시네이션은 그대로였고, 실시간 정보에도 접근할 수 없었습니다. ReAct는 추론(Reasoning)과 행동(Acting)을 한 루프로 묶어 이 문제를 공략했습니다(Yao 외, 2022).

ReAct의 루프는 생각, 행동, 관찰을 번갈아 반복합니다.

Thought: 최신 정보가 필요하니 검색한다
Action: search("롯데월드타워 높이")
Observation: 554.5미터
Thought: 답에 필요한 사실을 확보했다
Answer: 554.5미터

모델은 필요할 때 검색이나 계산 같은 도구를 호출하고, 그 결과인 관찰을 다시 추론에 넣습니다. 덕분에 최신 정보 접근과 외부 계산이 가능해졌고, 사실 검증형 과제에서 정확도가 올랐습니다.

도구 사용과 자기 성찰

ReAct가 도구를 프롬프트로 쓰게 했다면, Toolformer는 도구 사용 자체를 학습 문제로 다뤘습니다(2023). 모델이 계산기·검색·번역·캘린더 같은 도구를 언제 부를지 스스로 익히게 한 접근입니다.

자기 성찰 계열은 한 번 답하고 끝나던 모델을 반복하며 나아지는 에이전트로 바꿨습니다. Reflexion은 실패를 버리지 않고 원인을 문장으로 적어 메모리에 남깁니다.

이 반성 루프로 Reflexion은 코드 생성 벤치마크 HumanEval의 통과율(pass@1)을 약 91%까지 올렸습니다(Shinn 외, 2023). 비슷한 시기의 Self-Refine은 모델이 스스로 피드백을 만들어 고치고, CRITIC은 외부 도구로 출력을 검증한 뒤 고칩니다. 공통점은 생성 한 번으로 끝내지 않고 검증과 수정을 루프로 넣었다는 점입니다.

다중 경로 탐색과 협력

CoT가 한 줄기 추론이라면, Tree of Thought(ToT)는 여러 추론 경로를 트리로 펼쳐 탐색합니다(Yao 외, 2023). 막다른 길은 버리고 유망한 가지를 더 파고드는 방식입니다.

효과는 탐색이 중요한 문제에서 두드러집니다. 숫자 카드로 24를 만드는 'Game of 24'에서 GPT-4의 CoT 정답률은 4%였지만 ToT는 74%까지 올랐습니다(Yao 외, 2023). LATS는 여기에 ReAct의 행동, Reflexion의 반성, 몬테카를로 트리 탐색을 합쳐 HumanEval 94.4%를 보고했습니다(Zhou 외, 2023).

한 에이전트의 한계는 여러 에이전트로도 풀 수 있습니다. Multi-Agent Debate는 서로 다른 에이전트가 답을 제시하고 반박하며, 투표나 중재로 결론을 냅니다. 관점이 갈리면서 편향이 상쇄되고 할루시네이션이 줄어드는 효과가 보고됐습니다.

추론의 내부화

2024년 후반에는 추론 과정을 모델 안으로 넣는 흐름이 나타났습니다. OpenAI o1은 사고 과정을 강화학습(Reinforcement Learning, RL)으로 익혀 내부에서 처리합니다. 겉으로는 결과만 출력하며, 수학 경시 문제 AIME 2024에서 GPT-4o의 13%대 정답률이 o1에서는 70~80%대로 올랐습니다(OpenAI, 2024-09).

추론을 내부에서 처리하는 o1에는 'Let's think step by step' 같은 외부 CoT 지시가 오히려 성능을 떨어뜨릴 수 있습니다. 2025년 초 공개된 DeepSeek-R1은 정답 보상만 주는 순수 강화학습으로 추론 능력이 창발함을 보였습니다. 학습에는 후보 답안을 상대 비교하는 GRPO(Group Relative Policy Optimization)를 썼습니다.

기존 학습은 훈련 단계에 계산을 집중했지만, 추론 모델은 추론 시점에 계산을 더 써서 정확도를 높입니다. 이를 추론 시점 계산 확장(Test-Time Compute Scaling)이라 부릅니다. s1은 약 1,000개의 선별 예제만 학습에 썼습니다. 'Wait' 토큰으로 사고를 더 끌고 가는 budget forcing만으로 o1-preview에 근접한 성능을 보고했습니다(Muennighoff 외, 2025).

구성·협력·진화로 본 에이전트

개별 기법을 시기순으로 보면 큰 흐름이 잡힙니다. 다만 한 에이전트 시스템을 설계할 때는 다른 축이 필요합니다. 이를 구성(Build), 협력(Collaborate), 진화(Evolve) 세 축으로 정리한 서베이가 있습니다. 논문 제목은 'Large Language Model Agent: A Survey on Methodology, Applications and Challenges'입니다.

구성은 에이전트 한 대를 이루는 요소입니다.

메모리의 장기 기억은 두 갈래로 쌓입니다. 하나는 검색 증강 생성(Retrieval-Augmented Generation, RAG)으로 외부 지식을 끌어옵니다. 다른 하나는 Reflexion식 시행착오 기록입니다. 협력은 여러 에이전트를 어떻게 묶느냐의 문제입니다.

진화는 에이전트가 경험으로 나아지는 축으로, 자기 학습·협력 학습·외부 피드백으로 나뉩니다. 다만 서베이는 다섯 가지 한계도 분명히 합니다. 확장성, 유한한 컨텍스트로 인한 메모리 제약, 고위험 분야의 신뢰성, 대규모 상호작용 비용, 복잡한 결정의 설명 가능성입니다.

정리

2022년의 CoT와 ReAct는 추론을 글로 꺼내고 도구와 연결했고, 2023년의 Reflexion·ToT·LATS는 반성과 탐색으로 정확도를 끌어올렸습니다. 2024년 이후의 o1과 DeepSeek-R1은 추론을 강화학습으로 내부화했고, 2025년의 Test-Time Compute는 추론 시점에 계산을 더 쓰는 방향을 열었습니다. 각 단계는 앞 기법이 남긴 한계를 겨냥하며, 추론을 밖으로 꺼내고 도구와 연결하고 반복으로 검증하고 다시 안으로 넣는 흐름으로 이어집니다. 기법 이름을 외우기보다 각 단계가 어떤 한계를 풀려 했는지를 따라가면, 새 모델이 나와도 같은 흐름 위에 얹어 이해할 수 있습니다.