과제 피드백을 언어로 분석해 메모리에 남기고, 다음 시도에서 그 교훈을 참조하는 기법입니다.
개념
Reflexion은 과제 피드백을 언어로 분석하고 메모리에 저장해 다음 시도에 사용하는 기법입니다. 피드백은 외부 평가나 모델 내부 평가에서 얻으며, 숫자 점수 또는 자유 형식 언어일 수 있습니다. 아래 그림과 코드는 실패 후 재시도하는 경우의 설명용 예시입니다.
flowchart LR
A["시도"] --> E["환경 평가"]
E --> D{"성공"}
D -->|예| F["완료"]
D -->|아니요| R["실패 원인 반성"]
R --> M["교훈을 메모리에 저장"]
M --> A
동작 구조
- 1차 시도 후 실패합니다
- 반성: "왜 실패했는가?"를 언어로 분석합니다
- 메모리에 교훈 저장: 반성 내용을 텍스트로 기록합니다
- 2차 시도: 메모리를 참조해 수정하고 결과를 다시 평가합니다
예시
다음 코드와 메모리는 실행하지 않은 설명용 예시입니다. 저장한 피드백이 올바르거나 다음 시도가 성공한다는 보장은 없습니다.
# [1차 시도]
def book_hotel(name, dates, room_type):
reservation = {
"name": name,
"dates": dates,
"room": room_type
}
return confirm_booking(reservation)
# 결과: RuntimeError - 'dates' must be a list반성: "dates 변수의 타입 검증이 필요합니다. 사용자가 문자열이나 다른 타입을 전달할 수 있습니다."
메모리에 저장
# [2차 시도] - 메모리 참조
def book_hotel(name, dates, room_type):
# 메모리에서 학습: 타입 검증 필요
if not isinstance(dates, list):
raise ValueError("dates must be a list")
reservation = {
"name": name,
"dates": dates,
"room": room_type
}
return confirm_booking(reservation)
# 결과: 성공핵심 특징
| 특징 | 설명 |
|---|---|
| 가중치 변경 없음 | 모델 재학습 불필요 |
| 텍스트 기반 메모리 | 효율적이고 해석 가능 |
| 경험 재사용 | 저장한 피드백을 다음 시도에 사용 |
성능
Reflexion의 NeurIPS 2023 논문(arXiv:2303.11366)은 행동, 추론과 코드 생성 과제를 평가합니다. 논문의 HumanEval 결과에는 실행 피드백과 반복 수정이 포함되므로, 피드백 없는 단 한 번의 생성과 같은 조건으로 읽어서는 안 됩니다.
단순 재시도와의 차이
피드백 없는 재시도도 샘플 다양성 때문에 성공할 수 있습니다. Reflexion은 이전 결과에서 만든 언어 피드백을 다음 시도에 추가한다는 차이가 있습니다. 효과를 평가하려면 재시도 횟수와 전체 계산 예산을 맞춰 비교해야 합니다.
메모리 구조
# Reflexion 메모리 예시
memory = [
{
"task": "book_hotel 함수 구현",
"failure": "TypeError: dates must be a list",
"reflection": "입력 타입 검증이 필요하다",
"solution": "isinstance() 체크 추가"
},
{
"task": "API 호출 함수",
"failure": "ConnectionError",
"reflection": "네트워크 에러 처리가 필요하다",
"solution": "try-except와 재시도 로직 추가"
}
]메모리 활용
새로운 작업: "결제 API 함수 구현"
메모리 검색: 관련 경험 "API 호출 함수", 네트워크 에러 처리 필요
적용: 처음부터 try-except와 재시도 로직을 포함하여 1차 시도에서 성공합니다.
Self-Refine과의 차이
| Reflexion | Self-Refine | |
|---|---|---|
| 트리거 | 과제 피드백을 바탕으로 반성 | 지속적 개선 |
| 피드백 | 외부 또는 내부 평가 신호 사용 | 실패 없이도 개선 |
| 메모리 | 시도 간 피드백 보관 | 즉시 반영 |
| 적용 분야 | 코딩, QA | 글쓰기, 요약 |
동작 알고리즘
def reflexion_loop(task, max_attempts=3):
memory = load_memory()
for attempt in range(max_attempts):
# 메모리 참조하여 시도
result = execute_with_memory(task, memory)
if result.success:
return result
# 실패 시 반성
reflection = reflect_on_failure(
task=task,
error=result.error,
code=result.code
)
# 메모리에 저장
memory.append({
"task": task,
"failure": result.error,
"reflection": reflection
})
return resultload_memory는 이전 시도에서 쌓인 교훈을 불러오고, execute_with_memory는 그 메모리를 참조해 작업을 실행합니다. 실패하면 reflect_on_failure가 오류와 코드를 받아 실패 원인을 언어로 정리합니다. memory.append로 그 반성을 저장해 다음 시도에 사용합니다.
적용 시나리오
| 시나리오 | 평가할 조건 |
|---|---|
| 코딩 문제 (테스트 있음) | 테스트의 오류 검출 범위 |
| 명확한 성공/실패 기준 | 평가 신호의 정확도 |
| 팩트 기반 QA | 근거와 답변의 일치 여부 |
| 창작 글쓰기 | 평가 기준과 사람 평가의 일치 여부 |
한계
- 피드백 품질: 외부 평가나 내부 평가가 부정확하면 다음 시도를 잘못 유도할 수 있음
- 메모리 검색 품질: 관련 경험을 찾지 못할 수 있음
- 일반화: 비슷한 상황을 인식하지 못할 수 있음
관련 개념
- Self-Refine: 지속적 개선 (실패 없이도)
- CRITIC: 외부 도구 검증
- ReAct: 기반 프레임워크
- Self-Debug (ICLR 2024, arXiv 2304.05128): 코드 실행 트레이스를 읽어 스스로 디버깅하는 자기수정 계열
정리
Reflexion은 과제 피드백을 언어로 분석하고 텍스트 메모리에 남겨 다음 시도에 사용합니다. 모델 가중치를 바꾸지 않으므로 이 갱신에는 재학습이 필요하지 않습니다. 피드백은 외부 또는 내부 평가에서 얻을 수 있으며, 정확도가 다음 시도에 영향을 줍니다.
관련 경험을 찾지 못하면 저장한 피드백의 활용이 제한됩니다. 효과는 과제와 평가 신호, 메모리 사용 방식에 따라 확인해야 합니다. Self-Refine과 비교할 때도 같은 과제와 계산 예산으로 평가해야 합니다.