같은 모델에게 피드백을 받아 답변을 반복 개선하는 기법입니다.
개념
Self-Refine은 같은 모델에게 피드백을 요청하고, 그 피드백을 바탕으로 답변을 반복 개선하는 기법입니다. 별도의 검증 모델이나 외부 도구 없이, 답변을 만든 모델이 자기 출력의 약점을 스스로 지적하고 고칩니다.
flowchart LR
G["초기 생성"] --> F["자기 피드백"]
F --> R["답변 개선"]
R --> D{"종료 기준 충족"}
D -->|아니요| F
D -->|예| O["최종 출력"]
NeurIPS 2023 원문(arXiv:2303.17651)은 여러 과제에서 이 반복 절차를 평가했습니다. 같은 모델의 피드백은 틀릴 수 있으며, 모든 반복이 품질을 높인다는 보장은 없습니다.
동작 구조
- 생성(Generation): 초기 답변을 생성합니다.
- 피드백 요청: 같은 모델에게 개선점을 물어봅니다.
- 개선(Refinement): 피드백을 반영하여 답변을 개선합니다.
- 평가: 더 나아졌는지 판단합니다. 아직 부족하면 2단계로 돌아가 반복하고, 충분하면 최종 답변으로 출력합니다.
예시
1차 생성 "AI는 높은 지능을 보유하고 있습니다."
피드백 요청 "위 문장에서 개선할 점을 지적해 줘."
피드백 "'높은 지능'의 범위가 모호합니다. 어떤 종류의 지능인지 구체화가 필요합니다."
2차 개선 "이 시스템은 입력 이미지에 있는 물체의 종류를 분류합니다."
최종 평가 "훨씬 구체적이고 명확합니다."
코드 리팩토링 예시
1차 생성
def calc(a, b, c): return a + b * c피드백 요청 "위 코드에서 개선할 점을 지적해 줘."
피드백
- 함수명이 모호함 (calc → ?)
- 매개변수명이 불명확함
- 연산 우선순위가 명시적이지 않음
2차 개선
def calculate_total_with_multiplier(base, quantity, multiplier):기본값에 (수량 * 배수)를 더한 총합을 계산합니다.return base + (quantity * multiplier)피드백 "훨씬 명확합니다."
Reflexion과의 차이
| Reflexion | Self-Refine | |
|---|---|---|
| 트리거 | 과제 피드백을 바탕으로 반성 | 지속적 개선 |
| 피드백 | 외부 또는 내부 평가 신호 사용 | 실패 없이도 개선 |
| 메모리 | 시도 간 피드백 보관 | 즉시 반영 |
| 적용 분야 | 코딩, QA | 글쓰기, 요약 |
핵심 차이
- Reflexion: 과제 피드백을 분석하고 메모리에 보관해 다음 시도에 사용합니다.
- Self-Refine: 시도 후 실패 여부와 관계없이 "더 좋게 할 수 있나?"를 물어 개선합니다.
적용 분야
Self-Refine은 정답이 명확하지 않은 작업에 특히 유용합니다.
| 분야 | 예시 |
|---|---|
| 글쓰기 | 에세이, 이메일, 보고서 |
| 코드 품질 | 리팩토링, 가독성 개선 |
| 요약 | 문서 요약, 핵심 추출 |
| 번역 | 자연스러운 표현 |
동작 알고리즘
아래 예시와 코드는 실행하지 않은 설명용 의사코드입니다. 원 논문의 실험을 재현하거나 품질 향상을 측정한 결과가 아닙니다.
max_iterations는 반복 상한이고, 피드백에 "개선 불필요"나 "충분합니다"가 들어오면 break로 일찍 종료합니다.
def self_refine(task, max_iterations=3):
# 1차 생성
output = llm.generate(task)
for i in range(max_iterations):
# 피드백 요청
feedback = llm.generate(
f"다음 결과물의 개선점을 지적해주세요:\n{output}"
)
# 개선 필요 여부 판단
if "개선 불필요" in feedback or "충분합니다" in feedback:
break
# 피드백 기반 개선
output = llm.generate(
f"피드백: {feedback}\n"
f"기존 결과: {output}\n"
f"피드백을 반영하여 개선해주세요."
)
return output피드백 품질 향상
구체적인 피드백 요청
나쁜 예 "개선점을 알려 줘."
좋은 예 "다음 관점에서 개선점을 지적해 줘:
- 명확성: 독자가 쉽게 이해할 수 있는가?
- 구체성: 추상적인 표현이 있는가?
- 문법: 문법적 오류가 있는가?
- 구조: 논리적 흐름이 자연스러운가?"
역할 지정
"당신은 10년 경력의 기술 문서 편집자입니다. 다음 문서의 개선점을 전문가 관점에서 지적해 줘."
종료 조건
Self-Refine의 종료 조건은 다음과 같이 설정할 수 있습니다.
| 방법 | 설명 |
|---|---|
| 고정 반복 | 3회 반복 후 종료 |
| 피드백 기반 | "충분합니다" 응답 시 종료 |
| 변화량 | 개선 폭이 작으면 종료 |
| 점수 기반 | 품질 점수가 임계값 초과 시 종료 |
한계
- 주관적 판단: 모델 자체의 편향에 의존
- 과도한 수정: 불필요한 변경 가능
- 무한 루프: 종료 조건 설정 필요
- 팩트 검증 불가: CRITIC 필요
CRITIC과의 조합
팩트 확인이 필요하면 다음 순서로 결합합니다.
- Self-Refine: 품질을 반복적으로 개선합니다.
- CRITIC: 외부 도구로 팩트를 검증합니다.
- 최종 결과: 수정 결과와 검증하지 못한 범위를 함께 확인합니다.
관련 개념
- Reflexion: 과제 피드백과 메모리를 통한 개선
- CRITIC: 외부 도구 검증
- Multi-Agent Debate: 다른 에이전트의 피드백
정리
Self-Refine은 명확한 실패 신호가 없어도 같은 모델의 피드백을 받아 답변을 반복 개선합니다. 글쓰기, 요약, 코드 가독성처럼 정답이 하나로 정해지지 않은 작업에서 특히 쓸모가 있습니다. 피드백을 구체적인 관점으로 나눠 요청하고 종료 조건을 명확히 두면 과도한 수정과 무한 루프를 줄일 수 있습니다. Self-Refine은 모델 자체의 편향에 의존하고 팩트를 검증하지 못합니다.
외부 도구로 사실을 확인하는 CRITIC과 결합해 이 한계를 보완합니다.