CRITIC은 모델이 자기 판단에만 의존하지 않고 검색·계산기·코드 실행 결과를 함께 사용해 답변을 검증하고 고치는 기법입니다.
개념
CRITIC은 모델이 검색·계산기·코드 실행 결과를 해석해 답변을 검증하고 개선하는 기법입니다. 정식 명칭은 Large Language Models Can Self-Correct with Tool-Interactive Critiquing입니다.
flowchart LR
G["초기 답변"] --> P["검증 주장 선택"]
P --> T["외부 도구 실행"]
T --> D{"근거와 일치하는가"}
D -->|예| F["최종 답변"]
D -->|아니요| C["오류 수정"]
C --> P
동작 구조
- 초기 답변 생성: 모델이 질문에 대한 1차 답변을 만듭니다
- 외부 도구로 검증: 검색, 계산기, 코드 실행 등으로 답변을 확인합니다
- 맞으면 최종 답변으로 확정하고, 틀리면 오류를 분석하여 개선합니다
아래 예시는 동작 설명을 위한 것으로, 논문의 평가 결과나 실행 기록이 아닙니다.
수학 검증 예시
질문: "15의 제곱근의 소수점 둘째 자리까지 값은?"
1차 시도. 모델: "약 3.87입니다."
CRITIC 검증. Action: [Calculate] sqrt(15) / Result: 3.872983...
검증 결과: 맞음 (반올림하면 3.87)
최종 답변: "15의 제곱근은 약 3.87입니다."
Self-Refine과의 차이
| Self-Refine | CRITIC | |
|---|---|---|
| 피드백 소스 | 모델 자체 | 외부 도구 |
| 판단 기준 | 주관적 | 도구 결과와 모델의 해석 |
| 팩트 확인 | 어려움 | 가능 |
| 적용 분야 | 창작, 품질 | 팩트, 계산 |
사용 가능한 검증 도구
| 도구 | 용도 | 예시 |
|---|---|---|
| 검색 엔진 | 팩트 체크 | "한국 인구 통계" |
| 코드 실행기 | 코드 검증 | 함수 테스트 실행 |
| 계산기 | 수학 검증 | sqrt(144) = 12 |
| Wikipedia API | 정보 확인 | 역사적 사실 |
| 데이터베이스 | 데이터 검증 | SQL 쿼리 결과 확인 |
코드 검증 예시
# [질문] "팩토리얼 함수를 작성해주세요"
# [1차 시도]
def factorial(n):
if n == 0:
return 1
return n * factorial(n) # 버그: n-1이 아닌 n
# [CRITIC 검증]
# Action: [Execute] factorial(5)
# Result: RecursionError (무한 재귀)
# [검증 결과] 실패
# [개선]
def factorial(n):
if n == 0:
return 1
return n * factorial(n - 1) # 수정됨
# [재검증]
# Action: [Execute] factorial(5)
# Result: 120성능
Gou 외의 ICLR 2024 논문(arXiv:2305.11738)은 질의응답, 수학과 유해 출력 완화 과제에서 도구를 이용한 수정을 평가했습니다. 개선 여부는 모델, 도구와 평가 과제에 따라 확인해야 합니다.
동작 알고리즘
아래 코드는 실행하지 않은 설명용 의사코드이며 원 논문의 구현 재현이 아닙니다. 실제 구현에서는 검증 결과를 구조화하고 도구 오류도 처리해야 합니다.
critic_loop은 max_iterations 횟수만큼 검증과 개선을 반복합니다. 각 회차에서 모델이 검증 방법을 정하면 [Search], [Calculate], [Execute] 태그로 분기해 도구를 실행합니다. 결과가 답변과 일치하면 반복을 멈춥니다.
def critic_loop(question, max_iterations=3):
# 초기 답변 생성
answer = llm.generate(question)
for i in range(max_iterations):
# 검증 방법 결정
verification = llm.generate(
f"다음 답변을 검증하기 위해 어떤 도구를 사용해야 할까요?\n"
f"질문: {question}\n"
f"답변: {answer}"
)
# 도구 실행
if "[Search]" in verification:
result = search(verification.query)
elif "[Calculate]" in verification:
result = calculate(verification.expression)
elif "[Execute]" in verification:
result = execute_code(verification.code)
else:
break
# 검증 결과 분석
is_correct = llm.generate(
f"검증 결과가 답변과 일치합니까?\n"
f"답변: {answer}\n"
f"검증 결과: {result}"
)
if "일치" in is_correct:
break
# 개선
answer = llm.generate(
f"검증 결과를 바탕으로 답변을 수정해주세요.\n"
f"기존 답변: {answer}\n"
f"검증 결과: {result}"
)
return answer언제 CRITIC을 사용해야 하는가?
| 상황 | CRITIC 필요성 |
|---|---|
| 팩트 기반 질문 | 높음 |
| 수학/계산 문제 | 높음 |
| 코드 작성 | 높음 |
| 창작 글쓰기 | 낮음 (Self-Refine 권장) |
| 주관적 의견 | 낮음 |
한계
- 도구 의존성: 적절한 검증 도구가 없으면 사용 불가
- 검증 비용: 외부 API 호출 비용
- 검증 범위: 모든 주장을 검증하기 어려움
조합 사용
Self-Refine + CRITIC
- Self-Refine 단계에서 품질과 가독성을 개선합니다
- CRITIC 단계에서 외부 도구로 팩트를 검증합니다
- 최종 결과를 도출합니다
Reflexion + CRITIC
- 시도 후 실패합니다 (테스트 실패)
- CRITIC으로 어디서 실패했는지 분석합니다
- Reflexion으로 왜 실패했는지 반성합니다
- 재시도합니다
관련 개념
- Reflexion: 실패 기반 학습
- Self-Refine: 자기 피드백 기반 개선
- ReAct: 도구 사용 프레임워크
- SelfCheckGPT (EMNLP 2023, arXiv 2303.08896): N회 샘플링의 일관성으로 할루시네이션을 탐지하는 검증 계열
정리
CRITIC은 외부 도구의 결과를 모델이 해석해 답변 수정을 시도합니다. 도구 결과나 모델의 해석도 틀릴 수 있으므로 정확성이 자동으로 확보되지는 않습니다. 검색·계산기·코드 실행으로 결과를 확인하므로 팩트 확인, 수학·계산, 코드 작성처럼 정답이 외부에서 검증 가능한 영역에서 효과가 큽니다. 반대로 창작이나 주관적 의견처럼 검증 도구가 마땅치 않은 영역에서는 Self-Refine 같은 자기 피드백 방식이 더 맞습니다.
CRITIC에는 적절한 검증 도구가 필요하며 외부 호출 비용이 듭니다. 모든 주장을 일일이 검증하기도 어렵습니다.