훈련이 아니라 추론 시점에 계산을 더 투입해 성능을 끌어올리는 접근입니다.
개념
Test-Time Compute Scaling은 훈련이 아닌 추론 시점에서 더 많은 계산 자원을 사용하여 성능을 향상시키는 접근입니다.
flowchart LR
P["문제"] --> G["복수 추론 경로 생성"]
G --> V["검증기 채점"]
V --> B["예산 안에서 탐색"]
B --> A["최고 점수 답 선택"]
훈련 계산과 추론 계산은 별도로 측정합니다. 계산을 더 사용하면 정확도가 반드시 높아진다는 보장은 없습니다.
Snell et al. 2024
Snell et al.의 ICLR 2025 논문은 추론 계산 배분을 연구합니다(arXiv 2408.03314). 추론 계산을 두 축으로 늘립니다.
- 검증기 기반 탐색: 과정 보상 모델(Process Reward Model, PRM)로 여러 추론 경로를 채점해 best-of-N·트리 탐색에 활용
- 응답 분포의 적응적 수정: 프롬프트 난이도에 따라 출력 분포를 갱신
논문은 문제 난이도와 계산 예산에 따라 탐색과 순차 수정을 배분합니다. 이 결과는 평가한 수학 문제와 모델 조건에 한정되며, 모든 작은 모델이 큰 모델을 대신할 수 있다는 뜻은 아닙니다.
PRM vs ORM
검증 기반 탐색의 품질은 보상 모델이 좌우합니다.
- 결과 보상 모델(ORM): 최종 답만 채점합니다. 단순하지만 중간 추론의 오류를 놓칩니다.
- 과정 보상 모델(PRM): 추론 단계마다 채점합니다. Let's Verify Step by Step(ICLR 2024, arXiv 2305.20050)은 MATH 평가에서 과정 감독과 결과 감독을 비교했습니다. 이 비교가 모든 검증기와 과제에서 PRM의 우위를 보증하지는 않습니다.
s1
**s1**은 2025년 초 공개되어 EMNLP 2025에 게재된 연구입니다(arXiv 2501.19393). 아래 수치는 초기 v1의 Table 1을 사용합니다.
훈련 방식
- 데이터 수집: 단 1,000개 어려운 문제
- 파인튜닝: 이 데이터만으로 훈련
- Budget Forcing: 'Wait' 삽입과 종료 구분자 제어로 사고 시간 조절
성능
| 모델 | AIME 2024 | 훈련 데이터 |
|---|---|---|
| Qwen2.5-32B-Instruct | 26.7% | - |
| o1-preview | 44.6% | 비공개 |
| s1-32B | 56.7% | 1,000개 |
| o1 | 74.4% | 비공개 |
s1-32B의 56.7%는 지도 미세조정 후 budget forcing을 적용한 값입니다. v1 Table 1의 미적용 값은 50.0%입니다. 표의 모델별 학습과 추론 조건이 동일하지 않으므로 이 비교로 추론 계산만의 효과를 계산할 수 없습니다.
Budget Forcing
s1의 핵심 기법은 Budget Forcing입니다.
동작 원리
별도의 특수 토큰을 추가하는 방식이 아닙니다. 더 생각하게 하려면 사고 종료 구분자를 억제하고 평문 "Wait"를 덧붙여 모델이 추론을 이어가게 만듭니다. 멈추려면 종료 구분자와 "Final Answer:"를 붙여 답을 내게 합니다.
- 사고 연장: 종료 구분자 억제 + "Wait" 추가 → 추가 사고 유도
- 사고 종료: 종료 구분자 + "Final Answer:" → 최종 답 출력
동작 예시
일반 생성: "답은 42입니다." (즉시 답변을 출력합니다)
Budget Forcing: "음..." → Wait → "이 문제를 풀려면 먼저..." → Wait → Wait → "따라서..." → Final Answer: → "42" (여러 번의 사고 단계를 거쳐 더 깊이 생각한 뒤 답변합니다)
Wait 횟수와 토큰 상한은 평가 데이터로 정할 설정입니다. 쉬운 문제와 어려운 문제에 적용할 보편적인 고정 횟수는 제시하지 않습니다.
동적 계산량 조절
문제 난이도에 따른 예산 배분은 별도의 평가가 필요합니다.
자신감 기반 조절
s1 자체는 고정 예산(Wait 횟수)으로 제어합니다. 아래 자신감 기반 조절은 일반적인 변형 아이디어입니다. 초기 사고 후 자신감을 평가해 계산량을 조절합니다.
- 자신감 높음: 바로 답변
- 자신감 낮음: Wait 추가 후 더 생각
비용 효율성
추가 추론의 비용에는 생성 토큰, 검증기 호출과 지연이 포함됩니다. 학습 비용과 비교하려면 운영 기간과 요청 수까지 같은 기준으로 계산해야 합니다. 특정 금액이나 개선 비율을 일반적으로 적용할 수 없습니다.
구현 방식
아래 코드는 실행하지 않은 의사코드입니다. 실제 s1의 종료 구분자 제어나 모델 API를 재현하지 않으며, 반복 예산의 개념만 보입니다.
단순 반복
wait_tokens는 "Wait"를 덧붙여 사고를 연장하는 횟수입니다. 고정된 예산만큼 반복한 뒤 "Final Answer:"로 답을 강제합니다.
def think_longer(model, question, wait_tokens=10):
prompt = question
for _ in range(wait_tokens):
prompt += model.generate(prompt, max_tokens=50)
prompt += "Wait"
prompt += "Final Answer:"
return model.generate(prompt)적응적 조절
max_waits는 사고 연장의 상한이고, confidence > 0.9는 더 생각할 필요가 없다고 판단하는 임계값입니다. 자신감이 임계값을 넘으면 상한에 도달하기 전에 멈춥니다.
def adaptive_thinking(model, question, max_waits=50):
prompt = question
for i in range(max_waits):
response = model.generate(prompt, max_tokens=50)
# 자신감 체크
confidence = model.evaluate_confidence(response)
if confidence > 0.9:
break
prompt += response + "Wait"
prompt += "Final Answer:"
return model.generate(prompt)Best-of-N Sampling
best-of-N 샘플링은 같은 문제를 N번 풀어 가장 좋은 답을 고르는 기법입니다.
같은 문제를 N번 풉니다.
시도 1: 답 A / 시도 2: 답 B / 시도 3: 답 A / 시도 4: 답 A / 시도 5: 답 C
가장 좋은 것을 선택하거나 다수결을 적용합니다 → 답 A
선택 기준
| 기준 | 설명 |
|---|---|
| 다수결 | 가장 많이 나온 답 |
| 검증 점수 | 자체 검증 점수 최고 |
| 길이 점검 | 길이 자체를 정확성 점수로 사용하지 않음 |
한계
- 포화점: 무한히 생각한다고 무한히 좋아지지 않음
- 비용 증가: 추론 비용은 여전히 비용
- 지연 시간: 사용자 대기 시간 증가
- 문제 유형: 모든 문제에 효과적이지 않음
적합한 사용 사례
| 적합 | 부적합 |
|---|---|
| 수학/과학 문제 | 실시간 대화 |
| 코딩 챌린지 | 간단한 QA |
| 복잡한 추론 | 일상적 작업 |
| 정확도 중요 | 속도 중요 |
관련 개념
- OpenAI o1: 내부 추론 토큰
- DeepSeek-R1: 오픈소스 추론 모델
- Budget Forcing: 사고 시간 제어 기법
정리
Test-Time Compute Scaling은 추론 시점 계산을 늘리는 방법을 평가합니다. Snell et al.은 문제 난이도에 맞춘 최적 계산 배분(compute-optimal)으로 best-of-N보다 효율을 높일 수 있음을 보였습니다. s1의 Budget Forcing은 "Wait" 삽입과 종료 구분자 제어만으로 사고 시간을 조절합니다. best-of-N 샘플링은 여러 응답 중 가장 좋은 답을 고릅니다.
다만 추론량을 늘려도 일정 지점 이후 향상이 포화하고, 추가 토큰 비용과 지연 시간이 따릅니다. 작업별 정확도와 지연 예산을 측정해 적용 여부를 결정해야 합니다.