OpenAI o1과 DeepSeek-R1 추론 모델

답을 내기 전에 모델이 스스로 더 오래 생각하도록 학습한 흐름을, o1과 DeepSeek-R1 두 갈래로 비교합니다.

추론 모델이 바꾼 것

추론 모델(reasoning model)은 답을 바로 내지 않고, 내부에서 여러 단계를 거쳐 생각한 뒤 결론만 출력하는 모델입니다. 기존 언어 모델은 토큰을 한 번에 이어 붙여 답을 만들었습니다. 어려운 수학·과학 문제에서는 이 방식이 중간 추론을 건너뛰어 자주 틀렸습니다.

OpenAI o1은 이 중간 추론을 추론 토큰(reasoning tokens)이라는 내부 단계로 분리했습니다. 사용자에게는 최종 답만 보이고, 사고 과정은 모델 내부에서만 전개됩니다. 2024년 9월 OpenAI의 o1 발표가 이 구조를 처음 공개했습니다.

기존 모델과 o1의 출력 경로를 나란히 두면 다음과 같습니다.

사고를 길게 하는 것 자체가 목표는 아닙니다. o1은 어떤 사고가 정답으로 이어지는지를 학습했고, 그 학습 방법이 강화학습입니다.

OpenAI o1

o1의 훈련은 강화학습(Reinforcement Learning, RL)에 기댑니다. RL은 행동의 결과에 보상을 주고, 보상을 높이는 방향으로 정책을 고쳐 가는 학습 방식입니다. 수학 문제처럼 정답을 기계로 채점할 수 있으면 보상을 자동으로 줄 수 있습니다.

훈련 루프는 다음 네 단계를 수백만 번 반복하는 형태입니다.

• 보상은 사람이 매기지 않고, 답의 정오로 자동 계산됩니다.
• 학습되는 것은 답 자체가 아니라, 답으로 가는 추론 경로의 분포입니다.
• 채점이 명확한 영역(수학·코딩)에서 특히 잘 작동합니다.

여기서 특이한 성질이 하나 나옵니다. o1에 'Let's think step by step' 같은 사고 유도 프롬프트를 붙이면 오히려 성능이 떨어집니다. 이미 최적의 추론 방식을 학습했기 때문에, 외부 지시가 그 경로를 방해합니다. 기존 모델에서 통하던 프롬프트 기법이 추론 모델에서는 역효과를 낼 수 있다는 신호입니다.

DeepSeek-R1

DeepSeek-R1은 o1과 비슷한 추론 성능을 낸 오픈소스 모델입니다. 2025년 1월 DeepSeek이 기술 보고서와 가중치를 함께 공개했습니다. 닫힌 o1과 달리, 학습 방법과 모델을 직접 확인할 수 있다는 점이 다릅니다.

가장 눈에 띄는 결과는 DeepSeek-R1-Zero입니다. 보통은 지도 미세조정(Supervised Fine-Tuning, SFT)으로 정답 예시를 먼저 학습한 뒤 RL로 다듬습니다. R1-Zero는 SFT 단계 없이 순수 RL만으로 학습했습니다.

정답 예시를 주지 않았는데도, 길게 생각하기·스스로 검산하기·틀린 단계 되짚기 같은 행동이 학습 과정에서 저절로 나타났습니다(emergence). 추론 능력이 데이터에 직접 새겨진 것이 아니라, 보상 최적화의 부산물로 떠올랐다는 점이 중요합니다.

GRPO가 PPO와 다른 점

이 학습을 떠받치는 알고리즘이 GRPO(Group Relative Policy Optimization)입니다. GRPO는 같은 질문에 여러 답을 만든 뒤, 그 그룹 안에서의 상대 점수로 정책을 고치는 방법입니다. 비교 대상인 PPO(Proximal Policy Optimization)는 각 답의 가치를 따로 추정하는 비평 신경망(critic network)을 함께 학습해야 합니다. 그 신경망이 계산과 메모리를 추가로 잡아먹습니다.

GRPO는 비평 신경망을 없애고, 그룹 평균을 기준선으로 씁니다.

같은 질문에 답 5개 생성, 점수: +5, 0, 0, +5, +3
그룹 평균 = 2.6
 
상대 이점(advantage) = 각 점수 - 평균
  답1: +5 - 2.6 = +2.4   (평균보다 좋음 → 강화)
  답2:  0 - 2.6 = -2.6   (평균보다 나쁨 → 억제)

평균보다 나은 답은 더 자주, 못한 답은 덜 나오도록 정책을 밉니다. 별도 가치 추정 없이 그룹 비교만으로 학습하므로, 같은 자원으로 더 많은 추론 시도를 돌릴 수 있습니다. GRPO는 DeepSeek이 앞서 발표한 DeepSeekMath 연구에서 제안한 방법입니다.

추론 시점에 계산을 더 쓰기

o1과 R1을 관통하는 패러다임이 test-time compute scaling, 즉 추론 시점 계산 확장입니다. 성능을 올리려고 훈련에만 자원을 쏟던 방식에서, 추론할 때 더 오래 생각하게 만드는 쪽으로 무게를 옮긴 것입니다.

이 아이디어는 거대한 RL 없이도 재현됩니다. 2025년 1월 공개된 s1 방법(Muennighoff 외)이 한 예입니다. 어려운 문제 1,000개로만 미세조정하고, 사고 길이를 토큰으로 강제하는 budget forcing을 더했습니다.

budget forcing은 특수 토큰으로 사고 시간을 늘리거나 끊는 기법입니다.

s1로 미세조정한 32B 모델은 AIME 2024에서 81%를 보고했습니다(s1 논문, 2025-01). 대규모 데이터나 복잡한 RL 없이도, 추론 시점 계산만으로 상당한 점수가 나온다는 뜻입니다.

다만 무한정 생각한다고 계속 좋아지지는 않습니다. 일정 지점을 지나면 추가 사고가 점수를 거의 못 올리는 포화점이 옵니다. 그래서 budget forcing처럼 사고 예산을 조절하는 장치가 함께 필요합니다.

성능과 한계

대표 벤치마크는 AIME 2024와 GPQA Diamond입니다. AIME 2024는 미국 수학 경시(American Invitational Mathematics Examination)입니다. GPQA Diamond는 대학원 수준 과학 문답(Graduate-level Google-Proof Q&A)을 다룹니다. 정확한 수치는 샘플링 방식에 따라 달라지므로, 아래는 각 공식 발표가 보고한 대표값입니다.

R1-Zero 행이 추론 시점 계산의 효과를 잘 보여 줍니다. 답을 한 번만 받으면 71%지만, 16번 받아 다수결로 고르면 86.7%로 오릅니다(DeepSeek-R1 기술 보고서, 2025-01). 같은 모델이라도 추론에 자원을 더 쓰면 점수가 달라집니다.

한계도 분명합니다.

• 비용: 추론 토큰만큼 응답이 느리고 토큰 요금이 늘어, 쉬운 작업에는 과합니다.
• 불투명성: o1은 사고 과정을 공개하지 않아, 왜 그 답을 냈는지 외부에서 검증하기 어렵습니다.
• 포화: 사고를 늘려도 어느 지점부터 점수가 멈추므로, 계산을 무한히 투입할 수는 없습니다.

선택 기준은 단순합니다. 채점이 명확한 수학·코딩·복잡한 추론에는 추론 모델이 유리하고, 짧은 요약이나 단순 변환에는 일반 모델이 빠르고 쌉니다. R1처럼 가중치가 공개된 모델은 사고 과정을 직접 들여다봐야 하는 연구·온프레미스 환경에서 강점이 있습니다.

정리

o1과 DeepSeek-R1은 같은 목표를 다른 방식으로 풉니다. 둘 다 답 전에 모델이 더 오래 생각하게 하고, 채점 가능한 보상으로 그 사고를 강화학습으로 다듬습니다. o1은 닫힌 제품으로 추론 토큰을 감추고, R1은 가중치와 학습법을 공개하며 GRPO로 비평 신경망 없이 학습했습니다.

이 둘을 잇는 키워드는 추론 시점 계산 확장입니다. 훈련을 키우는 대신 추론할 때 계산을 더 쓰는 쪽으로 무게가 옮겨졌고, s1과 budget forcing은 그것이 소규모로도 재현됨을 보였습니다. 다만 비용·불투명성·포화점이라는 한계가 남아 있어, 모든 작업에 추론 모델을 쓰는 것이 정답은 아닙니다.

실무에서는 작업의 채점 가능성과 난이도로 모델을 고르는 편이 합리적입니다. 정오가 분명하고 어려운 문제에는 추론 모델을, 그렇지 않은 일에는 일반 모델을 두고 비용과 지연을 함께 따지면 됩니다.