AI는 답하면서도 배울까: 사전 학습, 사후 학습, 추론

직접 해보기

가장 작은 GPT 따라가기

가중치 2만 7,648개짜리 GPT를 직접 학습했다. 단계를 고르고 "한 걸음"이나 "연속 실행"을 눌러, 신호가 어느 층을 지나는지 따라가 보자. 층마다 붙은 여덟 글자는 그 층 가중치의 지문이다. 숫자 하나만 바뀌어도 지문이 바뀐다.

01 사전 학습

다음 토큰 맞히기로 가중치를 처음 만든다

글을 보여 주고, 모든 위치에서 다음 토큰을 맞히게 한다. 토큰은 모델이 글을 다루는 단위(낱말이나 낱말 조각)다. 로스는 실제로 온 다음 토큰의 확률이 낮을수록 큰 숫자다(−log p). 역전파로 가중치마다 기울기를 구해 가중치를 조금씩 고치고, 이것을 엄청난 양의 글에 되풀이한다. 가중치는 모델 안의 숫자들이고, 모델이 아는 것과 하는 법이 모두 여기 들어 있다.

GPT 첫 논문은 학습을 두 단계로 나눴다. 큰 글 묶음으로 언어 모델을 배우는 비지도 사전 학습, 그다음 과제의 정답으로 가중치를 맞추는 지도 미세 조정이다. "사전"은 이 두 단계의 앞이라는 뜻이다.

이렇게 만든 모델은 글을 그럴듯하게 이어 쓰지만, 사람이 바라는 대로 답하도록 길들여지지는 않았다. 추론 때 쓸 재주도 이 단계에서 생긴다. GPT-3 논문은 모델이 학습 때 폭넓은 재주와 패턴 알아보기를 익히고, 추론 때 그 재주로 과제에 빠르게 맞춘다고 설명한다. 그 평가의 GPT-3는 미세 조정 없이 사전 학습만 한 모델이었다.

출처: Radford 외 2018 §3.1·§3.2 · Ouyang 외 2022 초록 · Brown 외 2020 §1, 그림 1.1, §2

02 사후 학습

사전 학습 뒤의 학습

"사후"는 사전 학습 뒤라는 때를, "학습"은 가중치를 바꾼다는 것을 뜻한다. 출시 뒤에 하는 학습이 아니다. 출시는 학습을 마친 가중치를 고정해 사람들이 쓰게 내놓는 것이다.

SFT(지도 미세 조정)는 좋은 답의 본을 따라 쓰게 한다. 강화학습(RL)은 모델이 직접 쓴 답을 채점해 보상 r을 받는다. 보상은 미분할 수 없으므로, 로스를 −(r − r) × log p로 만든다. r는 같은 문제에 뽑은 답들의 평균 보상이다. 평균보다 잘한 답의 토큰은 확률이 오르고, 못한 답의 토큰은 내린다. 보상은 사람이 고른 선호(RLHF)일 수도 있고, 규칙으로 검사할 수 있는 정답과 형식일 수도 있다.

DeepSeek-R1-Zero는 사전 학습만 한 DeepSeek-V3-Base에 SFT 없이 바로 강화학습을 했다. 학습할수록 답의 평균 길이가 늘었고, 논문은 모델이 더 오래 생각하며 푸는 법을 스스로 배웠다고 적었다. 기계는 사전 학습과 같다. 로스 → 역전파 → 가중치다. 다른 것은 로스를 무엇으로 만드느냐다.

좁은 과제로 오래 하면

다른 재주가 줄 수 있다. InstructGPT는 RLHF 뒤 공개 NLP 시험의 성능이 내려가는 것을 "alignment tax"라 불렀고, 사전 학습 분포의 로그 가능도를 올리는 갱신을 섞어(PPO-ptx) 그 하락을 줄였다. 직접 학습한 작은 GPT에서도 짝 하나를 300걸음 가르치자 맥락 내 학습이 99%에서 73~75%로 줄었다.

출처: Williams 1992(정책 경사) · Shao 외 2024(GRPO) · Ouyang 외 2022 §1, §3.5, §4.2 · DeepSeek-R1 논문 §1, §1.1, §2.2.1, §2.2.2, §2.2.4, 그림 3 · 작은 GPT: 직접 학습(직접 해보기의 "이 작은 GPT는")

03 추론 (유사 학습)

가중치는 그대로, 맥락 안에서만

출시하면 가중치를 고정한다. 추론은 그 모델에 맥락을 넣고, 다음 토큰을 하나씩 뽑아 답을 이어 가는 일이다. 맥락은 이번 대화에서 모델에 들어간 글 전부다. 가중치는 읽기만 한다.

학습처럼 보이는 것 셋

1. 한 번 보고 나아진다. 이 페이지의 모델은 한 글 안에서 처음 나온 짝의 값을 13.9%만 맞히지만, 그 열쇠를 다시 부르면 값을 98.7% 맞힌다. 가중치는 그대로인데 한 번 본 뒤에 나아진다. 맥락 뒤쪽 토큰의 로스가 앞쪽보다 얼마나 낮아지나는 맥락 내 학습을 재는 방법이기도 하다.
2. 보여 준 대로 바뀐다. 같은 질문 C도 맥락의 예시가 C→N이면 N(1.000), C→L이면 L(0.951), C→P이면 P(0.999)로 답한다. 예시 없이 새 대화로 물으면 고르게 찍는다(P 0.119). 직접 해보기의 03 추론에서 다섯 맥락을 나란히 볼 수 있다. GPT-3 논문은 예시 몇 개로 처음 보는 과제를 따라 하는 이것을 in-context learning이라 부르면서, 이때 기울기 갱신도 미세 조정도 하지 않는다고 적었다.
3. 답하며 다시 생각한다. 추론 모델은 답을 쓰는 중에 앞선 풀이를 되짚고 고친다. DeepSeek-R1-Zero가 풀이 중간에 "Wait, wait."라며 처음 접근을 다시 따지는 "아하 순간"이 그 예다. 이 페이지의 작은 모델로는 보이지 못한다.

그래도 학습이 아닌 까닭

실험에서 예시를 맥락에 준 질문은 98.4%를 맞혔고, 같은 질문을 예시 없이 새 대화로 하면 10.2%였다. 그사이 추론을 1,500번 했지만 가중치 지문은 같았다.

왜 학습처럼 보이나

작은 트랜스포머에서는 선형 셀프 어텐션 한 층이 맥락 안의 회귀 예시로 경사 하강법 한 걸음과 같은 변환을 할 수 있었고, 회귀 과제로 학습한 어텐션만 있는 트랜스포머가 실제로 그렇게 동작했다. 가중치를 고치는 대신, 맥락을 읽는 계산 안에서 학습 한 걸음과 닮은 일이 일어난다는 설명이다 가설. 큰 언어 모델이 실제로 그렇게 하는지는 모른다.

그 재주도 학습이 만든다. 이 페이지 모델의 사전 학습에서 맥락 내 학습은 1,000걸음 33%에서 3,000걸음 91%로 뛰어올랐고, 블록 하나 모델은 36%를 넘지 못했다. 예시를 따라 하는 재주는 사전 학습이 가중치에 넣고, 다시 생각하는 습관은 사후 학습(RL)이 키운다. o1 발표도 성능이 강화학습(학습 때 계산)을 늘릴수록, 생각하는 시간(테스트 때 계산)을 늘릴수록 오른다고 둘을 한 문장에 둔다.

둘이 부딪히면

사후 학습으로 C→L, F→I를 가르친 모델에 맥락으로 다른 짝을 보여 주면 둘이 다툰다. |AKCPFJC에서는 맥락의 P(0.602)와 가르친 L(0.349)로 갈리고, |AKCNFJF에서는 가르친 I(0.980)가 맥락의 J를 이긴다. 사전 학습만 한 모델은 맥락대로 J(0.747)다.

출처: Brown 외 2020 초록, §1 그림 1.1 · DeepSeek-R1 논문 §2.2.4, 표 3 · von Oswald 외 2023 초록 · Olsson 외 2022(맥락 내 학습 점수) · OpenAI, Learning to Reason with LLMs(2024-09-12, 2차 자료로 확인) · 작은 GPT: 직접 학습

정리

가중치가 바뀌나

왜 헷갈리나

"추론"은 inference(학습이 끝난 모델을 돌리기)와 reasoning(여러 단계로 따지기)을 한 낱말로 받는다. "추론 모델"의 추론은 reasoning이고, 그 능력은 사후 학습으로 만든다. 이 페이지의 "추론"은 inference다. "학습"도 training(가중치를 고치기)과 넓은 뜻의 learning(행동이 나아지기)을 한 낱말로 받는다. in-context learning의 learning은 넓은 뜻이다. "사후"는 때를 가리킬 뿐이다. 추론도 사전 학습 뒤에 일어나므로, 때로만 가르면 추론이 "사후"에 들어가 보인다. 시간순으로 놓으면 사후 학습은 출시 전, 추론은 출시 뒤다.

흔한 오해

출처: 수츠케버, NeurIPS 2024 강연(보도) · TechCrunch 2025-01-07(세 스케일링 법칙)

확인됨 · 가설 · 모름

• 확인됨GPT-3는 평가에서 기울기 갱신도 미세 조정도 없이 글로만 과제를 받았다. DeepSeek-R1-Zero는 베이스 모델에 SFT 없이 RL을 했고 답 길이가 늘었다. 인덕션 헤드는 서로 다른 층의 어텐션 헤드 한 쌍이고 한 층 모델에는 생기지 않는다(논문).
• 확인됨직접 학습한 작은 GPT: 학습은 가중치 지문을 바꾸고 추론 1,500번은 바꾸지 않았다. 맥락 내 학습은 블록 하나로 안 되고 둘이면 되며, 블록 2 어텐션을 끄면 사라진다. 낱말 18개, 맥락 32토큰의 합성 글에서다.
• 가설큰 모델에서도 인덕션 헤드가 맥락 내 학습의 대부분을 맡는다는 것(간접 근거). 이 페이지 모델의 블록 2가 답이 아닌 자리를 모아 지운다는 것.
• 모름큰 모델에서 맥락 내 학습이 실제로 어떻게 일어나나. 사후 학습이 새 지식을 넣는지, 이미 있는 행동을 고르기만 하는지.

자주 묻는 질문

더 보기

• 역전파: 출력의 오차를 뒤로 전해 가운데 층까지 고치기
• Alec Radford 외, Improving Language Understanding by Generative Pre-Training (OpenAI, 2018)
• Tom B. Brown 외, Language Models are Few-Shot Learners (GPT-3, arXiv 2005.14165, 2020)
• Long Ouyang 외, Training language models to follow instructions with human feedback (InstructGPT, arXiv 2203.02155, 2022)
• Ronald J. Williams, Simple statistical gradient-following algorithms for connectionist reinforcement learning (Machine Learning 8, 1992)
• Zhihong Shao 외, DeepSeekMath (GRPO, arXiv 2402.03300, 2024)
• DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv 2501.12948, 2025)
• Catherine Olsson 외, In-context Learning and Induction Heads (Transformer Circuits Thread, 2022)
• Nelson Elhage 외, A Mathematical Framework for Transformer Circuits (Transformer Circuits Thread, 2021)
• OpenAI, Learning to Reason with LLMs (2024-09-12)
• Computing, Sutskever warns AI will become less predictable (NeurIPS 2024 강연 보도)
• TechCrunch, Nvidia CEO says his AI chips are improving faster than Moore's Law (2025-01-07)
• 실험: 이 페이지의 작은 GPT(블록 둘, 가중치 27,648개)는 파이썬(torch CPU)으로 직접 학습했다. 블록 하나와 견준 결과는 직접 해보기의 "이 작은 GPT는"에 있다.