KNOWLEDGE · 언어 모델

Kimi K3.1 Pro, 몸통은 그대로인데 무엇이 AA 지수를 55로 올렸나

몸통이 아니라 사후 학습이다. Moonshot은 K3의 몸통에 강화학습(RL)을 훨씬 많이 했다. 그 학습은 "도구를 써서 일을 끝까지 해내는 법"에 몰려 있다. 그리고 AA 지수는 무게의 절반을 바로 그런 시험에 둔다.

도입

50을 넘은 첫 중국 모델

AA 지수(Artificial Analysis Intelligence Index)는 평가 회사 Artificial Analysis(AA)가 여러 AI 모델을 같은 조건으로 직접 돌려 얻은 시험 10개의 가중 평균이다. 지금 판(v4.3.2)에서 50을 넘은 중국 모델은 Moonshot AI의 Kimi K3.1 Pro(55) 하나다.

순위표 줄	모델	AA 지수
1	Claude Opus 5.5 (max)	58
2	Claude Sonnet 5.5 (max)	56
3	Claude Opus 5.5 (xhigh)	56
4	Muse Wonder Full (max)	56
5	Kimi K3.1 Pro	55
…	MiMo-V2.6-Pro (다음 중국 모델)	46
…	Kimi K3 (max)	44

순위표는 같은 모델이라도 추론 강도(얼마나 오래 생각하게 하나)마다 따로 센다. 이런 변형을 하나로 세면 K3.1 Pro는 4위다. 그다음 중국 회사 모델은 MiMo-V2.6-Pro(Xiaomi) 46, Qwen3.8 Max(Alibaba)·DeepSeek V4.1 Flash·GLM-5.3 45다. K3.1 Pro는 7월에 나온 K3(44)와 몸통(사전 학습으로 만든 바탕 모델)이 같다.

50은 움직이는 선이다

AA는 2026-09-07 v4.3을 내며 시험을 바꿨다. Terminal-Bench를 2.1에서 더 어려운 4.0으로 올리고, τ³-Banking을 업무 자동화 시험 AutomationBench-AA로 바꾸고, 문제를 공개하지 않는 비공개 시험의 비중을 40%에서 45%로 늘렸다. 이유는 "점수 맞추기(gaming)를 막고 포화를 줄이기"다. 포화는 모두가 거의 만점이라 시험이 모델을 가르지 못하는 상태다.

시험이 어려워지자 같은 모델의 점수가 내려갔다. Claude Fable 5는 v4.1.1에서 62.1, v4.3에서 49.70이다. 판이 바뀌면 산정 기준이 달라지므로, 점수는 같은 판 안에서만 견줄 수 있다. 그래서 "50을 넘었다"는 지금 판(v4.3.2)의 말이고, 뜻이 있는 것은 같은 판의 비교다. 지금 판에서 55는 맨 위(58)와 3점, 다음 중국 모델(46)과 9점 차이다.

출처: 순위: AA 전체 순위표(v4.3.2, 2026-10-26 조회) · 몸통: Moonshot K3.1 Pro 블로그(2026-10-23) · 시험의 변경: AA 지수 v4.3 발표 · Fable 5의 점수: wojciech.io의 v4.3 해설

01 성능

어느 시험이 올랐나

AA 지수는 시험 10개의 가중 평균이다. 에이전트 시험은 AI가 도구(명령줄, 브라우저, 앱)를 써서 여러 단계로 일을 끝내야 하는 시험이다. 에이전트 30%와 코딩 20%를 더하면 지수의 절반이 "도구를 써서 일을 끝내는" 시험이다. 오른 11점의 약 절반(+5.4)은 Terminal-Bench 4.0 한 시험에서, 약 40%(+4.6)는 사무 업무 에이전트 시험 넷에서 왔다.

시험	K3 → K3.1 Pro	지수 기여
에이전트 30%
AA-Briefcase 15%비공개실제 지식 노동 과제	Elo 1499 → 1678	+1.34
GDPval-AA 10%직업별 실제 업무의 결과물	Elo 1534 → 1846	+1.56
AutomationBench-AA 5%비공개업무 자동화	58% → 73%	+0.75
코딩 20%
Terminal-Bench 4.0 10%터미널에서 일 끝내기	13% → 67%	+5.40
SciCode 10%과학 계산 코드	59% → 61%	+0.20
일반 30%
AA-Omniscience 15%비공개지식 정확도와 지어내지 않기	정확도 48% → 51% 환각률 53% → 44%	+0.75
GDP.pdf 10%긴 실무 문서를 읽고 추론하기	22% → 31%	+0.90
AA-LCR 5%긴 문맥 추론	89% → 86%	−0.15
과학 추론 20%
Humanity's Last Exam 10%아주 어려운 전문 지식 문제	47% → 52%	+0.50
CritPt 10%비공개연구 수준 물리 문제	23% → 25%	+0.20

지수 기여는 가중치 × 점수의 변화다. Elo는 두 모델의 결과물을 맞붙여 매긴 점수로, (Elo − 500) ÷ 2000으로 0~1에 맞춘다. AA-Omniscience의 지어내지 않기는 1 − 환각률(모르는 것을 지어낸 비율)이다. 지수는 AA가 공개한 가중치와 항목 점수로 다시 계산했고, AA의 값과 반올림 안에서 맞는다. AA는 지수를 정수로 보이지만, 이 페이지는 49.6과 50을 가르려고 소수 한 자리로 적는다.

지수를 가장 많이 올린 시험은 Terminal-Bench 4.0이다. 터미널(글자로 명령을 내리는 창)에서 실제 일을 끝내는 과제 66개로, 과제에 붙은 테스트를 모두 통과해야 성공이다. K3는 13%, K3.1 Pro는 67%로, AA 시험 페이지에서 K3.1 Pro가 맨 위다. K3는 자기 하네스(모델이 일하는 틀, Kimi Code CLI)로 돌려도 21%였고 옛 판(v2)에서는 84%였으니, 더 어려워진 4.0 과제에서 크게 떨어진 셈이다. 왜 그렇게 많이 떨어졌는지는 모른다. 모름

50을 넘기려면

K3의 점수에서 시작해 시험을 K3.1 Pro의 점수로 하나씩 바꿔 보면, 무엇이 지수를 50 위로 올렸는지 보인다.

K3.1 Pro의 점수로 바꾼 시험	AA 지수
없음(모두 K3)	43.6
Terminal-Bench 4.0 하나	49.0
Terminal-Bench 4.0을 뺀 아홉	49.6
Terminal-Bench 4.0 + AA-Briefcase	50.3
Terminal-Bench 4.0 + GDPval-AA	50.5
모두(K3.1 Pro)	55.0

터미널 시험 하나가 절반을 올리지만 그것만으로는 50에 1.0점 모자라고, 터미널 시험을 빼면 나머지 아홉을 모두 바꿔도 49.6에서 멈춘다. 터미널 시험에 큰 사무 업무 시험(AA-Briefcase나 GDPval-AA) 하나가 더해져야 50을 넘는다. 지식·과학 시험은 바꿔도 거의 움직이지 않는다(HLE +0.5, CritPt +0.2, SciCode +0.2). 그러니 55는 더 많이 아는 몸통이 아니라 일을 끝내는 훈련에서 왔다.

표의 "비공개"는 문제를 공개하지 않는 시험이다. 문제가 공개된 시험은 비슷한 문제로 미리 연습시킬 수 있다. 지금 판에서 비공개 시험의 비중은 45%이고, 오른 11점 가운데 3점은 비공개 시험에서 왔다.

출처: 가중치, 공개·비공개, Elo 변환: AA 방법론 v4.3.2 · 점수: AA 비교 페이지 K3 대 K3.1 Pro(2026-10-26 조회) · Omniscience의 정확도·환각률: VentureBeat가 옮긴 AA 값 · Terminal-Bench 4.0: AA 시험 페이지 · K3의 21%: AA 코딩 에이전트 비교(Coding Agent Index v2.0) · v2의 84%: AA의 X 게시물(검색 요약으로만 봄) · 지수 기여와 바꿔 본 지수: 이 페이지의 계산

02 학습

몸통은 그대로, 사후 학습은 훨씬 크게

언어 모델은 가중치라는 숫자의 덩어리다. 학습은 이 숫자를 조금씩 고치는 일이고, 두 단계로 한다. 사전 학습은 엄청난 양의 글을 읽히며 다음 낱말을 맞히게 하는 단계다. 여기서 모델은 지식과 글 쓰는 법을 얻는다. 이렇게 만든 바탕을 이 글은 몸통이라 부른다. 사후 학습은 그 몸통에 일하는 법을 가르치는 단계다.

Moonshot은 "K3.1 Pro는 K3의 사후 학습 버전이고, 사후 학습 계산량이 훨씬 크다"고 한다. 크기도 K3와 같다. 가중치가 약 2.8조 개이고, 낱말 조각(토큰) 하나를 쓸 때마다 그중 약 1,040억 개만 골라 쓴다.

같은 몸통

사전 학습글을 읽고 다음 낱말 맞히기

몸통가중치 약 2.8조 개

K3의 사후 학습

본 따라 하기SFT

강화학습 전문가 9세 분야 × 생각 길이 셋

하나로 합치기MOPD

K3AA 지수 44

K3.1 Pro의 사후 학습

훨씬 큰 사후 학습수백 개 분야에서 한꺼번에 강화학습

K3.1 ProAA 지수 55

그림 1. 몸통은 같고 사후 학습이 다르다. K3.1 Pro의 사후 학습이 몇 단계인지, 계산량이 얼마인지는 공개되지 않았다.

K3의 사후 학습: 본 따라 하기, 전문가 아홉, 하나로 합치기

본 따라 하기(SFT): 잘 된 작업 기록을 보여 주고 그대로 따라 쓰게 한다. 기록은 이전 Kimi 모델들이 만들었고, 여러 번 검사하고 사람이 검토했다.
강화학습 전문가 9: 직접 해 보고 점수를 받으며 배우게 한다(아래 "강화학습 한 바퀴"). 일반 과제, 일반 에이전트, 코딩 에이전트의 세 분야마다 생각을 짧게, 길게, 가장 길게(low, high, max) 하는 전문가를 따로 키운다. 생각 길이도 점수로 가르친다. 문제마다 알맞은 길이를 정해 두고, 그 몇 배를 넘겨 생각하면 벌점(−1점)을 준다. 배수를 넉넉히 주면 max, 줄이면 high와 low가 된다.
하나로 합치기(MOPD): 학생 모델이 직접 답을 쓰면, 낱말마다 그 분야·생각 길이의 전문가가 고를 법한 쪽으로 따라가게 한다. 그렇게 아홉 전문가가 한 모델이 된다.

강화학습 한 바퀴

강화학습은 정답을 알려 주는 대신, 모델이 직접 해 보게 하고 결과에 점수(보상)를 주어 배우게 하는 학습이다. 에이전트의 강화학습은 이렇게 돈다.

그림 2. 에이전트 강화학습의 한 바퀴. 과제를 받아 샌드박스에서 해 보고, 검사 프로그램이 끝난 상태를 보고 점수를 매기면, 그 점수로 모델을 고친다.

① 과제: 테스트가 붙은 프로그래밍 과제, 흉내 낸 메일·메신저·문서 앱에서 며칠에 걸친 비서 일(한 번에 도구를 수천 번 쓴다), 웹 개발, GPU 프로그래밍, 투자은행·데이터 분석·법률 업무(수십~수백 단계).
② 해 보기: 샌드박스(실험용으로 따로 떼어 낸 가상 컴퓨터) 안에서 명령을 실행하고 파일을 고치며 여러 단계로 일한다. K3를 학습하고 평가하는 동안 샌드박스를 51,219,741개 만들었다. 일하는 틀(하네스)도 Kimi Code, Claude Code, Codex 등 여러 가지를 과제 묶음마다 맞춰 써서, 한 가지 도구에만 익숙해지지 않게 한다.
③ 검사: 모델이 "끝났다"고 말해도 믿지 않는다. 검사 프로그램(검증기)이 일이 끝난 뒤의 상태를 직접 확인해 점수를 매긴다. 점수를 매기는 검사는 숨겨 두고 제출 횟수도 제한해, 검사만 통과하는 속임수를 막는다. 글쓰기처럼 정답이 없는 일은 다른 AI 채점자가 기준표를 만들어 두 답을 비교한다.
④ 고치기: 점수가 높았던 시도는 더 하게, 낮았던 시도는 덜 하게 모델을 고친다. 이 바퀴를 수없이 돈다.

고치기도 로스와 역전파다

④ 고치기는 어떻게 할까. 사전 학습과 똑같이 한다. 낱말 둘만 알면 된다.

로스: 지금 답이 얼마나 틀렸는지를 나타내는 숫자. 작을수록 좋다.
역전파: 로스를 줄이려면 가중치 하나하나를 어느 쪽으로 얼마나 고쳐야 하는지, 답에서부터 거꾸로 따져 계산하는 방법.

로스를 재고, 역전파로 고칠 방향을 구하고, 가중치를 그쪽으로 조금 옮긴다. 사전 학습도 사후 학습도 이 순서는 같다. 단계마다 다른 것은 무엇에 맞춰 로스를 재느냐다.

단계	무엇에 맞추나	어떻게 고치나
사전 학습	글에 실제로 나온 다음 낱말	그 낱말을 맞힐 확률을 올린다
본 따라 하기	좋은 답의 본보기	본보기의 낱말을 쓸 확률을 올린다
강화학습	자기가 쓴 답의 점수(정답은 없다)	점수가 평균보다 높은 답은 더, 낮은 답은 덜 쓰게 한다
하나로 합치기	전문가 모델이 고를 낱말	낱말마다 전문가 쪽으로 옮긴다

강화학습만 사정이 다르다. 정답이 없고 점수만 있는데, 그 점수는 검사 프로그램이 매긴 숫자라 역전파가 거기까지 거슬러 가지 못한다. 그래서 모델이 직접 쓴 답을 정답처럼 두고 로스를 잰 뒤, 점수가 같은 문제의 평균보다 높으면 그 답을 더 쓰는 쪽으로, 낮으면 덜 쓰는 쪽으로 고친다.

식으로는 사전 학습과 본 따라 하기의 로스가 −log p(정답 낱말)이고, 강화학습의 로스가 −(r − r) × log p(자기가 쓴 낱말)이다. p는 모델이 그 낱말을 쓸 확률, r은 점수, r는 같은 문제에 낸 답들의 평균 점수다. 이 로스로 고치면 평균적으로 점수가 오르는 쪽으로 간다(정책 경사). K3는 한 번에 너무 멀리 고치지 않게 막는 장치를 더한 K2.5의 식을 쓰고, 하나로 합치기에서는 낱말마다 log p_전문가 − log p_학생을 점수로 쓴다.

고비 하나로 보자. 일을 거의 마친 모델 앞에 두 길이 있다. a는 "테스트를 돌려 보고 고친다"로, 이 길을 고르면 과제가 80% 성공한다. b는 "바로 끝났다고 한다"로, 20% 성공한다. 처음에 모델은 a를 열 번에 세 번만 고른다. 숫자는 설명을 위해 정한 가정이다.

네 번 해 보니 둘이 성공했다. 평균은 절반 성공이다. 성공한 시도는 평균보다 잘했으니 그 길을 더 고르게, 실패한 시도는 평균보다 못했으니 그 길을 덜 고르게 고친다.

시도	고른 길	결과	그래서
1	a 테스트하고 고치기	성공	a를 더 고르게
2	b 바로 끝내기	실패	b를 덜 고르게
3	b 바로 끝내기	성공(운)	b를 더 고르게
4	b 바로 끝내기	실패	b를 덜 고르게

세 번째처럼 운으로 성공한 b는 b를 더 고르게 민다. 그래도 넷을 합치면 a 쪽이다. 길이 둘뿐이라 b를 덜 고르게 하는 것은 곧 a를 더 고르게 하는 것이기 때문이다.

계산하면 네 시도가 a를 고르는 쪽으로 미는 양은 +0.35, +0.15, −0.15, +0.15이고, 합하면 +0.5다. 미는 양은 (점수 − 평균 점수)에, 고른 길의 로그 확률이 a 쪽으로 움직이는 정도(a를 골랐으면 1 − 0.3 = 0.7, b를 골랐으면 −0.3)를 곱한 값이다.

30%처음
42%1번
56%2번
70%3번
79%4번
85%5번

그림 3. 이렇게 고치기를 다섯 번 되풀이할 때 a를 고르는 확률(아래는 고친 횟수). 과제 성공률은 38%에서 71%로 오른다. 숫자는 가정이다.

누구도 정답을 알려 주지 않았다. 점수만으로 좋은 습관이 늘었다. K3는 이런 고비가 수없이 많은 과제로 이 바퀴를 돌렸다.

출처: 정책 경사: Williams(1992) · K3의 강화학습 식: K3 보고서 §4.1.2가 따르는 K2.5 보고서(arXiv 2602.02276) §4.4.2 식 1 · 하나로 합치기의 점수: K3 보고서 §4.1.3 식 15 · 네 번 시도 예: 이 페이지의 계산(숫자는 가정)

K3.1 Pro가 늘린 것

K3.1 Pro는 이 강화학습을 "수백 개 하위 분야에서 한꺼번에" 했다. 그러려고 학습 프로그램, 긴 글 처리, 학습 효율, 샌드박스, 연습 판(rollout)의 순서 짜기, 학습 환경의 품질 검사를 손봤고, 강화학습에 계산을 더 쓸수록 안정적이고 예측할 수 있는 이득이 나게 하는 것이 목표였고, 모든 분야에서 꾸준히 올랐다고 한다. K3 보고서도 강화학습에 계산을 더 쓸수록 모델이 도구를 더 여러 번 이어 쓰고 능력도 함께 오른다고 보였다.

샌드박스에서 프로젝트 끝내기, 오래 걸리는 코딩
Terminal-Bench 4.0 13% → 67%
재무 모델링·리서치, 가상 회사 운영
GDPval-AA Elo 1534 → 1846AA-Briefcase Elo 1499 → 1678GDP.pdf 22% → 31%
도구와 앱으로 일 처리
AutomationBench-AA 58% → 73%
사실 정확도
AA-Omniscience 환각률 53% → 44%
(목록에 없음)
HLE 47% → 52%CritPt 23% → 25%SciCode 59% → 61%AA-LCR 89% → 86%

그림 4. Moonshot이 강화학습에서 늘린 일(왼쪽)과 닮은 AA 시험(오른쪽). 짝은 이 페이지가 지었다.

늘린 일과 닮은 시험은 크게 오르고, 목록에 없는 과학 추론과 긴 문맥은 거의 오르지 않거나 내렸다. Moonshot은 어떤 학습이 어떤 시험을 올렸는지 밝히지 않았다. 가설

긴 일은 작은 실수가 쌓인다

왜 일을 끝내는 시험이 유독 크게 올랐을까. 에이전트는 일 하나를 끝내려고 여러 번 움직인다. AA의 코딩 에이전트 시험에서는 과제 하나에 모델이 평균 146~186번 움직였다(턴). 그 가운데 크게 틀리면 일을 망치는 고비가 여럿 있다. 이 고비를 단계로 세고, 단계를 모두 넘겨야 일이 끝난다고 보자. 그러면 과제 성공률은 한 단계 성공률을 단계 수만큼 곱한 값이다. 예를 들어 한 단계 성공률이 95.0%에서 99.0%로 오르면, 한 번에 답하는 시험은 4.0%p 오르지만 50단계 과제는 7.7%에서 60.5%로 오른다. 한 단계를 조금만 더 믿을 만하게 만들어도 긴 과제의 성공률은 크게 오른다. 가설

장난감 모형이다. 실제 에이전트는 실수를 고쳐 다시 하기도 하고, 단계마다 어려움도 다르다. Terminal-Bench 과제의 단계 수나 K3·K3.1 Pro의 한 단계 성공률은 공개되지 않았다. 그래도 일을 끝내는 시험이 사후 학습의 작은 개선을 크게 비춘다는 방향은 보인다.

구조는 바탕

구조는 점수를 직접 올리지 않았다. 몸통이 같기 때문이다. 다만 K3는 긴 글을 적은 메모리로 읽도록 짜여 있다. 앞 내용을 작은 요약으로 들고 가는 층(선형 어텐션, KDA)과 앞 내용을 모두 다시 보는 층(전체 어텐션)을 3:1로 섞어, 100만 토큰 문맥의 메모리를 줄였다. 긴 작업을 수없이 돌리는 강화학습에는 이런 바탕이 필요하다. 가설

출처: Moonshot K3.1 Pro 블로그 · 크기: The Decoder · K3의 사후 학습: Kimi K3 기술 보고서(arXiv 2607.24653) §4.1(SFT, 전문가 9, 추론 강도, MOPD), §4.2(과제와 보상, 하네스), §5.3.2(샌드박스), §4.1.2 Fig. 8(RL 계산과 능력) · 턴 수: AA 코딩 에이전트 비교(Coding Agent Index v2.0) · 장난감 모형(과제 성공률 = 한 단계 성공률^{단계 수}): 이 페이지의 계산 · 어텐션: 같은 보고서 §2.1

정리

몸통은 그대로, 오른 것은 일을 끝내는 힘

	K3 → K3.1 Pro
몸통(구조, 크기)	같다
사후 학습	훨씬 크게: 수백 개 분야의 강화학습, 인프라 개편
고치는 방식	사전 학습처럼 로스와 역전파로 가중치를 고친다. 강화학습은 정답 대신 점수를 쓴다
오른 곳	터미널 +5.4, 사무 업무 +4.6, 지식·과학 +1.7, 긴 문맥 −0.2
50을 넘긴 조건	터미널 시험이 꼭 있어야 했고, 거기에 사무 업무 시험이 하나 이상 더해져야 했다
오래 생각하기	둘 다 기본값이 가장 오래 생각하는 설정(max)이고, 지수 시험을 한 번 도는 데 쓴 글의 양(출력 토큰 148M~161M)도 비슷하다. 상승의 이유가 아니다

오해몸통이 커져서 올랐다.

실제로는몸통은 K3와 같다. 오른 것은 사후 학습이다.

오해공개된 시험만 연습해서 올렸다.

실제로는문제를 볼 수 없는 비공개 에이전트 시험(AA-Briefcase, AutomationBench-AA)도 크게 올랐다. 오른 11점 가운데 3점은 비공개 시험에서 왔다. 다만 지수를 가장 많이 올린 Terminal-Bench 4.0은 공개 시험이라, 비슷한 과제로 연습했는지는 모른다.

오해강화학습은 모델에게 정답을 가르친다.

실제로는정답 없이 점수만 준다. 모델이 직접 해 본 시도 가운데 점수가 평균보다 높았던 쪽을 더 자주 하게 고칠 뿐이다.

확인됨 · 가설 · 모름

확인됨점수와 순위, 지수의 가중치는 AA 페이지(2026-10-26 조회)와 대조했다. 공개된 가중치와 항목 점수로 다시 계산한 지수가 K3, K3.1 Pro, Claude Opus 5.5, Claude Fable 5.1에서 AA의 값과 같다. K3.1 Pro가 K3의 사후 학습 버전이라는 것과 강화학습 분야는 Moonshot의 말이다. K3의 사후 학습 단계와 강화학습 식은 K3·K2.5 기술 보고서에 적힌 대로다.
가설Moonshot이 강화학습에서 늘린 일과 크게 오른 시험의 짝, Terminal-Bench 4.0을 올린 학습, 구조가 큰 강화학습의 바탕이라는 것. 긴 일의 장난감 모형과 네 번 시도 예는 숫자를 정해 놓고 계산한 예다.
모름K3가 Terminal-Bench 4.0에서 왜 크게 떨어졌나, 사후 학습 계산이 얼마나 늘었나, K3.1 Pro의 강화학습에 Terminal-Bench 4.0과 비슷한 과제가 있었나, 몸통이 정말 같은가(가중치 공개 전).

출처: AA 비교 페이지 · AA 방법론 v4.3.2 · Moonshot K3.1 Pro 블로그 · 지수 다시 계산: 이 페이지의 계산

질문

자주 묻는 질문

Kimi K3.1 Pro는 무엇인가?

중국 Moonshot AI가 2026-10-23에 낸 언어 모델이다. 7월에 낸 Kimi K3(전체 2.8T 가운데 토큰마다 104B만 쓰는 MoE, 문맥 1M 토큰)에 사후 학습을 훨씬 많이 한 버전이다. 가중치는 11월 4일까지 공개한다고 했다(Moonshot K3.1 Pro 블로그).

AA 지수(Artificial Analysis Intelligence Index)는 무엇을 재나?

평가 회사 Artificial Analysis가 모델을 직접 돌려 얻은 시험 10개의 가중 평균이다. 지금 판(v4.3.2)은 에이전트 30%, 코딩 20%, 일반 30%, 과학 추론 20%이고, 비공개 시험의 비중이 45%다(AA 방법론).

Kimi K3.1 Pro의 AA 지수는 몇 점인가?

55점으로, 같은 모델의 변형을 하나로 세면 4위다(2026-10-26). 앞은 Claude Opus 5.5(58), Claude Sonnet 5.5(56), Muse Wonder Full(56)이다. K3(max)는 44점이었다.

K3.1 Pro는 K3보다 어디서 점수가 올랐나?

오른 11점의 약 절반(+5.4)이 Terminal-Bench 4.0(13% → 67%)에서, 약 40%(+4.6)가 사무 업무 에이전트 시험 넷에서 왔다. 지식과 과학 추론은 합쳐 1.7점 남짓 올랐다(AA 항목 점수로 이 페이지의 계산).

Terminal-Bench 4.0은 무엇인가?

터미널에서 실제 일을 끝내는 과제 66개의 시험이다. 소프트웨어, 기계 학습, 과학, 운영, 보안, 하드웨어, 미디어에 걸쳐 있고, 과제의 테스트가 모두 통과해야 성공이다. AA는 mini-swe-agent 하네스로 과제마다 세 번 돌린 평균을 낸다.

AA 지수 50을 넘은 중국 모델은?

2026-10-26 AA 순위표(v4.3.2)에서는 Kimi K3.1 Pro(55) 하나다. 그다음 중국 회사 모델은 MiMo-V2.6-Pro(46), Qwen3.8 Max·DeepSeek V4.1 Flash·GLM-5.3(45)이다. 판마다 산정 기준이 달라, 점수는 같은 판 안에서만 견줄 수 있다.

K3.1 Pro는 구조가 K3와 다른가?

Moonshot은 구조 변경을 말하지 않는다. "K3의 사후 학습 버전이고, 사후 학습 계산량이 훨씬 크다"고만 한다. 11월 4일까지 가중치가 공개되면 설정 파일로 확인할 수 있다.

사후 학습(강화학습)은 모델을 어떻게 고치나?

사전 학습처럼 로스를 재고 역전파로 가중치를 고친다. 다만 정답 대신 점수를 쓴다. 모델이 직접 쓴 답 가운데 같은 문제의 평균보다 점수가 높은 답은 더 자주, 낮은 답은 덜 자주 쓰게 고친다(정책 경사). K3는 이 방식을 K2.5에서 이어받았다(Kimi K3 기술 보고서 §4.1.2).

K3.1 Pro의 점수를 그대로 믿어도 되나?

AA 지수는 모델 회사가 아니라 AA가 직접 잰 값이다. 문제를 볼 수 없는 비공개 에이전트 시험(AA-Briefcase, AutomationBench-AA)도 크게 올랐다. Moonshot이 직접 잰 점수는 하네스와 설정이 달라 AA 값과 조금 다르다(Terminal-Bench 4.0: Moonshot 65.7%, AA 67%).