AI도 잠을 자야 할까?
작은 모델에서 잠(학습을 멈추고 잡음을 흘려 연결이 앞뒤 뉴런만 보고 업데이트)을 통해서 성능 개선을 확인하였다. 하지만 큰 모델에서도 같다는 근거는 찾지 못했다.
KNOWLEDGE
공부한 개념을 직접 조작해 보며 이해하도록 만든 페이지 모음이다.
작은 모델에서 잠(학습을 멈추고 잡음을 흘려 연결이 앞뒤 뉴런만 보고 업데이트)을 통해서 성능 개선을 확인하였다. 하지만 큰 모델에서도 같다는 근거는 찾지 못했다.
포맷과 플래시가 먼저 지우는 것은 파일 내용이 아니라 어디에 뭐가 있는지 적은 지도(파티션 테이블과 파일 시스템의 첫머리)라서, 새로 덮어쓰지 않은 본문은 그대로 있고 되살릴 수 있다는 것을, 플래시로 지도를 지우고 새 이미지가 덮는 양을 바꿔 가며 되살려 보고 탐색기와 디스크 관리의 모습과 파일별 상태가 어떻게 달라지는지 보며 이해한다. 컴퓨터·저장장치의 첫 글이다.
엑스레이 필름 한 장은 CT가 찍는 그림자의 한 방향이라서, CT에서 같은 그림자를 계산해 필름과 가장 닮는 자세를 찾으면 맞출 수 있다는 것을, 2D 장난감 CT를 돌리고 옮겨 가며 필름에 맞춰 보고 원뿔 모델과 평행 모델, 광원 거리를 바꿔 보며 이해한다. X선·CT 영상의 첫 글이다.
사전 학습, 사후 학습, 추론을 가르는 질문은 하나다. 가중치가 바뀌나? 직접 학습한 가장 작은 GPT를 한 걸음씩 따라가며, 학습 둘은 가중치를 바꾸고 추론은 맥락만 바꾼다는 것과, 강화학습이 정답 없이 뽑기와 채점으로 출력을 바꾸는 과정을 본다. 언어 모델의 두 번째 글이다.
Kimi K3.1 Pro는 K3와 몸통이 같은데 AA 지수가 44에서 55로 올랐다. 오른 점수는 대부분 도구를 써서 일을 끝내는 시험에서 왔고, 그 힘은 훨씬 크게 한 사후 학습(강화학습)에서 왔다. 강화학습이 정답 없이 점수만으로 모델을 어떻게 고치는지도 본다. 언어 모델의 첫 글이다.
마이크로인젝터는 바늘 뒤에서 시료를 공기로 밀거나(공압식) 기름으로 민다(유압식). 공기는 잘 눌리고 기름은 거의 안 눌려, 공압식은 압력과 시간을, 유압식은 부피를 정한다. 바늘 끝과 시료를 바꿔 가며 두 방식이 내보내는 양과 걸리는 압력을 본다. 로봇·자동화의 두 번째 글이다.
로봇의 종류는 관절을 잇는 구조로 나뉘고, 구조가 손끝이 닿는 곳과 손끝의 자세를 정한다. 직교, 스카라, 다관절, 델타, 평행 링크형 팔, 스튜어트 플랫폼이 실험실 일 다섯을 해낼 수 있는지 손끝의 자세를 바꿔 가며 본다. 로봇·자동화의 첫 글이다.
정답이 없는 가운데 층의 뉴런도 출력이 틀린 정도를 거꾸로 전해 받아 자기 몫을 얻는다는 것을, XOR를 배우는 작은 다층 퍼셉트론의 학습을 한 걸음씩 끌어 보며 이해한다. MLP와 단일 퍼셉트론, 시그모이드와 계단 함수, 경사 하강법이 비탈을 내려가는 모습을 한 그림에서 견준다.
train-val-test는 레거시가 아니다. 학습이 끝난 뒤 데이터로 정하는 온도 T와 threshold(임계값)를 위해 calib 칸을 하나 더 둔다는 것을, 두 값을 정할 칸을 바꾸고 threshold를 직접 움직여 보며 이해한다. 기계 학습의 첫 글이다.
명시야에서는 배경과 구별하기 어려운 무색·투명한 세포를, 콘덴서의 링 조리개와 대물렌즈 안의 위상판 두 고리로 보이게 하는 위상차 현미경을, 링 번호·조리개·중심·초점을 직접 맞춰 보며 이해한다. 현미경 이미징의 첫 글이다.
13 × 13, 26 × 26, 52 × 52 세 격자에 앵커 9개를 나눠 크고 작은 물체를 맡기고, 깊은 특징을 펼쳐 앞쪽 특징과 이어 붙이고, 정답마다 앵커 하나에만 물체 있음을 가르치는 YOLOv3를, 물체를 끌고 107층을 피라미드로 쌓아 보며 이해한다. YOLOv2의 다음 글이다.
칸마다 앵커 박스 5개로 물체를 나눠 맡고, 패스스루 레이어로 26 × 26의 세밀한 특징을 13 × 13 칸에 접어 붙이는 YOLOv2를, 물체를 끌고 앵커를 고르고 특징 지도를 접어 보며 이해한다. YOLOv1의 다음 글이다.
두 박스가 얼마나 겹치는지 재는 IOU와, 한 물체에 겹친 박스를 하나만 남기는 NMS를, 박스를 직접 옮기고 단계를 따라가며 이해한다. YOLOv1의 선행 지식이다.
사진을 7×7 칸으로 나누고 신경망을 한 번만 통과시켜 모든 물체를 찾는 YOLOv1을, 직접 구현한 모델의 구조와 출력으로 만져 보며 이해한다.