AI · 영상
온-폴리시 증류, 2026년 LLM 후학습의 새 흐름으로 떠올라
bycloud ·
한눈에 보기
이 영상은 강화학습(RL, 보상을 보고 행동을 배우는 방식)이 거대언어모델을 좁게 만드는 문제를 해결하려는 온-폴리시 증류(OPD, 학생 모델이 자기가 만든 결과물로 배우는 방식)를 설명해요. 연구자들이 RL로 전문 교사 모델을 따로 키우고, 그 능력을 하나의 범용 모델로 모으는 흐름을 다뤄요.
핵심 내용
- 강화학습은 모델이 새 능력을 찾게 돕지만, 출력이 좁아지고 범용성이 떨어지는 문제가 있어요.
- 여러 RL 목표를 한 모델에 한꺼번에 넣으면 목표끼리 충돌해 한쪽이 다른 쪽을 누를 수 있어요.
- 오프-폴리시 증류는 학생이 교사의 경로에서 벗어나면 오류가 쌓여요.
- 온-폴리시 증류는 학생이 스스로 만든 경로를 토큰(글자 단위 조각) 하나씩 보정해 이런 어긋남을 줄여요.
왜 중요할까요?
언어 모델이 어떻게 학습되는지 따라가는 개발자와 연구자에게 도움이 돼요.
원문과 출처
On-Policy Distillation: LLM's Post-Training Meta of 2026
bycloud · 11월 19일 02:26 KST
YouTube에서 보기 ↗AI가 영상 내용을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. bycloud.
같은 분야의 다른 소식
- AWS Quick DC 사용자 모임, AI 에이전트용 데이터 준비 방법 논의
AWS가 2026년 10월 7일 버지니아주 알링턴에서 AWS Quick 사용자 모임(DC 지부)의 첫 행사를 열었어요. 참가자들은 AI 에이전트(스스로 여러 단계의 일을 처리하는 AI)가 일하려면 회사 데이터를 어떻게 준비해야 하는지 이야기했어요. 금융 회사 FIG가 AWS Quick으로 데이터 분석을 바꾸는 사례도 소개됐어요.
Amazon AWS Machine Learning blog · 11월 19일 03:54 KST - 연산량 공식은 GPU 작업 시간을 못 맞춰, 학습형 예측이 더 정확해
공유 GPU 클러스터에서 AI 모델 미세 조정(기존 모델에 추가 학습을 시켜 특정 용도에 맞추는 작업)이 얼마나 걸리는지 예측한 연구예요. 실제 작업 272건을 분석한 결과, 흔히 쓰는 계산식은 실제 시간을 잘 설명하지 못했어요. 작업 시작 전 정보만 쓴 학습형 모델은 훨씬 정확했어요.
Hugging Face blog · 11월 19일 03:53 KST - 마이크로소프트, 자체 AI 모델 7종 공개…외부 모델보다 싸다고 주장
마이크로소프트의 AI 부서 MAI가 코딩, 보안, 이미지, 음성, 경로 선택용 새 모델 7종을 내놓았어요. 회사는 다른 회사 모델과 비슷한 성능을 더 싼 값에 낼 수 있다고 말해요. 24시간 돌아가는 AI 에이전트(사람 대신 일을 처리하는 AI 프로그램)를 겨냥한 거예요.
The Decoder · 11월 19일 03:47 KST - NVIDIA 이언 벅, SC26에서 과학 계산의 AI 에이전트 시대 소개
NVIDIA의 이언 벅 부사장이 SC26 행사에서 과학 계산에 AI와 에이전트를 결합하는 흐름을 소개하는 영상이에요. 시뮬레이션, AI, 에이전트를 함께 써서 복잡한 문제를 풀고 과학적 발견을 앞당기는 새로운 방법을 다뤄요.
NVIDIA 공식 YouTube · 11월 19일 03:36 KST