AI · 영상
온-폴리시 증류, 2026년 LLM 후학습의 새 흐름으로 떠올라
bycloud ·
한눈에 보기
이 영상은 강화학습(RL, 보상을 보고 행동을 배우는 방식)이 거대언어모델을 좁게 만드는 문제를 해결하려는 온-폴리시 증류(OPD, 학생 모델이 자기가 만든 결과물로 배우는 방식)를 설명해요. 연구자들이 RL로 전문 교사 모델을 따로 키우고, 그 능력을 하나의 범용 모델로 모으는 흐름을 다뤄요.
핵심 내용
- 강화학습은 모델이 새 능력을 찾게 돕지만, 출력이 좁아지고 범용성이 떨어지는 문제가 있어요.
- 여러 RL 목표를 한 모델에 한꺼번에 넣으면 목표끼리 충돌해 한쪽이 다른 쪽을 누를 수 있어요.
- 오프-폴리시 증류는 학생이 교사의 경로에서 벗어나면 오류가 쌓여요.
- 온-폴리시 증류는 학생이 스스로 만든 경로를 토큰(글자 단위 조각) 하나씩 보정해 이런 어긋남을 줄여요.
왜 중요할까요?
언어 모델이 어떻게 학습되는지 따라가는 개발자와 연구자에게 도움이 돼요.
원문과 출처
On-Policy Distillation: LLM's Post-Training Meta of 2026
bycloud · 11월 19일 02:26 KST
YouTube에서 보기 ↗AI가 영상 내용을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. bycloud.
같은 분야의 다른 소식
- 기업 내부 API를 중앙 방화벽 거쳐 AI 에이전트에 연결하는 방법 공개
AWS 머신러닝 블로그가 AI 에이전트가 회사 내부 API와 도구 서버에 접근할 때, 모든 트래픽이 중앙 방화벽을 거치도록 연결하는 방법을 설명했어요. 네트워크 팀이 모든 서브넷을 계속 관리하고, 게이트웨이와 내부 도구 사이의 요청과 응답이 양방향으로 검사 VPC를 지나도록 구성해요. 이를 위해 네트워크 계정에 리소스 게이트웨이(내부 대상에 접근하는 통로)를 두고 트랜스잇 게이트웨이(여러 네트워크를 잇는 중앙 연결 장치)로 라우팅해요. 미국 동부 리전에서 실험 환경으로 검증했어요.
Amazon AWS Machine Learning blog · 11월 19일 04:05 KST - Stretto, 음성 AI 상담원 Tara로 파산 상담 전화 자동화 시도
Stretto는 Bankruptcy.com 사이트에서 파산을 고민하는 사람들의 상담 신청을 받고 있어요. 기존 웹 양식은 짧아서 얻는 정보가 적었어요. 그래서 전화로 질문하는 AI 음성 상담원 Tara를 만들었어요. Tara는 Amazon Nova 2 Sonic이라는 음성 AI 모델로 만들어졌어요.
Amazon AWS Machine Learning blog · 11월 19일 03:58 KST - AWS Quick DC 사용자 모임, AI 에이전트용 데이터 준비 방법 논의
AWS가 2026년 10월 7일 버지니아주 알링턴에서 AWS Quick 사용자 모임(DC 지부)의 첫 행사를 열었어요. 참가자들은 AI 에이전트(스스로 여러 단계의 일을 처리하는 AI)가 일하려면 회사 데이터를 어떻게 준비해야 하는지 이야기했어요. 금융 회사 FIG가 AWS Quick으로 데이터 분석을 바꾸는 사례도 소개됐어요.
Amazon AWS Machine Learning blog · 11월 19일 03:54 KST - 연산량 공식은 GPU 작업 시간을 못 맞춰, 학습형 예측이 더 정확해
공유 GPU 클러스터에서 AI 모델 미세 조정(기존 모델에 추가 학습을 시켜 특정 용도에 맞추는 작업)이 얼마나 걸리는지 예측한 연구예요. 실제 작업 272건을 분석한 결과, 흔히 쓰는 계산식은 실제 시간을 잘 설명하지 못했어요. 작업 시작 전 정보만 쓴 학습형 모델은 훨씬 정확했어요.
Hugging Face blog · 11월 19일 03:53 KST