AI · 공식 발표
강화학습 가중치 전달을 줄이는 Reshard 기법 공개
NVIDIA Technical blog ·
한눈에 보기
강화학습 후처리 과정에서는 학습용 GPU의 최신 모델 가중치를 추론용 GPU로 계속 옮겨야 해요. 이 전달을 refit이라고 부르는데, 모델이 커지면서 한 번에 옮겨야 하는 데이터도 크게 늘었어요. 엔비디아는 필요한 데이터만 옮기는 새 통신 방식 Reshard를 소개했어요.
핵심 내용
- 기존 방식은 모든 조각을 한 번 합친 뒤 통째로 뿌려서 불필요한 전송이 많았어요.
- Reshard는 보내는 쪽과 받는 쪽의 배치를 비교해 꼭 필요한 부분만 옮겨요.
- NVIDIA DGX H100과 GB200 시스템에서 기존 방식보다 2.7배에서 5.7배 빠르다고 측정했어요.
- 전체 데이터의 대부분을 차지하는 일부 가중치에만 Reshard를 쓰고 나머지는 기존 방식을 유지하는 혼합 방식도 쓰고 있어요.
왜 중요할까요?
대형 AI 모델을 강화학습으로 다듬는 시간과 비용을 줄이는 기술이라서, AI 개발 속도에 영향을 줄 수 있어요.
원문과 출처
Accelerating Reinforcement Learning Weight Refit with the Reshard Collective
NVIDIA Technical blog · 11월 7일 03:03 KST
NVIDIA Technical blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. NVIDIA Technical blog.
같은 분야의 다른 소식
- AWS 마켓플레이스, AI 에이전트가 소프트웨어 직접 구매
AWS가 AI 에이전트(사람을 대신해 일을 처리하는 AI 프로그램)가 상품을 찾는 데서 나아가 직접 살 수 있도록 마켓플레이스를 바꿨어요. 결제는 달러로 이뤄지고 AWS 청구서에 합산돼요.
디지털투데이 · 11월 21일 07:37 KST - 아마존 SageMaker HyperPod, 리전 넘나드는 AI 요청 분배 게이트웨이 공개
아마존 SageMaker HyperPod에 여러 클러스터와 여러 리전을 하나의 주소로 묶어 주는 Global Inference Gateway가 나왔어요. 한 클러스터가 바빠 요청이 밀려도, 다른 클러스터의 놀고 있는 GPU(AI 연산용 그래픽 칩)로 요청을 보낼 수 있어요.
Amazon AWS Machine Learning blog · 11월 21일 07:35 KST - 구글 검색창 옆 검색 버튼 빼고 AI 사이드바 추가
구글이 테스트를 거친 새 데스크톱 검색 첫 화면을 정식으로 내놓았어요. 검색창 옆의 '구글 검색' 버튼이 사라지고, 그 자리에 AI 기능 버튼들이 들어왔어요. 로그인한 사용자는 왼쪽 사이드바에서 최근 AI 모드 대화를 다시 열어볼 수 있어요.
Ars Technica · 11월 21일 06:58 KST - 메타, AI 데이터센터 배출 급증에 2030년 넷제로 목표 재검토
메타가 2026년 지속가능성 보고서에서 2030년 탄소 순배출 제로(넷제로) 목표를 다시 검토하고 있다고 밝혔어요. 2025년 온실가스 배출량은 전년보다 약 40% 늘어 미국 대형 기술 기업 중 가장 큰 증가율을 보였어요.
Ars Technica · 11월 21일 06:47 KST