AI · 공식 발표
분산 학습 중단을 자동으로 복구하는 NVIDIA Recovery 공개
NVIDIA Technical blog ·
한눈에 보기
대규모 AI 학습은 장비나 소프트웨어 문제로 자주 멈춰요. NVIDIA Recovery는 클러스터에서 돌아가는 학습 작업을 24시간 지켜보다가 멈춤이 생기면 원인을 찾고 복구까지 자동으로 처리하는 오픈소스 서비스예요. 사람이 밤낮없이 로그를 살피는 부담을 줄여 준다고 소개해요.
핵심 내용
- 서비스는 애플리케이션 로그, GPU 상태 지표, 작업 스케줄러 신호로 학습 중단을 감지해요.
- 감지 후에는 원인이 된 장비를 찾아 분리하고, 저장된 체크포인트(학습 중간 저장본)에서 작업을 다시 시작하거나 멈춰요.
- 슬럼(Slurm, 작업 배분 프로그램)과 연결할 수 있고, 처음 설치하면 실제 조치 없이 복구 권고만 보여 주는 모니터 모드로 시작해요.
- 7월 9일부터 10월 9일까지 한 학습 클러스터에서 하루 약 200개 작업을 돌리며 약 8,550건의 이상을 감지했고, 평균 감지 시간은 69초, 복구 조치 시간은 94초였다고 해요.
왜 중요할까요?
학습이 멈추면 GPU가 놀고 시간과 비용이 낭비돼요. 자동 복구는 이런 손실을 줄여 AI 개발 비용과 기간에 영향을 줄 수 있어요.
원문과 출처
Keep Distributed Training Running with Automated Workload Recovery
NVIDIA Technical blog · 11월 3일 07:43 KST
NVIDIA Technical blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. NVIDIA Technical blog.
같은 분야의 다른 소식
- Anthropic 직원 "Claude로 리만 가설 증명했다" 주장
Anthropic의 직원이자 수학자인 Levent Alpöge가 자사 AI 챗봇 Claude를 써서 약 6주 동안 리만 가설(소수의 분포에 관한 오래된 수학 문제)의 증명을 만들었다고 주장했어요. 증명은 아직 검증되지 않았어요.
BBC News · 11월 21일 08:08 KST - AI 소프트웨어 공장이 아이디어를 실제 프로그램으로 만드는 과정 라이브 공개
코울 메딘(Cole Medin)이 자신의 AI 소프트웨어 공장을 라이브로 돌려 시청자의 아이디어를 실제 작동하는 소프트웨어로 만드는 과정을 보여줘요. 거친 요청을 계획하고 작은 조각으로 나눠 만들고 점검하는 흐름이에요. 이 시스템이 만든 게임도 함께 소개해요.
Cole Medin · 11월 21일 08:08 KST - 아마존, SageMaker HyperPod Slurm에 모니터링·사용자 관리 자동화 기능 공개
Amazon SageMaker HyperPod의 Slurm 클러스터(대규모 AI 모델 개발에 쓰는 여러 컴퓨터를 묶어 작업을 나눠 주는 시스템)에 관리형 클러스터 확장 기능이 생겼어요. 이제 실행 중인 노드의 모니터링과 사용자 관리를 API나 콘솔에서 선언해 맡길 수 있어요.
Amazon AWS Machine Learning blog · 11월 21일 08:07 KST - AWS 마켓플레이스, AI 에이전트가 소프트웨어 직접 구매
AWS가 AI 에이전트(사람을 대신해 일을 처리하는 AI 프로그램)가 상품을 찾는 데서 나아가 직접 살 수 있도록 마켓플레이스를 바꿨어요. 결제는 달러로 이뤄지고 AWS 청구서에 합산돼요.
디지털투데이 · 11월 21일 07:37 KST