AI · 공식 발표
연산량 공식은 GPU 작업 시간을 못 맞춰, 학습형 예측이 더 정확해
Hugging Face blog ·

한눈에 보기
공유 GPU 클러스터에서 AI 모델 미세 조정(기존 모델에 추가 학습을 시켜 특정 용도에 맞추는 작업)이 얼마나 걸리는지 예측한 연구예요. 실제 작업 272건을 분석한 결과, 흔히 쓰는 계산식은 실제 시간을 잘 설명하지 못했어요. 작업 시작 전 정보만 쓴 학습형 모델은 훨씬 정확했어요.
핵심 내용
- NVIDIA H200 GPU에서 돌린 실제 미세 조정 작업 272건, 총 약 7,382 GPU시간을 분석했어요.
- 흔히 쓰는 연산량(FLOP) 기반 계산은 실제 시간을 거의 설명하지 못했고, 평균 오차가 약 12.41시간이었어요.
- 작업 배정 전에 알 수 있는 정보만 쓴 CatBoost 모델은 평균 오차가 약 1.71시간이었어요.
- 계산식에는 환경 설정, 중간 평가, 체크포인트 저장, 공유 저장장치 경쟁 같은 부가 작업이 빠져 있어요.
왜 중요할까요?
GPU 작업 시간을 정확히 알아야 장비를 낭비 없이 배치하고 대기 중인 작업의 지연을 줄일 수 있어요.
원문과 출처
Why your fine-tuning job takes longer than the FLOPs say
Hugging Face blog · 11월 19일 03:53 KST
Hugging Face blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Hugging Face blog.
같은 분야의 다른 소식
- 기업 내부 API를 중앙 방화벽 거쳐 AI 에이전트에 연결하는 방법 공개
AWS 머신러닝 블로그가 AI 에이전트가 회사 내부 API와 도구 서버에 접근할 때, 모든 트래픽이 중앙 방화벽을 거치도록 연결하는 방법을 설명했어요. 네트워크 팀이 모든 서브넷을 계속 관리하고, 게이트웨이와 내부 도구 사이의 요청과 응답이 양방향으로 검사 VPC를 지나도록 구성해요. 이를 위해 네트워크 계정에 리소스 게이트웨이(내부 대상에 접근하는 통로)를 두고 트랜스잇 게이트웨이(여러 네트워크를 잇는 중앙 연결 장치)로 라우팅해요. 미국 동부 리전에서 실험 환경으로 검증했어요.
Amazon AWS Machine Learning blog · 11월 19일 04:05 KST - Stretto, 음성 AI 상담원 Tara로 파산 상담 전화 자동화 시도
Stretto는 Bankruptcy.com 사이트에서 파산을 고민하는 사람들의 상담 신청을 받고 있어요. 기존 웹 양식은 짧아서 얻는 정보가 적었어요. 그래서 전화로 질문하는 AI 음성 상담원 Tara를 만들었어요. Tara는 Amazon Nova 2 Sonic이라는 음성 AI 모델로 만들어졌어요.
Amazon AWS Machine Learning blog · 11월 19일 03:58 KST - AWS Quick DC 사용자 모임, AI 에이전트용 데이터 준비 방법 논의
AWS가 2026년 10월 7일 버지니아주 알링턴에서 AWS Quick 사용자 모임(DC 지부)의 첫 행사를 열었어요. 참가자들은 AI 에이전트(스스로 여러 단계의 일을 처리하는 AI)가 일하려면 회사 데이터를 어떻게 준비해야 하는지 이야기했어요. 금융 회사 FIG가 AWS Quick으로 데이터 분석을 바꾸는 사례도 소개됐어요.
Amazon AWS Machine Learning blog · 11월 19일 03:54 KST - 마이크로소프트, 자체 AI 모델 7종 공개…외부 모델보다 싸다고 주장
마이크로소프트의 AI 부서 MAI가 코딩, 보안, 이미지, 음성, 경로 선택용 새 모델 7종을 내놓았어요. 회사는 다른 회사 모델과 비슷한 성능을 더 싼 값에 낼 수 있다고 말해요. 24시간 돌아가는 AI 에이전트(사람 대신 일을 처리하는 AI 프로그램)를 겨냥한 거예요.
The Decoder · 11월 19일 03:47 KST