AI · 공식 발표
아마존 SageMaker HyperPod, 엔비디아 Dynamo 지원 추가로 대형 모델 응답 효율 높여
Amazon AWS Machine Learning blog ·

한눈에 보기
아마존 SageMaker HyperPod 추론 서비스가 엔비디아의 오픈소스 분산 추론 도구 Dynamo를 지원하게 됐어요. 여러 서버에 걸쳐 거대한 언어 모델(LLM)을 나눠 돌리고, 프롬프트 처리와 답변 생성을 따로 맞출 수 있어요. 글에는 배포 예시와 성능 측정 결과, 최적화 방법이 담겼어요.
핵심 내용
- HyperPod 추론에 NVIDIA Dynamo가 추가되어, 여러 서버에 걸친 모델 실행을 지원해요.
- 프롬프트를 읽는 작업(프리필)과 답변을 만드는 작업(디코드)을 따로 나눠 각각 늘리거나 줄일 수 있어요.
- Dynamo 라우터가 이미 저장된 캐시와 각 작업자의 부하를 보고 요청을 보내요.
- 고속 네트워크(EFA)로 서버를 잇고, 노드 상태를 살펴 문제가 생기면 자동으로 교체해요.
왜 중요할까요?
대형 모델은 GPU 메모리를 많이 쓰고, 프롬프트와 답변 생성이 같은 장비를 쓰면 느려져요. 이번 기능은 이런 문제를 줄여 서비스를 더 효율적으로 운영하도록 돕는 게 목적이에요.
원문과 출처
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
Amazon AWS Machine Learning blog · 11월 18일 08:33 KST
Amazon AWS Machine Learning blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.
같은 분야의 다른 소식
- ChatGPT로 일상 잡무 관리하는 숨은 활용법
OpenAI 연구자 Isa F.가 ChatGPT로 일상 잡무를 관리하는 방법을 짧게 소개해요. 세부 사항을 챙기고 다음 미용실 예약 시간을 잡는 데 쓴다고 해요.
OpenAI 공식 YouTube · 11월 18일 09:06 KST - Ofqual, AI·스마트 안경 부정행위 학생에 자격 박탈 등 강력 처벌 촉구
영국 시험 규제기관 Ofqual은 AI나 스마트 안경으로 부정행위를 하다 걸린 학생이 GCSE, A-레벨 같은 자격을 통째로 잃을 수 있다고 경고했어요. 이 자격 시험은 영국 학생들이 치르는 중요한 시험이에요.
The Guardian · 11월 18일 09:01 KST - 클로드 코드(Claude Code), GTA VI 미션 120개·플레이 150시간 이상 추산
한 사용자가 클로드 코드에게 GTA VI 자료를 분석해 달라고 했고, 클로드 코드가 게임 규모를 추정했다고 주장했어요. 사용자는 PS5를 리모트 플레이로 연결해 자료 214개를 모았다고 해요. 추정치는 락스타 게임즈가 확인하지 않았어요.
GameGPU · 11월 18일 08:44 KST - 나델라 MS CEO, AGI가 경제·정치 바꿀 것이라고 말해
마이크로소프트 CEO 사티아 나델라가 AI가 경제 구조와 정치를 크게 바꿀 수 있다고 말했어요. 그는 Claude 같은 최첨단 AI 모델이 의식이 있다고 생각하지 않는다고 밝혔어요.
The Verge · 11월 18일 08:41 KST