새 소식으로

AI · 공식 발표

아마존 SageMaker HyperPod, 리전 넘나드는 AI 요청 분배 게이트웨이 공개

Amazon AWS Machine Learning blog ·

한눈에 보기

아마존 SageMaker HyperPod에 여러 클러스터와 여러 리전을 하나의 주소로 묶어 주는 Global Inference Gateway가 나왔어요. 한 클러스터가 바빠 요청이 밀려도, 다른 클러스터의 놀고 있는 GPU(AI 연산용 그래픽 칩)로 요청을 보낼 수 있어요.

핵심 내용

왜 중요할까요?

이미 돈을 내고 빌린 GPU를 놀리지 않고 쓸 수 있고, 한 클러스터가 멈춰도 AI 서비스를 유지할 수 있어요.

원문과 출처

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

Amazon AWS Machine Learning blog · 11월 21일 07:35 KST

Amazon AWS Machine Learning blog에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.

AI