새 소식으로

AI · 공식 발표

Salesforce, SageMaker AI로 전 세계 AI 트래픽 분산 처리 방식 공개

Amazon AWS Machine Learning blog ·

한눈에 보기

Salesforce의 Agentforce 기반 팀은 30개가 넘는 글로벌 리전에서 AI 모델을 운영해요. 리전마다 용량이 나뉘어 있어 한 곳에 트래픽이 몰리면 서비스가 끊길 수 있었어요. 그래서 Amazon SageMaker AI에 리전 간 추론 라우팅을 붙여, 여유가 있는 곳으로 요청을 보내는 방식을 썼어요.

핵심 내용

왜 중요할까요?

AI 서비스를 여러 리전에 나눠 운영하면서도 트래픽 급증에 대응하는 방법을 보여 줘요. 대형 기업이 고객 데이터 위치 규정을 지키면서 서비스를 안정적으로 운영하는 사례예요.

원문과 출처

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

Amazon AWS Machine Learning blog · 11월 19일 05:13 KST

Amazon AWS Machine Learning blog에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.

AI