AI · 공식 발표
Salesforce, SageMaker AI로 전 세계 AI 트래픽 분산 처리 방식 공개
Amazon AWS Machine Learning blog ·

한눈에 보기
Salesforce의 Agentforce 기반 팀은 30개가 넘는 글로벌 리전에서 AI 모델을 운영해요. 리전마다 용량이 나뉘어 있어 한 곳에 트래픽이 몰리면 서비스가 끊길 수 있었어요. 그래서 Amazon SageMaker AI에 리전 간 추론 라우팅을 붙여, 여유가 있는 곳으로 요청을 보내는 방식을 썼어요.
핵심 내용
- Salesforce는 Agentforce와 Trust Layer 등 여러 제품에 쓰는 AI 모델을 30개가 넘는 리전에서 제공해요.
- 리전마다 용량이 따로 나뉘어 있어서, 한 리전에 갑자기 몰린 요청을 감당하기 어려웠어요.
- 새 라우터는 여러 리전과 계정에 있는 엔드포인트(모델이 요청을 받는 입구)를 하나의 호출 경로로 묶어 줘요.
- 요청은 평소 가까운 리전에서 처리하고, 그곳이 감당하지 못할 때만 다른 리전으로 보내요.
왜 중요할까요?
AI 서비스를 여러 리전에 나눠 운영하면서도 트래픽 급증에 대응하는 방법을 보여 줘요. 대형 기업이 고객 데이터 위치 규정을 지키면서 서비스를 안정적으로 운영하는 사례예요.
원문과 출처
How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
Amazon AWS Machine Learning blog · 11월 19일 05:13 KST
Amazon AWS Machine Learning blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.
같은 분야의 다른 소식
- 샘 올트먼, 자신을 그린 영화 '아티피셜'에 덤덤한 반응
샘 올트먼은 자신을 주인공으로 한 영화가 나와도 이제 별로 이상하게 느껴지지 않는다고 말했어요. 영화 '아티피셜'에서는 앤드루 가필드가 올트먼 役을 맡아, 오픈AI의 성장과 2023년 올트먼이 잠시 해임됐던 내부 갈등을 그려요. 이 영화는 크리스마스에 극장에서 개봉해요.
TechCrunch · 11월 19일 05:07 KST - AI가 숨겨진 코드까지 소프트웨어 작동 원리를 파악하는 능력이 높아져
NVIDIA 공식 채널의 짧은 영상이에요. AI가 숨겨진 코드까지 포함해 소프트웨어가 어떻게 작동하는지 알아내는 능력이 커지고 있다는 내용이에요. 이것이 보안에 어떤 의미인지 Hugging Face와 ServiceNow가 NVIDIA AI 팝캐스트에서 이야기해요.
NVIDIA 공식 YouTube · 11월 19일 05:00 KST - 스냅챗, AI 코딩 도구로 AR 렌즈 만드는 기능 공개
스냅챗이 개발자가 Claude Code, Cursor, Codex 같은 AI 코딩 도우미로 AR 렌즈(카메라로 얼굴이나 주변에 효과를 입히는 기능)를 만들 수 있게 했어요. 새 도구 이름은 Easy Lens CLI예요. 기존 Easy Lens가 웹과 모바일에서 한 번의 명령으로 렌즈를 만들었다면, 이번에는 개발자가 쓰던 작업 환경에서 같은 일을 할 수 있어요.
TechCrunch · 11월 19일 04:56 KST - 엔비디아, 황 CEO 떠나도 수익 불패…이익 배분 확대 예고
엔비디아는 1초에 약 8,300달러의 순이익을 내고 있어요. 임시 최고경영자 콜레트 크레스는 남는 잉여 현금흐름을 모두 주주에게 돌려주겠다고 밝혔어요. 창업자 젠슨 황이 물러났지만 회사가 큰 변화를 시도하지 않을 것이라는 분석이 나와요.
The Verge · 11월 19일 04:30 KST