새 소식으로

AI · 공식 발표

SageMaker AI 실시간 엔드포인트에 KV 캐시 인식 라우팅 추가

Amazon AWS Machine Learning blog ·

한눈에 보기

Amazon SageMaker AI에 KV 캐시 인식 라우팅(KV-aware routing)이 새로 나왔어요. 이 기능은 요청을 이미 프롬프트의 긴 앞부분을 캐시에 갖고 있고 너무 바쁘지 않은 인스턴스로 보내요. 대화형 AI처럼 긴 대화나 같은 앞부분을 반복하는 요청에서 중복 계산을 줄이는 것이 목적이에요.

핵심 내용

왜 중요할까요?

같은 프롬프트에 대한 계산을 재사용해 대규모 언어 모델 서비스의 응답 속도와 운영 비용을 함께 개선할 수 있어서 중요해요.

원문과 출처

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

Amazon AWS Machine Learning blog · 11월 18일 06:11 KST

Amazon AWS Machine Learning blog에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.

AI