AI · 공식 발표
SageMaker AI 실시간 엔드포인트에 KV 캐시 인식 라우팅 추가
Amazon AWS Machine Learning blog ·

한눈에 보기
Amazon SageMaker AI에 KV 캐시 인식 라우팅(KV-aware routing)이 새로 나왔어요. 이 기능은 요청을 이미 프롬프트의 긴 앞부분을 캐시에 갖고 있고 너무 바쁘지 않은 인스턴스로 보내요. 대화형 AI처럼 긴 대화나 같은 앞부분을 반복하는 요청에서 중복 계산을 줄이는 것이 목적이에요.
핵심 내용
- 모델 컨테이너가 자기 캐시 상태를 알려주고, SageMaker AI가 그 정보를 색인으로 관리해요.
- 색인에는 캐시된 내용의 축약된 해시(되돌릴 수 없는 짧은 값)만 저장되고 프롬프트 원문은 저장되지 않아요.
- 모델에 환경 변수 하나를 추가하고 엔드포인트 설정에서 KV_AWARE를 고르면 켤 수 있어요.
- 기존 방식인 접두사 기반 라우팅은 캐시가 밀려났는지 알지 못하고 대화가 짧을 때 잘 맞지 않았어요.
왜 중요할까요?
같은 프롬프트에 대한 계산을 재사용해 대규모 언어 모델 서비스의 응답 속도와 운영 비용을 함께 개선할 수 있어서 중요해요.
원문과 출처
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
Amazon AWS Machine Learning blog · 11월 18일 06:11 KST
Amazon AWS Machine Learning blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.
같은 분야의 다른 소식
- 구글, Gmail 장애 소문에 정상 작동 공지
구글이 X에 Gmail이 정상 작동 중이라고 알렸어요. 최근 여러 IT 서비스 장애가 이어지자, 구글은 Gmail에 큰 문제가 보이지 않는다고 밝히며 실시간 상태 페이지를 확인해 보라고 했어요. 이번 소동은 Downdetector라는 사용자 신고 사이트의 글에서 시작됐어요.
TechCrunch · 11월 18일 06:34 KST - AWS 블로그: 생성형 AI 비용 줄이기, 규칙은 코드로 판단은 모델로
AWS 머신러닝 블로그는 생성형 AI 시스템에서 비용을 줄이려면 먼저 각 단계에 모델이 꼭 필요한지부터 물어봐야 한다고 설명해요. 입력 검사, 형식 변환, 경로 선택처럼 규칙으로 처리할 수 있는 단계는 모델 없이 일반 코드로 처리하면 돈과 시간을 아낄 수 있어요.
Amazon AWS Machine Learning blog · 11월 18일 06:14 KST - MS, 디시전 1.1 공개…LLM보다 10배 빠르고 비용은 200분의 1
마이크로소프트가 판단 작업에 특화된 결정 모델 '마이크로소프트 디시전 1.1'을 정식 출시했어요. 대규모언어모델(LLM)을 쓰는 것보다 빠르고 싸게 반복적인 판단을 처리해 기업의 AI 운영 비용을 낮추겠다는 전략이에요. 구글의 모델을 바탕으로 만들었어요.
지디넷코리아 · 11월 18일 06:09 KST - 메타 AI 책임자, 인스타그램에 올트먼 딥페이크 영상 올려 논란
메타의 최고 AI 책임자 알렉산드르 왕이 샘 올트먼 오픈AI 대표를 등장시킨 AI 영상을 인스타그램에 올렸어요. 메타의 AI 정책상 허용되는 내용이고, 메타 AI 에이전트 '뮤즈'를 홍보하려는 목적이었어요. 이런 가짜 사진과 영상이 실제 인물에게 피해를 줄 수 있다는 지적도 나와요.
The Verge · 11월 18일 06:00 KST