슈퍼마이크로, IBM·엔비디아와 AI 답변 속도 높이는 KV 캐시 솔루션 공개

한눈에 보기

슈퍼마이크로가 IBM, 엔비디아와 함께 AI가 답변을 시작하기까지 걸리는 시간을 줄이는 새 저장 솔루션을 발표했어요. KV 캐시는 AI가 이미 계산한 내용을 저장해 두었다가 다시 쓰는 임시 기억 공간(캐시)이에요. 긴 대화나 많은 문서를 다루는 기업용 AI에 도움이 된다고 해요.

핵심만 콕콕

1. 1

   이 솔루션은 슈퍼마이크로 스토리지 서버, IBM 저장 소프트웨어, 엔비디아 추론 소프트웨어와 네트워크 장비를 묶은 제품이에요.

2. 2

   회사가 밝힌 시험에서 13만 토큰 입력의 첫 답변 시간이 최대 56배 짧아졌다고 해요.

3. 3

   입력이 길어져도 캐시를 쓰면 답변 지연이 조금만 늘어 더 일정한 속도를 유지한다고 해요.

4. 4

   GPU를 더 늘리지 않고도 동시에 더 많은 요청을 처리하도록 돕는다고 해요.

왜 중요할까요?

긴 자료를 다루는 AI 서비스가 늘면서 답변 속도와 장비 효율이 중요해지고 있어요. 이번 발표는 그 병목을 줄이려는 시도예요.