슈퍼마이크로·IBM·엔비디아, AI 첫 응답 최대 56배 빠르게

한눈에 보기

슈퍼마이크로가 IBM, 엔비디아와 함께 AI가 답을 만들 때 쓰는 임시 정보를 외부 저장장치에 보관하는 새 솔루션을 내놓았어요. 같은 내용을 반복 계산하지 않아 응답 속도와 처리량을 높이는 것이 목표예요.

핵심만 콕콕

1. 1

   AI가 긴 글을 처리할 때 생기는 KV 캐시(AI가 계산한 중간 정보 묶음)를 GPU 밖 공유 저장장치에 보관해요.

2. 2

   공동 테스트에서 1200억 개 매개변수 모델이 13만 토큰 입력의 첫 응답을 최대 56배 빨리 냈어요.

3. 3

   입력이 3만에서 13만 토큰으로 늘었을 때 캐시를 쓴 쪽은 응답 지연이 0.377초 늘었지만, 쓰지 않은 쪽은 29.55초 늘었어요.

4. 4

   여러 GPU가 캐시를 함께 쓸 수 있고, 서비스를 멈추지 않고 저장 용량을 늘릴 수 있다고 해요.

왜 중요할까요?

AI 서비스가 긴 문서와 대화를 다루면서 응답이 느려지는 문제를 줄이고, 같은 장비로 더 많은 요청을 처리할 수 있어 비용 효율과 관련이 있어요.