슈퍼마이크로, IBM·엔비디아와 AI 답변 속도 높이는 KV 캐시 솔루션 공개

한눈에 보기

슈퍼마이크로가 IBM, 엔비디아와 함께 AI가 답을 만들 때 쓰는 임시 계산 결과를 저장해 두는 KV 캐시 솔루션을 발표했어요. 같은 내용을 다시 계산하지 않고 재사용해 응답 시작이 빨라지고 GPU(AI 연산용 그래픽 칩)를 더 효율적으로 쓸 수 있다고 해요.

핵심만 콕콕

1. 1

   KV 캐시(AI가 이미 계산한 내용을 저장해 두는 공간)를 GPU 메모리 밖의 대용량 공유 저장장치에 두어 용량 한계를 넘었어요.

2. 2

   회사 측 테스트에서 긴 입력 글에 대해 첫 답변이 나오기까지 걸리는 시간이 최대 56배 짧아졌다고 했어요.

3. 3

   긴 글을 처리할 때 입력이 길어져도 응답 지연이 크게 늘지 않았다고 설명했어요.

4. 4

   공장에서 장비를 미리 조립해 배송하므로 구축 기간을 수 주에서 수일로 줄일 수 있다고 밝혔어요.

왜 중요할까요?

AI 서비스를 많은 기업이 쓰게 되면서 응답 속도와 장비 비용이 중요해지고 있어요. 이번 기술은 그 부담을 줄이는 방법으로 소개되었어요.