새 소식으로

AI · 기사

고대역폭 플래시 지연 줄이는 SlipStream, GPU 추론 속도 끌어올려

Semiconductor Engineering ·

한눈에 보기

조지아공대, 엔비디아 연구팀, 스탠퍼드대 연구진이 SlipStream이라는 논문을 냈어요. 대형 언어 모델(LLM)을 돌리는 GPU 시스템에서 고대역폭 플래시(HBF, 낸드 플래시를 쌓아 만든 대용량 메모리)를 쓸 수 있게 하는 방법이에요. 플래시는 용량이 크지만 반응이 느린 문제가 있어요.

핵심 내용

왜 중요할까요?

대형 AI 모델은 GPU에 다 들어가지 않는 메모리 문제가 커서, 싸고 큰 플래시 메모리를 충분히 빠르게 쓸 수 있는지가 AI 운영 비용을 가를 수 있어요.

원문과 출처

Reducing High-Bandwidth Flash Latency In GPU Systems (Georgia Tech, Nvidia, Stanford)

Semiconductor Engineering · 11월 17일 08:52 KST

Semiconductor Engineering에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Semiconductor Engineering.

AI