NVIDIA, GPU 작업을 몇 초 만에 저장하고 복원하는 Snapshot 공개

한눈에 보기

NVIDIA가 GPU 작업 상태를 통째로 저장했다가 다시 불러오는 오픈소스 도구 Snapshot을 내놓았어요. 한 번 준비를 끝낸 AI 모델을 그대로 복사해 쓰는 방식이에요. 이렇게 하면 새로 켜지는 데 몇 분씩 걸리던 AI 서버가 몇 초 만에 일할 수 있어요.

핵심만 콕콕

1. 1

   AI 모델을 처음 켜 두는 준비 과정(콜드 스타트)은 보통 몇 분이 걸려요.

2. 2

   Snapshot은 CPU와 GPU 메모리 상태를 저장해 두고, 새 서버를 만들 때 그 상태에서 이어서 시작해요.

3. 3

   테스트에서는 복원에 3.6초에서 42.7초가 걸렸고, 처음부터 켜는 것보다 8배에서 36배 빨랐어요.

4. 4

   저장에는 모델 크기에 따라 15초에서 5분 30초가 걸리지만, 저장과 복원을 합친 시간도 모든 테스트에서 처음부터 켜는 시간보다 짧았어요.

왜 중요할까요?

AI 서비스는 사용자가 몰릴 때 서버를 빨리 늘려야 하고, 고장 나면 빨리 되살려야 해요. 이 도구는 그 대기 시간을 크게 줄여 줘요.