GPU 한 대로 부족할 때: 두 대의 DGX Station으로 GLM-5.3 돌리기

한눈에 보기

GLM-5.3 NVFP4 모델은 용량이 커서 GPU 한 대에 다 들어가지 않아요. 이 글은 NVIDIA DGX Station 두 대를 고속 연결로 묶고 vLLM으로 한 개의 주소로 모델을 서비스하는 방법을 설명해요.

핵심만 콕콕

1. 1

   모델은 파라미터가 753B(7천5백3십억 개)이고, 용량은 약 464GB예요.

2. 2

   GPU 한 대의 메모리는 252GB라서 두 대를 나눠 써요.

3. 3

   두 대 모두 모든 요청을 함께 계산하고, OpenAI 호환 주소로 답을 줘요.

4. 4

   동시 요청이 16개일 때 초당 607.8토큰이 나오다가, 32개에서는 385.0토큰으로 떨어졌어요.

왜 중요할까요?

큰 AI 모델을 개인이나 소규모 팀이 직접 돌릴 때 필요한 장비 구성과 성능 한계를 보여줘요.