엔비디아, 에이전트용 쿠버네티스 확장 기술 'Agent Substrate' 공개

한눈에 보기

엔비디아가 AI 에이전트를 대규모로 돌리기 위한 오픈소스 런타임 Agent Substrate를 소개했어요. 이 기술은 쉬고 있는 에이전트의 상태를 저장해 두었다가 빈 작업 공간에 다시 불러와, 적은 수의 서버로 많은 에이전트 세션을 처리해요. 이 프로젝트는 클라우드 네이티브 재단(CNCF)의 샌드박스 프로젝트로 기부되었어요.

핵심만 콕콕

1. 1

   AI 에이전트는 대부분의 시간을 사람의 입력이나 모델 응답을 기다리며 쉬어요.

2. 2

   Agent Substrate는 쉬는 세션의 메모리와 파일 상태를 저장했다가, 다음 요청이 오면 비어 있는 워커에 복원해요.

3. 3

   코딩 도우미, 강화학습 후처리, 짧게 쓰는 GPU 샌드박스 세 가지 작업에 맞춰져 있어요.

4. 4

   엔비디아의 추론 도구 Dynamo와 GPU 스케줄러 KAI Scheduler와 함께 동작해요.

왜 중요할까요?

에이전트 서비스를 운영하는 기업은 서버 비용과 응답 속도를 함께 잡아야 해요. 이 기술은 쉬는 시간의 낭비를 줄여 그 비용 문제를 푸는 방향을 보여 줘요.