AI · 공식 발표
엔비디아, 긴 문맥 AI를 빠르게 하는 희소 어텐션 설계법 정리
NVIDIA Technical blog ·

한눈에 보기
엔비디아가 긴 글을 읽는 AI 모델을 빠르게 만드는 방법인 희소 어텐션(모델이 전체 글 중 일부에만 집중하는 기법) 설계 요령을 정리한 글이에요. 모델을 만드는 개발자를 위해 쓰였고, 엔비디아 GPU에서 어떤 설계가 잘 돌아가는지 실험 결과로 보여 줘요.
핵심 내용
- 긴 문서나 큰 코드 묶음은 수만에서 수십만 토큰으로 늘어나고, 이때 어텐션 계산이 가장 큰 비용이 돼요.
- 희소 어텐션은 각 질문이 수천 개의 핵심 키만 보게 하지만, 그 키를 고르는 인덱서는 여전히 모든 키를 점수 매겨요.
- DeepSeek V3.2 예시에서는 인덱서와 Top-k 선택이 프리필 층 처리 시간의 47%를 차지했어요.
- 디코딩 단계에서는 질의 헤드를 늘려도 메모리 읽기가 같아서 실행 시간이 거의 변하지 않았어요.
왜 중요할까요?
긴 문서와 큰 코드를 다루는 AI가 느리고 비싼 이유를 줄이는 설계라서, 실제 하드웨어에서 모델이 얼마나 빨리 돌아갈지를 좌우해요.
원문과 출처
Co-Designing Sparse Attention for Efficient Long-Context Inference
NVIDIA Technical blog · 11월 18일 02:30 KST
NVIDIA Technical blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. NVIDIA Technical blog.
같은 분야의 다른 소식
- AI를 시연에서 실제 업무로 옮기는 AWS 엔지니어 지원 서비스 공개
AWS가 고객사에 엔지니어를 보내 AI를 시연 단계에서 실제 업무에 쓰도록 돕는 서비스(AWS Forward Deployed Engineering, FDE)를 15개국에 내놓았다고 알렸어요. 글쓴이는 AI 모델보다 데이터, 업무 규칙, 관리 체계가 더 큰 걸림돌이라고 말해요.
Amazon AWS Machine Learning blog · 11월 18일 04:05 KST - 구글, Gemini 작업 기능 확대…전화 걸고 결제까지 대신해
구글이 Gemini 앱의 '작업(Tasks)' 기능을 더 많은 사람에게 열어요. 이 기능을 켜면 Gemini가 대화만 하는 것이 아니라 직접 일을 처리해요. 구글은 이 기능을 많은 사용자에게 무료로 제공한다고 밝혔어요.
TechCrunch · 11월 18일 04:02 KST - 구글 AI 에이전트 Spark, 'Tasks'로 이름 바꾸고 무료 공개
구글이 AI 에이전트(사용자를 대신해 일을 처리하는 AI) 'Spark'의 이름을 'Tasks'로 바꾸고 무료로 풀었어요. Tasks는 식단 짜기, 일정 관리, 반복되는 지출 찾기 같은 일을 맡아요. 새 AI 모델 Gemini 4 Hydrogen을 기반으로 해요.
The Verge · 11월 18일 03:58 KST - 아마존, 왓츠앱 AI 에이전트 쉽게 만드는 SMART 공개
아마존이 아마존 베드록 에이전트코어(AI 에이전트를 만들고 운영하는 AWS 플랫폼)에서 돌아가는 AI 에이전트를 왓츠앱에 연결해 주는 오픈소스 도구 SMART를 내놨어요. 개발자는 에이전트의 로직만 만들고, 메시지 수신·미디어 처리·대화 기억·예약 발송 같은 연결 부분은 SMART가 맡아요. 명령어 하나로 전체 인프라를 AWS 계정에 배포할 수 있다고 해요.
Amazon AWS Machine Learning blog · 11월 18일 03:48 KST