AI · 공식 발표
엔비디아, 긴 문맥 AI를 빠르게 하는 희소 어텐션 설계법 정리
NVIDIA Technical blog ·

한눈에 보기
엔비디아가 긴 글을 읽는 AI 모델을 빠르게 만드는 방법인 희소 어텐션(모델이 전체 글 중 일부에만 집중하는 기법) 설계 요령을 정리한 글이에요. 모델을 만드는 개발자를 위해 쓰였고, 엔비디아 GPU에서 어떤 설계가 잘 돌아가는지 실험 결과로 보여 줘요.
핵심 내용
- 긴 문서나 큰 코드 묶음은 수만에서 수십만 토큰으로 늘어나고, 이때 어텐션 계산이 가장 큰 비용이 돼요.
- 희소 어텐션은 각 질문이 수천 개의 핵심 키만 보게 하지만, 그 키를 고르는 인덱서는 여전히 모든 키를 점수 매겨요.
- DeepSeek V3.2 예시에서는 인덱서와 Top-k 선택이 프리필 층 처리 시간의 47%를 차지했어요.
- 디코딩 단계에서는 질의 헤드를 늘려도 메모리 읽기가 같아서 실행 시간이 거의 변하지 않았어요.
왜 중요할까요?
긴 문서와 큰 코드를 다루는 AI가 느리고 비싼 이유를 줄이는 설계라서, 실제 하드웨어에서 모델이 얼마나 빨리 돌아갈지를 좌우해요.
원문과 출처
Co-Designing Sparse Attention for Efficient Long-Context Inference
NVIDIA Technical blog · 11월 18일 02:30 KST
NVIDIA Technical blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. NVIDIA Technical blog.
같은 분야의 다른 소식
- Edge for Business, Ignite 2026서 에이전트 브라우징 공개
마이크로소프트가 Ignite 2026 행사에서 기업용 브라우저 Edge for Business의 새 기능을 발표했어요. AI 에이전트가 여러 웹사이트를 오가며 여러 단계 작업을 대신 끝내는 기능이 Cowork에 들어가 바로 쓸 수 있게 됐어요. 작업 과정을 기록해 재사용하는 기능은 올해 말 미리보기로 나올 예정이에요.
Microsoft Edge blog · 11월 18일 03:40 KST - 마이크로소프트, 코파일럿을 업무 새 운영체제로 내세워
마이크로소프트 CEO 사티아 나델라가 샌프란시스코에서 열린 행사 '이그나이트 2026'에서 AI 중심의 '프런티어 생태계'를 만들겠다고 밝혔어요. 핵심은 AI 도우미 코파일럿을 업무의 새 운영체제로 만들고, 회사마다 자기 AI 지식을 직접 쌓고 관리하게 하는 것이에요.
Microsoft On the Issues/blog (AI tag) · 11월 18일 03:36 KST - Claude 파이썬 SDK 2.10.0 공개, 오류 모델 이름 변경
Anthropic이 파이썬 개발자용 프로그램 도구(SDK, 개발자가 코드로 Claude를 쓸 수 있게 해 주는 라이브러리)의 2.10.0 버전을 공개했어요. 가장 큰 변화는 오류 데이터 모델의 이름을 바꾸고 옛 이름을 더는 권장하지 않게 한 거예요.
anthropics/anthropic-sdk-python 릴리스 · 11월 18일 03:28 KST - Claude 타입스크립트 SDK 1.10.0, 세션 버그 수정과 오류 모델 이름 변경
Anthropic이 타입스크립트용 개발 도구(SDK, 개발자가 코드에 Claude를 연결할 때 쓰는 도구) 1.10.0 버전을 냈어요. 세션 처리와 도구 실행의 여러 오류를 고치고, 일부 오류 데이터 모델의 이름을 바꾸면서 옛 이름은 더 이상 쓰지 않도록 표시했어요.
anthropics/anthropic-sdk-typescript 릴리스 · 11월 18일 03:28 KST