AI · 기사
구글, TPU 메모리 전송 빠르게 하는 TPU Sync 공개
Google Cloud ·

한눈에 보기
구글이 TPU 칩 여러 대에 걸쳐 AI 모델의 메모리 상태를 빠르게 옮기는 오픈소스 라이브러리 TPU Sync를 공개했어요. AI 추론(AI가 답을 만들어 내는 과정)과 강화 학습(시행착오로 AI를 개선하는 방식)에서 칩이 데이터를 기다리며 놀지 않도록 하는 것이 목표예요. 구글은 일부 시험에서 KV 캐시(대화 중 기억해 둔 계산 결과) 전송 지연이 90% 이상 줄었다고 밝혔어요.
핵심 내용
- TPU Sync는 칩 메모리, 호스트 RAM, 공유 스토리지 사이에서 AI의 대화 기억 데이터를 계산을 멈추지 않고 옮겨요.
- 오래된 기억 데이터를 더 큰 호스트 메모리로 넘겨, AI가 앞서 한 계산을 다시 하지 않도록 해요.
- 질문을 처리하는 기계와 답을 쓰는 기계를 나눠도 데이터 전송 부담을 90% 넘게 줄였다고 해요.
- 모델 가중치(AI의 학습된 값)를 학습 장치에서 실행 장치로 보내는 강화 학습 기능은 실험용이라 저장소에 모듈 형태로만 들어 있어요.
왜 중요할까요?
AI가 메모리를 빨리 옮기면 답이 빨라지고 비싼 칩을 덜 놀릴 수 있어요. 대규모 AI를 운영하는 개발자에게 특히 중요해요.
원문과 출처
TPU Sync 소개: TPU에서 추론 및 RL을 위한 빠른 KV 캐시 및 가중치 전송
Google Cloud · 11월 17일 15:09 KST
Google Cloud에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Google Cloud.
같은 분야의 다른 소식
- 구글 검색창 옆 검색 버튼 빼고 AI 사이드바 추가
구글이 테스트를 거친 새 데스크톱 검색 첫 화면을 정식으로 내놓았어요. 검색창 옆의 '구글 검색' 버튼이 사라지고, 그 자리에 AI 기능 버튼들이 들어왔어요. 로그인한 사용자는 왼쪽 사이드바에서 최근 AI 모드 대화를 다시 열어볼 수 있어요.
Ars Technica · 11월 21일 06:58 KST - 메타, AI 데이터센터 배출 급증에 2030년 넷제로 목표 재검토
메타가 2026년 지속가능성 보고서에서 2030년 탄소 순배출 제로(넷제로) 목표를 다시 검토하고 있다고 밝혔어요. 2025년 온실가스 배출량은 전년보다 약 40% 늘어 미국 대형 기술 기업 중 가장 큰 증가율을 보였어요.
Ars Technica · 11월 21일 06:47 KST - Anthropic 수학자 "클로드가 리만 가설 증명 도왔다" 주장
Anthropic의 수학자 레벤트 알푀게가 AI 시스템 클로드(Claude)와 함께 리만 가설을 증명했다고 주장했어요. 그는 일반 수학 논문 대신 4쪽짜리 글을 개인 웹사이트에 올리고, 결과를 확인할 수 있다는 컴퓨터 코드를 연결했어요. 아직 검증된 것은 아니에요.
The New York Times · 11월 21일 06:47 KST - 디자이너들 "Ssense 사이트에서 옷이 실제와 다르게 보여"
디자이너 리스 쿠퍼는 자신의 브랜드 RCOS 패딩 코트가 명품 쇼핑몰 Ssense 사이트에서 왜곡되어 보인다고 알렸어요. 가슴의 고리 장식이 실제보다 훨씬 크게 그려졌다고 했어요. Ssense는 일부 사진이 '가상 착용(옷을 입은 모습을 컴퓨터로 만든 기능)' 기술로 만들어졌다고 밝혔지만, AI를 쓰는지는 답하지 않았어요.
The New York Times · 11월 21일 06:16 KST