본문 바로가기

NPU

휴대폰이나 노트북 안에서 AI 계산을 전기를 적게 쓰며 처리하도록 만든 칩이에요.

Neural Processing Unit

어떤 개념인가요

큰 AI는 멀리 있는 데이터센터의 GPU에서 돌아가요. NPU는 그보다 작은 AI를 기기 안에서 바로 돌리려고 만든 칩이에요. 사진 보정, 실시간 통역, 음성 받아쓰기 같은 일을 맡아요.

기기 안에서 처리하면 인터넷이 없어도 되고, 내 자료를 바깥으로 보내지 않아도 되고, 반응이 빨라요. 이런 방식을 온디바이스 AI라고 불러요.

예를 들면

모든 요리를 큰 식당에 시켜 먹는 대신, 간단한 것은 집의 작은 주방에서 바로 해 먹는 것과 같아요.

왜 알아둘 만한가요

'AI 폰', 'AI PC'라는 이름이 붙는 기기에는 대부분 NPU가 들어 있어요. 개인 정보를 지키면서 AI를 쓰는 길이기도 해요.

신경망 처리 장치, 온디바이스 AI 칩

연결해서 읽을 개념

로컬 AI멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.AI 반도체AI 계산을 빠르게 하려고 만든 반도체를 통틀어 이르는 말이에요. GPU가 대표적이에요.GPU같은 계산을 아주 많이, 한꺼번에 해내는 칩이에요. AI를 가르치고 돌리는 데 가장 많이 쓰여요.소형 언어 모델(SLM)크기를 줄여 휴대폰이나 PC에서도 돌아가게 만든 언어 모델이에요. 가볍고 빠르고 값이 싸요.반도체ASIC(맞춤형 칩)한 가지 일만 잘하도록 맞춰 설계한 칩이에요. 큰 기술 회사들이 자기 AI에 맞춰 직접 만드는 칩이 대표적이에요.메모리 반도체정보를 담아 두는 반도체예요. 잠깐 담는 D램과 오래 보관하는 낸드플래시가 대표적이에요.

마이