본문 바로가기

로컬 AI

멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.

Local AI

어떤 개념인가요

보통 AI 서비스는 내가 쓴 글을 인터넷으로 회사 서버에 보내 거기서 계산해요. 로컬 AI는 공개된 모델을 내려받아 내 기기에서 바로 돌려요. 그래서 자료가 밖으로 나가지 않고, 인터넷이 없어도 되고, 쓸 때마다 요금을 내지 않아도 돼요.

휴대폰이나 노트북에 들어 있는 작은 AI는 온디바이스 AI라고도 불러요. 다만 기기의 메모리와 칩이 버틸 수 있는 크기의 모델만 돌릴 수 있어서, 데이터센터의 큰 모델보다 실력이 떨어져요. 그래서 가벼운 일은 기기에서, 어려운 일은 서버에서 하도록 나눠 쓰는 경우가 많아요.

예를 들면

식당에 주문하는 대신 집에서 직접 해 먹는 것과 같아요. 재료가 밖으로 나가지 않고 배달을 기다릴 필요도 없지만, 집 주방으로 만들 수 있는 요리에는 한계가 있어요.

왜 알아둘 만한가요

회사 기밀이나 건강 기록처럼 밖으로 보내기 꺼려지는 자료를 다룰 때 중요해요. 작아도 쓸 만한 모델이 늘면서 내 기기에서 돌리는 AI가 빠르게 퍼지고 있어요.

로컬 모델, 로컬 LLM, 온디바이스 AI, 엣지 AI

연결해서 읽을 개념

오픈소스 모델누구나 내려받아 자기 컴퓨터에서 돌리고 고쳐 쓸 수 있게 공개한 AI 모델이에요.소형 언어 모델(SLM)크기를 줄여 휴대폰이나 PC에서도 돌아가게 만든 언어 모델이에요. 가볍고 빠르고 값이 싸요.양자화AI 모델 속 숫자를 덜 정밀하게 줄여서 모델을 작고 가볍게 만드는 기술이에요. 양자컴퓨터와는 관계없는 말이에요.NPU휴대폰이나 노트북 안에서 AI 계산을 전기를 적게 쓰며 처리하도록 만든 칩이에요.개인정보이름·연락처·얼굴·건강 기록처럼 누구인지 알아볼 수 있게 하는 정보예요.쓰는 법응답 속도(지연 시간)AI에게 묻고 나서 답이 나오기 시작할 때까지 걸리는 시간과, 답이 쏟아지는 빠르기예요.AI 안전AI가 사람에게 해를 끼치지 않고 사람이 바라는 대로 행동하게 만드는 연구와 장치를 통틀어 말해요.

마이