로컬 AI
Local AI
멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.
조금 더 자세히
보통 AI 서비스는 내가 쓴 글을 인터넷으로 회사 서버에 보내 거기서 계산해요. 로컬 AI는 공개된 모델을 내려받아 내 기기에서 바로 돌려요. 그래서 자료가 밖으로 나가지 않고, 인터넷이 없어도 되고, 쓸 때마다 요금을 내지 않아도 돼요.
휴대폰이나 노트북에 들어 있는 작은 AI는 온디바이스 AI라고도 불러요. 다만 기기의 메모리와 칩이 버틸 수 있는 크기의 모델만 돌릴 수 있어서, 데이터센터의 큰 모델보다 실력이 떨어져요. 그래서 가벼운 일은 기기에서, 어려운 일은 서버에서 하도록 나눠 쓰는 경우가 많아요.
예를 들면
식당에 주문하는 대신 집에서 직접 해 먹는 것과 같아요. 재료가 밖으로 나가지 않고 배달을 기다릴 필요도 없지만, 집 주방으로 만들 수 있는 요리에는 한계가 있어요.
왜 알아 둘 만한가요
회사 기밀이나 건강 기록처럼 밖으로 보내기 꺼려지는 자료를 다룰 때 중요해요. 작아도 쓸 만한 모델이 늘면서 내 기기에서 돌리는 AI가 빠르게 퍼지고 있어요.
이렇게도 불러요로컬 모델, 로컬 LLM, 온디바이스 AI, 엣지 AI