본문 바로가기

소형 언어 모델(SLM)

크기를 줄여 휴대폰이나 PC에서도 돌아가게 만든 언어 모델이에요. 가볍고 빠르고 값이 싸요.

Small Language Model

어떤 개념인가요

큰 언어 모델은 데이터센터의 비싼 칩에서 돌아가요. 소형 언어 모델은 파라미터 수를 크게 줄여서 노트북이나 휴대폰 안에서도 돌 수 있게 만든 모델이에요. 답이 빨리 나오고, 쓰는 데 드는 돈과 전기가 적어요.

아는 것이 적고 복잡한 문제에는 약하지만, 문서를 종류별로 가려내기나 간단한 요약, 정해진 형식으로 답하기처럼 범위가 좁은 일은 충분히 해내요. 그래서 쉬운 일은 작은 모델에, 어려운 일은 큰 모델에 맡기는 식으로 나눠 쓰는 일이 많아졌어요.

예를 들면

모든 짐을 큰 화물차로 나를 필요는 없어요. 동네 배달은 작은 오토바이가 더 빠르고 싸요.

왜 알아둘 만한가요

내 자료를 밖으로 보내지 않고 기기 안에서 AI를 쓸 수 있게 해 줘요. AI에 드는 돈을 줄이려는 회사들이 '꼭 큰 모델이어야 하나'를 따지면서 관심이 커졌어요.

SLM, 소형 모델, 경량 모델

연결해서 읽을 개념

LLM(거대 언어 모델)아주 많은 글을 읽고 배워서, 다음에 올 말을 이어 쓰는 AI예요.파라미터(매개변수)AI 모델 안에 들어 있는, 학습으로 정해진 숫자들이에요. 보통 모델의 크기를 나타내요.양자화AI 모델 속 숫자를 덜 정밀하게 줄여서 모델을 작고 가볍게 만드는 기술이에요. 양자컴퓨터와는 관계없는 말이에요.로컬 AI멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.NPU휴대폰이나 노트북 안에서 AI 계산을 전기를 적게 쓰며 처리하도록 만든 칩이에요.모델추론 모델답을 바로 내지 않고, 단계별로 따져 본 뒤에 답하도록 만든 AI 모델이에요.오픈소스 모델누구나 내려받아 자기 컴퓨터에서 돌리고 고쳐 쓸 수 있게 공개한 AI 모델이에요.

마이