양자화
Quantization
AI 모델 속 숫자를 덜 정밀하게 줄여서 모델을 작고 가볍게 만드는 기술이에요. 양자컴퓨터와는 관계없는 말이에요.
조금 더 자세히
모델은 수많은 숫자(파라미터)로 이루어져 있고, 숫자 하나하나를 아주 정밀하게 적어 두면 용량이 커져요. 양자화는 이 숫자를 조금 덜 정밀하게, 더 짧게 적는 방법이에요. 그러면 파일 크기와 필요한 메모리가 크게 줄어요.
덕분에 큰 모델을 보통 PC나 휴대폰에서도 돌릴 수 있어요. 누구나 내려받아 쓰도록 GGUF 같은 파일로 나눠 주는 모델은 대개 양자화한 것이에요. 다만 많이 줄일수록 답의 품질이 조금씩 떨어져요.
예를 들면
사진을 용량이 작은 파일로 저장하는 것과 같아요. 조금 흐려지지만 훨씬 가벼워져서 보내고 열기 쉬워요.
왜 알아 둘 만한가요
내 컴퓨터에서 AI를 직접 돌리는 사람이 늘면서 자주 보이는 말이에요. 같은 모델이라도 얼마나 줄였느냐에 따라 속도와 똑똑함이 달라진다는 점을 알아 두면 좋아요.
이렇게도 불러요모델 양자화