학습과 추론
학습은 AI가 자료로 배우는 단계, 추론은 배운 AI가 실제로 답을 내는 단계예요.
Training and Inference
어떤 개념인가요
학습은 엄청난 양의 자료를 보여 주며 모델 안의 숫자를 조금씩 고쳐 가는 과정이에요. 큰 모델 하나를 학습시키는 데는 수많은 고성능 칩과 긴 시간, 큰 전기가 들어요.
추론은 학습을 마친 모델에 질문을 넣고 답을 받는 일이에요. 우리가 AI 서비스를 쓸 때마다 일어나는 일이 추론이에요. 한 번의 비용은 작지만 쓰는 사람이 많아지면 전체 비용은 학습보다 커져요.
예를 들면
학습은 시험공부, 추론은 시험을 보는 것이에요. 공부는 한 번 길게 하지만 시험은 매일 봐요.
왜 알아둘 만한가요
AI 회사가 데이터센터와 칩에 큰돈을 쓰는 이유가 여기에 있어요. 뉴스에 나오는 '추론 비용'은 서비스를 돌리는 데 드는 돈을 뜻해요.
학습, 추론, 훈련, 인퍼런스
