본문 바로가기

벤치마크

AI 모델들의 실력을 같은 문제로 재서 비교하는 시험이에요.

Benchmark

어떤 개념인가요

새 모델이 나오면 수학·코딩·독해 같은 정해진 문제 묶음을 풀게 해서 점수를 내요. 이 문제 묶음과 채점 방법이 벤치마크예요. 점수를 모아 줄 세운 표를 리더보드라고 해요.

벤치마크는 편리하지만 한계도 있어요. 시험 문제가 학습 자료에 섞여 들어가면 점수가 부풀고, 시험 점수가 높아도 실제 일에서는 기대에 못 미칠 수 있어요.

예를 들면

자동차의 공인 연비와 같아요. 비교에는 쓸모 있지만 내가 실제로 몰 때의 연비와는 다를 수 있어요.

왜 알아둘 만한가요

'새 모델이 1위를 했다'는 뉴스는 대부분 벤치마크 이야기예요. 어떤 시험에서 1위인지, 실제 사용량은 어떤지 함께 봐야 해요.

성능 시험

LastAI에서 직접 보기

모델 벤치마크 순위시험 점수 대신 실제 사용량으로 보기

연결해서 읽을 개념

LLM(거대 언어 모델)아주 많은 글을 읽고 배워서, 다음에 올 말을 이어 쓰는 AI예요.추론 모델답을 바로 내지 않고, 단계별로 따져 본 뒤에 답하도록 만든 AI 모델이에요.토큰AI가 글을 읽고 쓸 때 쓰는 글 조각이에요. 사용량과 요금을 재는 단위이기도 해요.모델임베딩글이나 그림의 뜻을 숫자 묶음으로 바꾼 것이에요. 뜻이 비슷하면 숫자도 비슷해져요.확산 모델(디퓨전)지지직거리는 잡음에서 시작해 조금씩 다듬어 그림이나 영상을 만들어 내는 AI 방식이에요.

마이