벤치마크
Benchmark
AI 모델들의 실력을 같은 문제로 재서 비교하는 시험이에요.
조금 더 자세히
새 모델이 나오면 수학·코딩·독해 같은 정해진 문제 묶음을 풀게 해서 점수를 내요. 이 문제 묶음과 채점 방법이 벤치마크예요. 점수를 모아 줄 세운 표를 리더보드라고 해요.
벤치마크는 편리하지만 한계도 있어요. 시험 문제가 학습 자료에 섞여 들어가면 점수가 부풀고, 시험 점수가 높아도 실제 일에서는 기대에 못 미칠 수 있어요.
예를 들면
자동차의 공인 연비와 같아요. 비교에는 쓸모 있지만 내가 실제로 몰 때의 연비와는 다를 수 있어요.
왜 알아 둘 만한가요
'새 모델이 1위를 했다'는 뉴스는 대부분 벤치마크 이야기예요. 어떤 시험에서 1위인지, 실제 사용량은 어떤지 함께 봐야 해요.
이렇게도 불러요성능 시험