구글, 시각 자료가 많은 실무 과제를 재는 새 평가 기준 MKA 공개

한눈에 보기

구글 딥마인드가 아티피셜 애널리시스와 함께 MKA(멀티모달 지식 에이전트) 벤치마크를 내놓았어요. 이 기준은 설계도, 회로도, 보고서, 표처럼 그림과 배치가 중요한 실제 업무를 AI 에이전트(스스로 여러 단계를 수행하는 AI)가 얼마나 잘 해내는지 재요. 기준에는 10개 분야 83개 직업의 전문가가 만든 200개 과제가 들어 있어요.

핵심만 콕콕

1. 1

   각 과제는 숙련자가 3~8시간 걸리는 여러 단계 작업이고, 약 70개의 예/아니요 체크 항목으로 채점해요.

2. 2

   채점은 사실 정확성 75%, 시각 디자인 25% 비율로 이뤄져요.

3. 3

   채점은 구글이 아닌 다른 회사의 AI가 파일을 열고 페이지를 그려 보며 맡아요. 전문가가 직접 채점한 결과와 96% 일치했어요.

4. 4

   공개 과제 10개는 허깅페이스에서 볼 수 있고, 200개 과제는 비공개로 유지해요.

왜 중요할까요?

AI가 글만이 아니라 그림과 문서 배치까지 읽고 실무를 해내는지 가늠할 수 있는 기준이 생겼어요. 같은 과제에서도 모델마다 작업 횟수 차이가 커서 효율을 비교하는 데도 쓰여요.