새 소식으로

AI · 기사

AI 코딩 에이전트, 시험에선 최고점인데 실제 업무는 10%도 못 끝내

The Decoder ·

한눈에 보기

연구진이 AI 코딩 에이전트(코드를 스스로 짜고 고치는 AI)를 가상의 소프트웨어 회사에 '디지털 직원'으로 넣어 일을 맡겼어요. 동료, 프로젝트 보드, 채팅 기록이 있는 환경이었어요. 그런데 Claude Opus 5.5와 GPT-6 Astra도 과제를 끝까지 완수한 비율이 10%도 안 됐어요.

핵심 내용

왜 중요할까요?

표준 시험에서 높은 점수를 받아도 여러 사람과 얽힌 실제 업무를 해낸다는 뜻은 아니에요. 업무를 맡길 때 이 차이를 알아야 해요.

원문과 출처

AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace

The Decoder · 11월 23일 00:15 KST

The Decoder에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. The Decoder.

AI