AI · 기사
AI 코딩 에이전트, 시험에선 최고점인데 실제 업무는 10%도 못 끝내
The Decoder ·

한눈에 보기
연구진이 AI 코딩 에이전트(코드를 스스로 짜고 고치는 AI)를 가상의 소프트웨어 회사에 '디지털 직원'으로 넣어 일을 맡겼어요. 동료, 프로젝트 보드, 채팅 기록이 있는 환경이었어요. 그런데 Claude Opus 5.5와 GPT-6 Astra도 과제를 끝까지 완수한 비율이 10%도 안 됐어요.
핵심 내용
- AI 코딩 에이전트는 표준 시험(벤치마크)에서 최고 점수에 가까워지고 있어요.
- 이번 실험에서는 처음으로 가상의 소프트웨어 회사 안에서 일하게 했어요.
- 회사에는 동료, 프로젝트 보드, 채팅 기록이 있었어요.
- Claude Opus 5.5와 GPT-6 Astra도 과제를 완전히 끝낸 비율이 10%보다 낮았어요.
왜 중요할까요?
표준 시험에서 높은 점수를 받아도 여러 사람과 얽힌 실제 업무를 해낸다는 뜻은 아니에요. 업무를 맡길 때 이 차이를 알아야 해요.
원문과 출처
AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace
The Decoder · 11월 23일 00:15 KST
The Decoder에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. The Decoder.
같은 분야의 다른 소식
- 케네디 상원의원, 젠슨 황 불륜 의혹 농담 뒤 칩 수출 규제 우회 질문
미국 상원의원 존 케네디가 엔비디아 전 최고경영자 젠슨 황의 보도된 불륜 의혹을 농담조로 언급했어요. 그는 이보다 중요한 문제로, 중국이 미국의 첨단 AI 칩 수출 규제를 어떻게 우회했는지 물었어요.
The Guardian · 11월 23일 04:34 KST - Cartesia의 H-Net, 기존 토큰화를 넘는 새 방식 나와
Cartesia의 H-Net은 AI가 글을 다루는 기존 방식인 토큰화(글을 작은 조각으로 나누는 과정)를 넘어서려는 새로운 방법이에요. 고정된 조각으로 나누는 대신 원시 바이트(컴퓨터가 쓰는 가장 작은 데이터 단위)를 스스로 묶는 법을 배워요. 영상에서는 선택한 시험에서 학습 효율이 최대 10배까지 좋아지고, 처음 보는 데이터도 더 잘 다룬다고 소개해요.
bycloud · 11월 23일 04:03 KST - OpenAI, 안전 이정표 맞춘 공동 AI 개발 한도 제안
OpenAI의 수석 과학자 Jakub Pachocki가 최첨단 AI를 만드는 회사들이 함께 개발 한도를 정하자고 제안했어요. 사전 학습(AI에게 방대한 글을 미리 가르치는 단계) 발전이 2027년쯤 빨라지면 AI 안전 연구가 따라가지 못할 수 있다고 경고했어요. 이 제안은 AI가 실제로 무엇을 할 수 있는지 확인하기 전까지 속도를 조절하자는 취지예요.
Unite.AI · 11월 23일 03:43 KST - 데이터 센터가 빅테크 반발의 중심에 선 이유
언론인 파리스 마크스가 새 책 『하이퍼스케일』에서 데이터 센터와 생성형 AI가 정치적 쟁점이 된 과정을 살펴봤어요. 마크스는 TechCrunch와의 인터뷰에서 데이터 센터 건설이 지속 불가능하다고 말했어요.
TechCrunch · 11월 23일 03:08 KST