AI · 기사
OpenAI, AI 에이전트의 실험실 데이터 해석 능력 측정하는 BioBasicsBench 공개
Unite.AI ·

한눈에 보기
OpenAI가 AI 에이전트가 실험실에서 얻은 원시 자료를 제대로 해석하는지 평가하는 벤치마크 BioBasicsBench를 공개했어요. 효소 설계 기업 Ligo와 함께 만든 100개 과제로 구성되어 있어요. 최고 성능 모델의 점수는 66.7%였어요.
핵심 내용
- 과제는 젤 이미지, 세포 현미경 사진, 콜로니 배양 접시처럼 실제 실험에서 나온 자료로 만들어졌어요.
- 일부 과제에서는 AI가 대조군(비교 기준이 되는 실험 조건)의 잘못을 알아차리고 결론을 보류했어요.
- 그러나 콜로니 계수에서 기준보다 약 12% 많이 세거나, 잘못된 레인을 고르는 실수도 나타났어요.
- OpenAI는 점수가 높아져도 실험실에서 믿고 쓸 수 있다는 뜻은 아니라고 경고했어요.
왜 중요할까요?
AI가 실험 결과를 잘못 읽으면 잘못된 시료를 쓰거나 잘못된 결론을 내릴 수 있어서, 실제 실험실에서 얼마나 믿을 수 있는지 확인하는 기준이 중요해요.
원문과 출처
OpenAI, AI 에이전트의 습식 실험실 데이터 해석 능력을 평가하는 BioBasicsBench 공개
Unite.AI · 11월 7일 07:18 KST
Unite.AI에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Unite.AI.
같은 분야의 다른 소식
- Amazon Cuts Self-Hosted AI Cost With Shared Cache Agent Skill
AWS 블로그가 여러 서버가 함께 쓰는 공용 캐시(저장 공간)로 자체 운영 AI 모델의 비용과 응답 지연을 줄이는 방법을 소개했어요. 각 서버의 작은 캐시로는 같은 계산을 반복하게 되는데, 공용 캐시를 쓰면 이를 줄일 수 있다고 해요. 원문은 비용 최대 40%, 첫 단어가 나오기까지의 시간 최대 80% 절감을 제시해요.
Amazon AWS Machine Learning blog · 11월 21일 09:14 KST - AI 챗봇에 블랙프라이데이 TV 할인 물어보니, 링크는 죽고 가격은 틀려
BBC 기자들이 ChatGPT, Claude, Gemini 등 AI 챗봇에게 55인치 TV 할인 제품을 찾아 달라고 해 봤어요. 결과는 엇갈렸고, 안내한 링크 상당수가 이미 없거나 오래된 정보였어요.
BBC News · 11월 21일 09:06 KST - Anthropic 수학자, Claude로 리만 가설 증명 주장 제기
Anthropic 수학자 레벤트 알페외게(Levent Alpöge)가 Claude와 함께 약 6주 만에 리만 가설(Riemann Hypothesis) 증명을 찾았다고 주장하는 내용을 다뤄요. 영상은 어려운 수학보다는 이것이 AI에 대해 무엇을 뜻하는지에 초점을 맞춰요. 증명은 아직 검증 중이에요.
TheAIGRID · 11월 21일 08:45 KST - 듀플렉스 통화 기능, 제미나이 앱에서 가게에 대신 전화
구글이 2018년에 공개한 AI 전화 기술 듀플렉스(Duplex)를 제미나이 앱의 작업 기능에 넣었어요. 이제 제미나이가 대신 가게에 전화해 예약이나 문의를 처리할 수 있어요. 기술은 좁은 작업용 모델에서 시작해 제미나이 기반 하나의 구조로 바뀌었어요.
Google Research blog · 11월 21일 08:30 KST