AI · 영상
LastAI 판정기 정확도 65%… 작은 질문으로 AI 검증 개선
AI Engineer ·
한눈에 보기
ZoomInfo의 엔지니어 Brian Kennedy가 AI 에이전트의 작업을 검사하는 LLM 판정기(LLM judge, AI가 다른 AI의 결과를 평가하는 도구)가 실제로는 얼마나 정확한지 살펴보는 영상이에요. 판정기가 에이전트가 주장한 내용을 실제 도구 결과보다 더 믿는 문제를 다뤄요.
핵심 내용
- 500개 실제 작업 단계를 점검했더니 판정기가 65%만 맞았어요.
- 한 번에 '이게 좋은가?'를 묻는 대신 작은 예/아니요 질문 7개로 나눠 확인하는 방식을 소개해요.
- 37,000건의 결정을 그림자 모드(실제 적용 없이 결과만 비교하는 방식)로 시험했더니 실패한 도구를 두 배 더 잡았어요.
- 같은 방식이 10배 빠르고 40배 저렴했다고 설명해요.
왜 중요할까요?
AI 에이전트를 만들거나 운영하면서 결과를 자동으로 검증하려는 개발자와 제품 담당자에게 도움이 돼요.
원문과 출처
Your LLM Judge Is Hallucinating Too — Brian Kennedy, ZoomInfo
AI Engineer · 11월 17일 05:16 KST
YouTube에서 보기 ↗AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. AI Engineer.
같은 분야의 다른 소식
- Amazon Cuts Self-Hosted AI Cost With Shared Cache Agent Skill
AWS 블로그가 여러 서버가 함께 쓰는 공용 캐시(저장 공간)로 자체 운영 AI 모델의 비용과 응답 지연을 줄이는 방법을 소개했어요. 각 서버의 작은 캐시로는 같은 계산을 반복하게 되는데, 공용 캐시를 쓰면 이를 줄일 수 있다고 해요. 원문은 비용 최대 40%, 첫 단어가 나오기까지의 시간 최대 80% 절감을 제시해요.
Amazon AWS Machine Learning blog · 11월 21일 09:14 KST - AI 챗봇에 블랙프라이데이 TV 할인 물어보니, 링크는 죽고 가격은 틀려
BBC 기자들이 ChatGPT, Claude, Gemini 등 AI 챗봇에게 55인치 TV 할인 제품을 찾아 달라고 해 봤어요. 결과는 엇갈렸고, 안내한 링크 상당수가 이미 없거나 오래된 정보였어요.
BBC News · 11월 21일 09:06 KST - Anthropic 수학자, Claude로 리만 가설 증명 주장 제기
Anthropic 수학자 레벤트 알페외게(Levent Alpöge)가 Claude와 함께 약 6주 만에 리만 가설(Riemann Hypothesis) 증명을 찾았다고 주장하는 내용을 다뤄요. 영상은 어려운 수학보다는 이것이 AI에 대해 무엇을 뜻하는지에 초점을 맞춰요. 증명은 아직 검증 중이에요.
TheAIGRID · 11월 21일 08:45 KST - 듀플렉스 통화 기능, 제미나이 앱에서 가게에 대신 전화
구글이 2018년에 공개한 AI 전화 기술 듀플렉스(Duplex)를 제미나이 앱의 작업 기능에 넣었어요. 이제 제미나이가 대신 가게에 전화해 예약이나 문의를 처리할 수 있어요. 기술은 좁은 작업용 모델에서 시작해 제미나이 기반 하나의 구조로 바뀌었어요.
Google Research blog · 11월 21일 08:30 KST