AI · 공식 발표
에이전트를 평가 기준으로 키우는 방법, 평가 주도 개발 소개
LangChain blog ·

한눈에 보기
LangChain은 AI 에이전트를 만들 때 먼저 평가 기준(평가, eval)을 세우고 그에 맞춰 개발하는 '평가 주도 개발(EDD)'을 소개해요. 감으로 고쳐 쓰는 방식은 시간이 갈수록 좋아졌는지 판단하기 어려워지기 때문이에요. 이 글은 그 과정을 단계별로 설명해요.
핵심 내용
- EDD는 테스트 주도 개발(TDD)에서 빌려온 방식으로, 코드를 짜기 전에 성공 기준을 먼저 정해요.
- 에이전트는 같은 질문에도 답이 달라질 수 있고, 정답이 여러 개일 수 있어서 일반 테스트만으로는 부족해요.
- 첫 단계는 에이전트가 무엇을 해야 하고 하지 말아야 하는지 짧은 명세로 정하고, 한 번에 한 가지 행동만 다뤄요.
- 바꾼 뒤에는 실험 결과를 비교해요. 한 문제를 고치다 다른 문제가 생길 수 있어서예요.
왜 중요할까요?
AI 에이전트를 만드는 사람뿐 아니라, 이런 제품을 쓰는 사람도 성능이 실제로 나아졌는지 따져 볼 기준을 이해하는 데 도움이 돼요.
원문과 출처
What Is Eval-Driven Development? How to Improve AI Agents
LangChain blog · 11월 10일 01:23 KST
LangChain blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. LangChain blog.
같은 분야의 다른 소식
- 챗GPT 스페이스, 플러스 이용자에게 공개… 페이지·슬라이드 팀 공유
오픈AI가 20일(현지 시각) 챗GPT 스페이스를 플러스 이용자에게도 열었어요. 스페이스는 페이지, 슬라이드, 이미지, 파일을 모아 두는 새 홈이에요. 챗GPT와 함께 페이지를 만들고, 슬라이드로 바꾸고, 다른 사람을 초대해 함께 작업할 수 있어요.
AI 매터스 · 11월 21일 11:26 KST - Claude 도움으로 리만 가설 증명 주장, 검증 결과 주목
Wes Roth 영상은 Anthropic 연구원 레반트 알푀게(Levent Alpöge)가 AI 모델 Claude와 함께 리만 가설(수학의 오래된 미해결 문제)을 증명했다고 주장한 내용을 다뤄요. 거대한 Lean(수학 증명을 검사하는 프로그래밍 언어) 형식 증명, 수학자와 AI 안전 연구자들의 반응, AI와 수학의 미래에 대한 의미를 살펴봐요.
Wes Roth · 11월 21일 11:24 KST - 아마존 클라우드워치 옴니, 마이크로소프트 Azure 로그·지표·추적 수집 지원
Amazon CloudWatch Omni(클라우드 모니터링 서비스)가 이제 Azure 리소스 로그, Azure 플랫폼 지표, 가상 네트워크 흐름 로그, Application Insights 추적 기록을 모을 수 있어요. AWS와 Azure를 함께 쓰는 팀은 별도 도구나 직접 만든 연결 통로 없이 두 환경의 상태를 한곳에서 볼 수 있어요.
AWS What's New · 11월 21일 10:10 KST - AWS Quick, 채팅으로 흐름 만들고 에이전트끼리 협업
AWS Quick에 새 기능이 더해졌어요. 한 사람이 하던 업무 방식을 팀 전체가 같은 방식으로 쓸 수 있게 돕는 기능이에요. 이제 흐름(업무를 자동으로 처리하는 순서)을 채팅만으로 만들고 고칠 수 있어요. 여러 에이전트(AI가 대신 일을 처리하는 프로그램)가 함께 일해 더 완성도 높은 답을 내는 기능도 나왔어요.
Amazon AWS Machine Learning blog · 11월 21일 10:06 KST