에이전트 고치기, 감으로 하지 말고 평가로 확인하세요

한눈에 보기

일반 소프트웨어 테스트는 코드가 돌아가는지만 확인해서 에이전트(스스로 판단하고 행동하는 AI 프로그램)를 시험하기에는 부족해요. 이 영상은 에이전트의 판단과 행동을 측정하는 평가(에벌류에이션, 성능을 점검하는 과정) 방법을 소개하는 강좌 안내예요.

영상에서 다루는 내용

1. 1

   에이전트가 남긴 추적 기록(트레이스, 작업 과정을 순서대로 적은 로그)을 읽어 반복되는 실패를 찾아요.

2. 2

   찾은 실패를 테스트 세트(반복 실행용 시험 문제 모음)로 만들어 변경할 때마다 다시 돌려 볼 수 있어요.

3. 3

   코드 기반 채점과 LLM 심사위원(다른 대형 언어 모델이 결과를 평가하는 방식)으로 평가를 자동화하는 방법을 다뤄요.

왜 볼 만할까요?

에이전트가 어디서 왜 틀리는지 감이 아닌 근거로 고치고 싶은 분께 도움이 돼요.