AI 평가(에발) 입문, 첫 평가 세트 만드는 법 알려줘요

한눈에 보기

AI 에이전트가 실제로 잘 작동하는지 알아내는 방법인 AI 평가(에발, evals)를 다뤄요. 일반 소프트웨어 테스트와 무엇이 다른지 설명하고, 코드 검사·LLM 심사위원(다른 AI 모델이 답을 채점하는 방식)·사람 검토로 에이전트를 평가하는 흐름을 소개해요.

영상에서 다루는 내용

1. 1

   텍스트를 SQL 질의로 바꾸는 에이전트를 예로 들어 평가 세트를 직접 만들어 봐요.

2. 2

   오류 분석으로 무엇이 실패하는지 찾고, LLM 심사위원을 사람이 매긴 정답에 맞춰 조정해요.

3. 3

   평가 결과를 바탕으로 에이전트를 고친 뒤 평가를 다시 돌려 봐요.

왜 볼 만할까요?

AI가 그럴듯한 답을 내도 실제로 맞는지 확인하는 방법을 배우고 싶은 분께 맞아요.