결정 모델로 AgentCore 평가하기

한눈에 보기

AWS는 AI 에이전트를 평가하는 도구인 Amazon Bedrock AgentCore Evaluations에 결정 모델을 연결하는 방법을 소개했어요. 결정 모델은 정해진 답 중에서 고르고 확률을 함께 내는 작은 전문 모델이에요. 이 글은 외부 결정 모델 두 가지를 평가 도구에 연결하는 방법을 다뤄요.

핵심만 콕콕

1. 1

   결정 모델은 자유로운 글 대신 정해진 선택지 중 하나를 고르고, 그 확신도를 확률로 알려줘요.

2. 2

   AgentCore Evaluations는 기본 평가 도구 15개와 직접 만든 평가 도구를 함께 쓸 수 있어요.

3. 3

   직접 만든 평가 도구는 AI 판정 방식이나 AWS 람다(코드를 실행하는 서비스) 방식으로 만들 수 있어요.

4. 4

   결정 모델은 여러 질문을 한 번에 빠르게 거르는 용도로 쓰고, 자세한 점검이 필요한 부분만 기본 평가 도구로 살펴볼 수 있어요.

왜 중요할까요?

에이전트가 정책을 지켰는지, 도구 사용이 안전한지처럼 답이 분명한 질문을 일정하게 점검하는 방법을 알려 주기 때문이에요.