아마존 베드록 AI 비용을 바꾸는 요청 설정 네 가지

한눈에 보기

아마존 베드록(AWS의 AI 서비스)에서 프롬프트를 다듬어도 비용이 계속 오를 수 있어요. 요청마다 정하는 설정에 따라 처리되는 토큰 수나 적용되는 요금이 달라져요. 이 글은 캐시 유지 시간, 서비스 등급, 추론 강도(추론은 AI가 답을 만들어 내는 과정), 최대 출력 길이를 다뤄요.

핵심만 콕콕

1. 1

   프롬프트 캐시는 반복되는 지시문을 저장해 두는 기능이에요. 캐시가 만료되면 같은 내용을 다시 처리하게 돼요.

2. 2

   캐시 유지 시간은 5분과 1시간 중에 고를 수 있어요. 1시간짜리가 항상 싼 것은 아니고, 요청 간격에 따라 달라져요.

3. 3

   요청 사이가 5분보다 길면 5분 캐시는 매번 다시 저장해야 해서 오히려 비용이 늘어요.

4. 4

   캐시는 같은 내용이 앞부분에 있을 때 잘 작동하고, 일괄 처리 방식에서는 쓸 수 없어요.

왜 중요할까요?

같은 모델과 프롬프트를 써도 설정 하나로 청구액이 달라질 수 있어서, 비용을 줄이려는 개발자와 운영자에게 중요해요.