새 소식으로

AI · 공식 발표

Amazon Bedrock AgentCore에서 대용량 JSON 토큰 비용과 지연 줄이는 법

Amazon AWS Machine Learning blog ·

한눈에 보기

Flightscape는 항공사의 승무원과 운항을 관리하는 플랫폼이에요. 이 회사가 만든 승무원 교육 일정 AI 에이전트는 20MB가 넘는 JSON 데이터를 다룰 때 응답이 느리고 비용이 많이 들었어요. 그래서 모델에 보내는 데이터를 줄이는 세 가지 방법을 써서, 테스트에서 토큰 사용량을 최대 71%, 평균 응답 지연을 최대 80% 줄였어요.

핵심 내용

왜 중요할까요?

AI 에이전트에 데이터가 많이 들어가면 비용과 속도 문제가 생기는데, 이런 방법은 실제 서비스의 AI를 더 싸고 빠르게 만드는 데 도움이 돼요.

원문과 출처

Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads

Amazon AWS Machine Learning blog · 11월 18일 07:44 KST

Amazon AWS Machine Learning blog에서 원문 읽기 ↗

AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.

AI