AI · 공식 발표
Amazon Bedrock AgentCore에서 대용량 JSON 토큰 비용과 지연 줄이는 법
Amazon AWS Machine Learning blog ·

한눈에 보기
Flightscape는 항공사의 승무원과 운항을 관리하는 플랫폼이에요. 이 회사가 만든 승무원 교육 일정 AI 에이전트는 20MB가 넘는 JSON 데이터를 다룰 때 응답이 느리고 비용이 많이 들었어요. 그래서 모델에 보내는 데이터를 줄이는 세 가지 방법을 써서, 테스트에서 토큰 사용량을 최대 71%, 평균 응답 지연을 최대 80% 줄였어요.
핵심 내용
- Flightscape의 승무원 일정 에이전트는 Amazon Bedrock AgentCore 위에서 돌아가는데, 평균 응답이 15초를 넘었어요.
- 도구를 한 번 쓸 때마다 전체 데이터가 AI 모델에 들어가서 토큰 수와 비용이 올라갔어요.
- 팀은 대화 한 차례마다 모델에 넘기는 데이터를 줄이는 세 가지 전략을 적용했어요.
- 23MB 샘플 데이터로 테스트한 결과, 토큰 사용은 최대 71%, 평균 지연은 최대 80% 줄었어요.
왜 중요할까요?
AI 에이전트에 데이터가 많이 들어가면 비용과 속도 문제가 생기는데, 이런 방법은 실제 서비스의 AI를 더 싸고 빠르게 만드는 데 도움이 돼요.
원문과 출처
Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads
Amazon AWS Machine Learning blog · 11월 18일 07:44 KST
Amazon AWS Machine Learning blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.
같은 분야의 다른 소식
- ChatGPT로 일상 잡무 관리하는 숨은 활용법
OpenAI 연구자 Isa F.가 ChatGPT로 일상 잡무를 관리하는 방법을 짧게 소개해요. 세부 사항을 챙기고 다음 미용실 예약 시간을 잡는 데 쓴다고 해요.
OpenAI 공식 YouTube · 11월 18일 09:06 KST - Ofqual, AI·스마트 안경 부정행위 학생에 자격 박탈 등 강력 처벌 촉구
영국 시험 규제기관 Ofqual은 AI나 스마트 안경으로 부정행위를 하다 걸린 학생이 GCSE, A-레벨 같은 자격을 통째로 잃을 수 있다고 경고했어요. 이 자격 시험은 영국 학생들이 치르는 중요한 시험이에요.
The Guardian · 11월 18일 09:01 KST - 클로드 코드(Claude Code), GTA VI 미션 120개·플레이 150시간 이상 추산
한 사용자가 클로드 코드에게 GTA VI 자료를 분석해 달라고 했고, 클로드 코드가 게임 규모를 추정했다고 주장했어요. 사용자는 PS5를 리모트 플레이로 연결해 자료 214개를 모았다고 해요. 추정치는 락스타 게임즈가 확인하지 않았어요.
GameGPU · 11월 18일 08:44 KST - 나델라 MS CEO, AGI가 경제·정치 바꿀 것이라고 말해
마이크로소프트 CEO 사티아 나델라가 AI가 경제 구조와 정치를 크게 바꿀 수 있다고 말했어요. 그는 Claude 같은 최첨단 AI 모델이 의식이 있다고 생각하지 않는다고 밝혔어요.
The Verge · 11월 18일 08:41 KST