AI · 공식 발표
Amazon Bedrock AgentCore에서 대용량 JSON 토큰 비용과 지연 줄이는 법
Amazon AWS Machine Learning blog ·

한눈에 보기
Flightscape는 항공사의 승무원과 운항을 관리하는 플랫폼이에요. 이 회사가 만든 승무원 교육 일정 AI 에이전트는 20MB가 넘는 JSON 데이터를 다룰 때 응답이 느리고 비용이 많이 들었어요. 그래서 모델에 보내는 데이터를 줄이는 세 가지 방법을 써서, 테스트에서 토큰 사용량을 최대 71%, 평균 응답 지연을 최대 80% 줄였어요.
핵심 내용
- Flightscape의 승무원 일정 에이전트는 Amazon Bedrock AgentCore 위에서 돌아가는데, 평균 응답이 15초를 넘었어요.
- 도구를 한 번 쓸 때마다 전체 데이터가 AI 모델에 들어가서 토큰 수와 비용이 올라갔어요.
- 팀은 대화 한 차례마다 모델에 넘기는 데이터를 줄이는 세 가지 전략을 적용했어요.
- 23MB 샘플 데이터로 테스트한 결과, 토큰 사용은 최대 71%, 평균 지연은 최대 80% 줄었어요.
왜 중요할까요?
AI 에이전트에 데이터가 많이 들어가면 비용과 속도 문제가 생기는데, 이런 방법은 실제 서비스의 AI를 더 싸고 빠르게 만드는 데 도움이 돼요.
원문과 출처
Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads
Amazon AWS Machine Learning blog · 11월 18일 07:44 KST
Amazon AWS Machine Learning blog에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Amazon AWS Machine Learning blog.
같은 분야의 다른 소식
- 엔비디아, 젠슨 황 사퇴 뒤에도 매출 급성장 전망 유지
엔비디아가 3분기 매출 1158억 달러(약 150조 원)를 올렸다고 밝혔어요. 전년 같은 분기보다 103% 늘었고 회사 예상치도 웃돌았어요. 젠슨 황 CEO가 물러난 뒤 처음 맞은 실적 발표예요.
TechCrunch · 11월 18일 09:16 KST - ChatGPT로 일상 잡무 관리하는 숨은 활용법
OpenAI 연구자 Isa F.가 ChatGPT로 일상 잡무를 관리하는 방법을 짧게 소개해요. 세부 사항을 챙기고 다음 미용실 예약 시간을 잡는 데 쓴다고 해요.
OpenAI 공식 YouTube · 11월 18일 09:06 KST - Ofqual, AI·스마트 안경 부정행위 학생에 자격 박탈 등 강력 처벌 촉구
영국 시험 규제기관 Ofqual은 AI나 스마트 안경으로 부정행위를 하다 걸린 학생이 GCSE, A-레벨 같은 자격을 통째로 잃을 수 있다고 경고했어요. 이 자격 시험은 영국 학생들이 치르는 중요한 시험이에요.
The Guardian · 11월 18일 09:01 KST - OpenAI, GPT-6.2 Astra와 GPT-6.2 Sol 출시
OpenAI가 새 AI 모델 GPT-6.2 Astra와 GPT-6.2 Sol을 출시했어요. 두 모델은 ChatGPT Work, Codex, API에서 쓸 수 있어요. Astra는 복잡한 프로젝트용이고, Sol은 글과 코드 작업, 여러 단계로 된 일상 업무용이에요.
mobidevices.com · 11월 18일 09:00 KST