Amazon Bedrock에서 코딩 에이전트 요청을 모델별로 나누는 방법 공개

한눈에 보기

AWS가 코딩 에이전트의 요청을 상황에 맞는 AI 모델로 보내는 방법을 소개했어요. NVIDIA의 오픈소스 도구 NeMo Switchyard와 LiteLLM 게이트웨이를 AWS 계정에 배포하는 예제예요. 작업 한 건당 비용을 기준으로 라우팅을 평가하도록 안내해요.

핵심 내용

• 코딩 에이전트는 파일을 읽고 코드를 고치고 테스트를 돌리는 여러 번의 모델 호출로 일을 끝내요.
• 토큰 단가만으로는 작업 한 건의 실제 비용을 알 수 없어요.
• 이 글은 '해결한 작업 1건당 비용'으로 라우팅을 비교하라고 권해요.
• 예제는 AWS CDK로 배포하며, 실험 단계 코드라 비운영 환경에서 먼저 테스트해야 해요.

왜 중요할까요?

코딩 에이전트를 쓰는 개발자와 기업이 모델 선택에 따라 실제 비용과 성공률을 따져 볼 수 있는 방법을 보여 줘요.

같은 분야의 다른 소식

• 아마존, 전 세계 온라인 상품 정보 색인 계획 추진 보도

  아마존이 인터넷 어디에서 팔리든 모든 상품의 정보를 모아 자사 사이트에서 보여 주는 '월드 프로덕트 그래프'를 계획 중이라고 로이터가 보도했어요. 아마존이 직접 팔지 않는 상품까지 포함하는 것이 특징이에요.

  The Verge · 11월 14일 08:49 KST
• TSMC 직원 정보 4만 6천 건 유출, 해커는 비트코인 요구

  대만 반도체 기업 TSMC의 전·현직 직원 개인정보 약 4만 6천 건이 해커들에게 유출돼 지하 게시판에서 팔리고 있어요. 구매자가 없으면 일주일 안에 공개하겠다고 협박했어요.

  코인리더스 · 11월 14일 08:32 KST
• GS Caltex, SageMaker Canvas 모델을 운영 파이프라인으로 잇다

  GS Caltex는 공정 엔지니어가 코드 없이 만든 AI 모델을 실제 운영 흐름에 연결했어요. 엔지니어들이 역할을 나눠 맡으면서 모델 배포 시간이 크게 줄었다고 해요.

  Amazon AWS Machine Learning blog · 11월 14일 08:22 KST
• 루트닉 상무장관 사퇴해야 한다는 칼럼, 엔비디아 칩 밀반출 논란 속

  엔비디아 젠슨 황 전 최고경영자가 중국 간첩 의혹이 있는 여성과의 관계를 인정하며 물러났어요. 칼럼은 상무장관 하워드 루트닉도 이 위기에 큰 책임이 있다고 주장해요.

  The New York Times · 11월 14일 08:19 KST