AI · 영상
LLM 서빙 설정, 종이 위 성능만 믿으면 안 되는 이유
AI Engineer ·
한눈에 보기
DigitalOcean이 AMD MI355 추론 서버에서 돌리는 최적화 에이전트를 소개하는 영상이에요. 이 에이전트는 vLLM(LLM을 빠르게 응답하도록 돕는 서빙 소프트웨어)과 쿠버네티스(서버 묶음을 관리하는 도구) 설정을 제안하고 적용해 실제 응답 지연 기준에서 처리량을 측정해요.
핵심 내용
- 설정을 적용한 뒤 실시간 지연 목표 아래 처리량을 재고, 더 나은 설정은 남기고 아니면 이전 설정으로 안전하게 되돌려요
- 네 가지 실험에서 드러난 결과를 나눠요. 한 실험의 +4% 성능 향상은 실행마다 생기는 잡음이었다고 해요
- 같은 에이전트를 프리필(입력 처리)과 디코드(답변 생성)를 나눠 서빙하는 방식으로 확장하는 계획도 소개해요
왜 중요할까요?
LLM 서비스 속도를 올리려는 엔지니어나 추론 인프라를 운영하는 분께 실제 사용자 체감에 가까운 측정법을 알려 줘요.
원문과 출처
Stop Shipping LLM Settings That Only Win on Paper - Rohan Pandey & Balaji Varadarajan, DigitalOcean
AI Engineer · 11월 12일 09:00 KST
YouTube에서 보기 ↗AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. AI Engineer.
같은 분야의 다른 소식
- AWS Quick, 채팅으로 흐름 만들고 에이전트끼리 협업
AWS Quick에 새 기능이 더해졌어요. 한 사람이 하던 업무 방식을 팀 전체가 같은 방식으로 쓸 수 있게 돕는 기능이에요. 이제 흐름(업무를 자동으로 처리하는 순서)을 채팅만으로 만들고 고칠 수 있어요. 여러 에이전트(AI가 대신 일을 처리하는 프로그램)가 함께 일해 더 완성도 높은 답을 내는 기능도 나왔어요.
Amazon AWS Machine Learning blog · 11월 21일 10:06 KST - Amazon Bedrock Web Search, 언어 5종과 국가별 검색 추가
AWS가 AI 에이전트에 인터넷 최신 정보를 근거와 함께 가져다주는 도구 'Web Search on Amazon Bedrock'의 언어 지원을 넓혔어요. 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어와 미국 외 영어를 쓸 수 있게 됐어요. 또 특정 나라의 자료를 우선하도록 고를 수 있는 선택 항목도 추가됐어요.
AWS What's New · 11월 21일 09:17 KST - Amazon Cuts Self-Hosted AI Cost With Shared Cache Agent Skill
AWS 블로그가 여러 서버가 함께 쓰는 공용 캐시(저장 공간)로 자체 운영 AI 모델의 비용과 응답 지연을 줄이는 방법을 소개했어요. 각 서버의 작은 캐시로는 같은 계산을 반복하게 되는데, 공용 캐시를 쓰면 이를 줄일 수 있다고 해요. 원문은 비용 최대 40%, 첫 단어가 나오기까지의 시간 최대 80% 절감을 제시해요.
Amazon AWS Machine Learning blog · 11월 21일 09:14 KST - AI 챗봇에 블랙프라이데이 TV 할인 물어보니, 링크는 죽고 가격은 틀려
BBC 기자들이 ChatGPT, Claude, Gemini 등 AI 챗봇에게 55인치 TV 할인 제품을 찾아 달라고 해 봤어요. 결과는 엇갈렸고, 안내한 링크 상당수가 이미 없거나 오래된 정보였어요.
BBC News · 11월 21일 09:06 KST