AI · 영상
자체 호스팅 LLM이 '안 돼요'라고 말해야 하는 이유
AI Engineer ·
한눈에 보기
코딩 에이전트가 요청을 한꺼번에 쏟아내면, 직접 운영하는 LLM 서버는 모든 요청을 받아들여 정작 중요한 요청을 밀어낼 수 있어요. 이 영상은 GPU(그래픽 처리 장치)에 닿기 전에 무엇을 거절할지 정하는 '어드미션 컨트롤'(입장 제어)을 다뤄요.
핵심 내용
- 논문 55편과 실제 운영 장애 사례 8건을 살펴본 결과를 바탕으로 해요.
- 어떤 입장 정책을 배포하기 전에 던져 볼 다섯 가지 질문을 소개해요.
- 바로 쓸 수 있는 점검표도 함께 나와요.
왜 중요할까요?
직접 LLM 서버를 운영하거나 도입을 검토하는 분께 요청을 어떻게 걸러야 할지 실무 기준을 줘요.
원문과 출처
Your Self-Hosted LLM Needs to Say No - Harshul Jain & Parv Khatri, Audible & SAP
AI Engineer · 11월 10일 08:00 KST
YouTube에서 보기 ↗AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. AI Engineer.
같은 분야의 다른 소식
- 챗GPT 스페이스, 플러스 이용자에게 공개… 페이지·슬라이드 팀 공유
오픈AI가 20일(현지 시각) 챗GPT 스페이스를 플러스 이용자에게도 열었어요. 스페이스는 페이지, 슬라이드, 이미지, 파일을 모아 두는 새 홈이에요. 챗GPT와 함께 페이지를 만들고, 슬라이드로 바꾸고, 다른 사람을 초대해 함께 작업할 수 있어요.
AI 매터스 · 11월 21일 11:26 KST - Claude 도움으로 리만 가설 증명 주장, 검증 결과 주목
Wes Roth 영상은 Anthropic 연구원 레반트 알푀게(Levent Alpöge)가 AI 모델 Claude와 함께 리만 가설(수학의 오래된 미해결 문제)을 증명했다고 주장한 내용을 다뤄요. 거대한 Lean(수학 증명을 검사하는 프로그래밍 언어) 형식 증명, 수학자와 AI 안전 연구자들의 반응, AI와 수학의 미래에 대한 의미를 살펴봐요.
Wes Roth · 11월 21일 11:24 KST - 아마존 클라우드워치 옴니, 마이크로소프트 Azure 로그·지표·추적 수집 지원
Amazon CloudWatch Omni(클라우드 모니터링 서비스)가 이제 Azure 리소스 로그, Azure 플랫폼 지표, 가상 네트워크 흐름 로그, Application Insights 추적 기록을 모을 수 있어요. AWS와 Azure를 함께 쓰는 팀은 별도 도구나 직접 만든 연결 통로 없이 두 환경의 상태를 한곳에서 볼 수 있어요.
AWS What's New · 11월 21일 10:10 KST - AWS Quick, 채팅으로 흐름 만들고 에이전트끼리 협업
AWS Quick에 새 기능이 더해졌어요. 한 사람이 하던 업무 방식을 팀 전체가 같은 방식으로 쓸 수 있게 돕는 기능이에요. 이제 흐름(업무를 자동으로 처리하는 순서)을 채팅만으로 만들고 고칠 수 있어요. 여러 에이전트(AI가 대신 일을 처리하는 프로그램)가 함께 일해 더 완성도 높은 답을 내는 기능도 나왔어요.
Amazon AWS Machine Learning blog · 11월 21일 10:06 KST