모델 라우터
Model Router
여러 회사의 AI 모델을 한 창구로 이어 주고, 요청을 알맞은 모델로 보내 주는 서비스예요.
조금 더 자세히
AI 모델은 회사마다 API와 요금, 계정이 따로예요. 모델 라우터는 그 앞에 창구를 하나 두고, 개발자가 한 번만 연결하면 여러 회사의 모델을 골라 쓸 수 있게 해 줘요. 한 모델이 멈추면 다른 모델로 넘기거나, 쉬운 요청은 싼 모델로 보내기도 해요.
OpenRouter가 대표적인 서비스예요. 이런 창구에는 수많은 앱의 요청이 지나가기 때문에, 어떤 모델이 실제로 얼마나 쓰이는지가 드러나요. 다만 그 창구를 쓰는 곳의 자료일 뿐이어서 세상 전체의 사용량과 똑같지는 않아요.
예를 들면
여러 택배 회사를 한 번에 견줘 부르는 배송 앱과 같아요. 회사마다 따로 가입하지 않아도 되고, 한 곳이 밀리면 다른 곳으로 보낼 수 있어요.
왜 알아 둘 만한가요
LastAI의 'AI 모델·앱 실제 사용량'이 바로 이런 창구를 오간 토큰의 양으로 만든 자료예요. 시험 점수가 아니라 실제로 쓰인 양을 볼 수 있는 드문 통로예요.
이렇게도 불러요AI 게이트웨이, LLM 라우터, 모델 라우팅