본문 바로가기

응답 속도(지연 시간)

AI에게 묻고 나서 답이 나오기 시작할 때까지 걸리는 시간과, 답이 쏟아지는 빠르기예요.

Latency and Throughput

어떤 개념인가요

AI의 빠르기는 두 가지로 재요. 하나는 요청을 보내고 첫 글자가 나올 때까지 기다리는 시간으로, 지연 시간이라고 해요. 다른 하나는 답이 나오기 시작한 뒤 1초에 토큰이 몇 개씩 나오느냐로, 처리 속도라고 해요.

빠르기는 모델 크기, 깊이 생각하는 정도, 돌리는 칩, 그 순간 몰린 사용자 수에 따라 달라져요. 같은 모델도 어느 회사 서버에서 돌리느냐에 따라 차이가 나요. 보통 똑똑한 모델일수록 느리고 비싸서, 일에 맞춰 골라 써요.

예를 들면

식당에서 주문하고 첫 접시가 나올 때까지 기다리는 시간이 지연 시간이고, 그 뒤로 음식이 얼마나 빨리 이어 나오느냐가 처리 속도예요.

왜 알아둘 만한가요

말로 주고받는 AI나 코딩 도구는 조금만 느려도 답답해서 쓰기 어려워요. 그래서 새 모델 소식에는 똑똑함과 함께 얼마나 빠른지가 꼭 따라붙어요.

지연 시간, 응답 시간, 레이턴시

LastAI에서 직접 보기

빠른 AI 모델 순위

연결해서 읽을 개념

토큰AI가 글을 읽고 쓸 때 쓰는 글 조각이에요. 사용량과 요금을 재는 단위이기도 해요.추론 모델답을 바로 내지 않고, 단계별로 따져 본 뒤에 답하도록 만든 AI 모델이에요.모델 라우터여러 회사의 AI 모델을 한 창구로 이어 주고, 요청을 알맞은 모델로 보내 주는 서비스예요.소형 언어 모델(SLM)크기를 줄여 휴대폰이나 PC에서도 돌아가게 만든 언어 모델이에요. 가볍고 빠르고 값이 싸요.API프로그램이 다른 서비스의 기능을 가져다 쓸 수 있게 열어 둔 연결 통로예요.쓰는 법모델 라우터여러 회사의 AI 모델을 한 창구로 이어 주고, 요청을 알맞은 모델로 보내 주는 서비스예요.로컬 AI멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.

마이