응답 속도(지연 시간)
Latency and Throughput
AI에게 묻고 나서 답이 나오기 시작할 때까지 걸리는 시간과, 답이 쏟아지는 빠르기예요.
조금 더 자세히
AI의 빠르기는 두 가지로 재요. 하나는 요청을 보내고 첫 글자가 나올 때까지 기다리는 시간으로, 지연 시간이라고 해요. 다른 하나는 답이 나오기 시작한 뒤 1초에 토큰이 몇 개씩 나오느냐로, 처리 속도라고 해요.
빠르기는 모델 크기, 깊이 생각하는 정도, 돌리는 칩, 그 순간 몰린 사용자 수에 따라 달라져요. 같은 모델도 어느 회사 서버에서 돌리느냐에 따라 차이가 나요. 보통 똑똑한 모델일수록 느리고 비싸서, 일에 맞춰 골라 써요.
예를 들면
식당에서 주문하고 첫 접시가 나올 때까지 기다리는 시간이 지연 시간이고, 그 뒤로 음식이 얼마나 빨리 이어 나오느냐가 처리 속도예요.
왜 알아 둘 만한가요
말로 주고받는 AI나 코딩 도구는 조금만 느려도 답답해서 쓰기 어려워요. 그래서 새 모델 소식에는 똑똑함과 함께 얼마나 빠른지가 꼭 따라붙어요.
이렇게도 불러요지연 시간, 응답 시간, 레이턴시