토큰
Token
AI가 글을 읽고 쓸 때 쓰는 글 조각이에요. 사용량과 요금을 재는 단위이기도 해요.
조금 더 자세히
LLM은 글을 글자나 낱말 그대로 다루지 않고, 더 잘게 나눈 조각으로 바꿔서 다뤄요. 이 조각이 토큰이에요. 짧은 낱말은 토큰 하나가 되고, 긴 낱말은 여러 토큰으로 나뉘어요.
AI 회사들은 읽은 토큰과 쓴 토큰의 수로 요금을 매겨요. 한 번에 다룰 수 있는 글의 길이도 토큰 수로 정해져 있어요.
예를 들면
택시 요금을 거리로 재듯, AI 사용량은 토큰으로 재요. 긴 문서를 읽히거나 긴 답을 받으면 토큰을 많이 써요.
왜 알아 둘 만한가요
어떤 AI가 실제로 얼마나 쓰이는지 비교할 때 토큰 수를 써요. LastAI의 'AI 모델·앱 실제 사용량'도 오간 토큰의 양으로 순위를 매겨요.