토큰Token
Token
AI 모델이 글 등을 처리할 때 사용하는 작은 입력·출력 단위예요.
쉽게 비유하면
긴 문장을 모델이 다룰 수 있게 잘라 놓은 작은 블록과 같아요.
조금 더 자세히
텍스트 토큰은 단어 하나일 수도 있고 단어의 일부나 문장부호일 수도 있어요. 같은 글도 언어와 토크나이저에 따라 토큰 수가 달라져요.
입력 길이 제한과 사용량 계산에 자주 쓰여요. 이미지·음성도 모델에 맞는 단위로 표현하지만, 계산 방식은 서비스와 모델에 따라 달라요.
왜 생겼나요
모델은 글자를 그대로 이해하지 않고 숫자로 처리해요. 자주 쓰는 조각을 단위로 삼으면 다양한 표현을 제한된 어휘로 다룰 수 있어요.
어떻게 작동하나요
- 1. 분할 토크나이저가 글을 정해진 규칙에 따라 조각으로 나눠요.
- 2. 번호 변환 조각을 토큰 ID로 바꿔 모델에 넣어요.
- 3. 출력 복원 생성된 토큰 ID를 다시 읽을 수 있는 글로 바꿔요.
활용 예시
- 긴 문서의 입력량 계산
- 응답 길이 제한
- 모델 사용 비용 추정
흔한 오해
토큰 하나가 단어 하나인가요?
항상 그렇지 않아요. 한 단어가 여러 토큰으로 나뉘기도 하고, 공백과 단어 일부가 함께 묶이기도 해요.
이렇게 쓰여요
입력량 조절
문서가 너무 길 때 확인해요. “글자 수 말고 실제 토크나이저로 토큰 수를 재 보자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트