토큰 처리량
토큰 처리량(Token Throughput)은 주어진 시간 동안 시스템이 처리할 수 있는 텍스트 토큰의 양을 의미합니다. 주로 대규모 언어 모델(LLM), 자연어 처리 API, 챗봇 서비스 등에서 모델의 성능과 응답 속도를 판단하는 핵심 지표로 사용됩니다. 처리량이 높을수록 대규모 요청 처리나 실시간 응답에 유리합니다.
주요 특징
- 단위 기준: 초당 토큰(token per second, TPS) 또는 요청당 토큰 수로 표현.
- 모델 크기와 연관: 모델 구조나 파라미터 수에 따라 처리량 차이 발생.
- 하드웨어 의존성: GPU, TPU 등 연산 자원에 따라 성능이 크게 달라짐.
- 최적화 가능: 캐시, 로딩 전략, 배치 처리 등으로 처리량 개선 가능.
- 실시간성 영향: 처리량이 낮으면 지연(latency)이 증가할 수 있음.
장점
- 성능 판단 기준: 모델 응답 속도나 확장성 평가에 활용 가능.
- 운영 효율성 향상: 처리량이 높을수록 동일 자원으로 더 많은 요청 처리 가능.
- 서비스 안정성 확보: 처리량 기준을 기반으로 인프라 용량 계획 가능.
- 비용 최적화: 높은 처리량은 동일 예산 내 더 많은 요청을 소화 가능.
관련 용어
- Token: 텍스트를 분해한 최소 단위(단어, 하위단어, 기호 등).
- TPS (Tokens per Second): 초당 처리 가능한 토큰 수.
- Latency: 하나의 요청에 대해 응답이 도달하는 데 걸리는 시간.
- Throughput: 단위 시간당 처리 가능한 작업량.
- Batching: 여러 요청을 묶어 한 번에 처리하는 방식.
주요 솔루션 및 사용 사례
- 주요 솔루션
- OpenAI API
- Google PaLM API
- NVIDIA Triton Inference Server
- Hugging Face Inference Endpoints
- Amazon Bedrock
- 사용 사례
- LLM 응답 성능 분석: API의 초당 토큰 응답 속도 비교.
- 대규모 챗봇 운영: 처리량 기준으로 동시에 수천 명 응답 가능 여부 판단.
- API 비용 산정: 처리량을 기반으로 가격·성능 균형 검토.
- 인프라 튜닝: 모델 로딩 방식, 배치 처리 최적화를 통한 처리량 향상.
