국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
「2026년 대규모언어모델 토큰 서비스 성능 모니터링 보고서」 발간 원문보기 1
- 국가 중국
- 생성기관 정보통신연구원
- 주제분류 핵심R&D분야
- 원문발표일 2026-10-23
- 등록일 2026-10-30
- 권호 322
○ 중국정보통신연구원(CAICT)은 2026년 1-8월 모니터링 데이터를 바탕으로 대규모언어모델(LLM) 토큰 서비스의 성능·가격 등을 분석한 「2026년 대규모언어모델 토큰 서비스 성능 모니터링 보고서(大模型词元服务性能监测报告(2026年))」를 발표
※ 토큰(词元, Token)은 AI 모델이 텍스트를 처리하는 기본 단위이며, 토큰 서비스(词元服务)는 공용 클라우드 API를 통해 제공되는 모델 호출 서비스를 의미
- 모델 개발사 공식 플랫폼과 DeepSeek·Qwen·GLM·Kimi 등 오픈소스 모델을 제공하는 제3자 플랫폼을 대상으로 호출 성공률, 초당 출력 토큰 수(TPS), 첫 토큰 지연시간(TTFT), 안정성, 가격, 컨텍스트 길이 등을 비교
- 공식 플랫폼의 모델은 처리량과 첫 토큰 지연시간이 함께 증가하는 추세로, 지연시간 증가는 모델 규모·컨텍스트 길이·호출량 확대 등 복합 요인에 따른 것으로 분석
- 제3자 플랫폼의 오픈소스 모델은 출력 속도 향상과 지연시간 단축 등 성능 개선이 두드러졌으며, 일부 플랫폼은 공식 서비스보다 우수한 성능을 기록
- 모델 서비스 가격은 과거 가격경쟁 이후 상승세로 전환했으며, 경쟁의 중심이 단순 저가 공급에서 모델 역량 향상으로 이동하는 추세
- CAICT는 모니터링 지표·방법과 대상 범위를 확대하고, 클라우드·모델 제공업체 간 우수사례 공유 및 멀티모달·장문 컨텍스트 평가를 추진할 계획
※ 토큰(词元, Token)은 AI 모델이 텍스트를 처리하는 기본 단위이며, 토큰 서비스(词元服务)는 공용 클라우드 API를 통해 제공되는 모델 호출 서비스를 의미
- 모델 개발사 공식 플랫폼과 DeepSeek·Qwen·GLM·Kimi 등 오픈소스 모델을 제공하는 제3자 플랫폼을 대상으로 호출 성공률, 초당 출력 토큰 수(TPS), 첫 토큰 지연시간(TTFT), 안정성, 가격, 컨텍스트 길이 등을 비교
- 공식 플랫폼의 모델은 처리량과 첫 토큰 지연시간이 함께 증가하는 추세로, 지연시간 증가는 모델 규모·컨텍스트 길이·호출량 확대 등 복합 요인에 따른 것으로 분석
- 제3자 플랫폼의 오픈소스 모델은 출력 속도 향상과 지연시간 단축 등 성능 개선이 두드러졌으며, 일부 플랫폼은 공식 서비스보다 우수한 성능을 기록
- 모델 서비스 가격은 과거 가격경쟁 이후 상승세로 전환했으며, 경쟁의 중심이 단순 저가 공급에서 모델 역량 향상으로 이동하는 추세
- CAICT는 모니터링 지표·방법과 대상 범위를 확대하고, 클라우드·모델 제공업체 간 우수사례 공유 및 멀티모달·장문 컨텍스트 평가를 추진할 계획
