서빙과
자원 측정

비교 기준

실행 조건을
포함한 비교

• 첫 토큰 지연 시간(TTFT)·토큰 간 지연 시간(ITL)·전체 응답 시간(E2E)은 입력·출력 길이와 부하 방식을 함께 기록해야 비교할 수 있습니다.
• 처리량은 사용자 한 명이 체감하는 생성 속도와 시스템 전체 처리량을 나누어 봅니다.
• GPU 자원은 엔진의 요청 대기열(queue)·KV 캐시(KV cache) 지표와 같은 시간대를 기준으로 수집합니다.