Пропускная способность
← ГлоссарийКоличество токенов в секунду, которое модель может генерировать. Зависит от размера модели, квантизации, GPU и количества параллельных запросов.
Количество токенов в секунду, которое модель может генерировать. Зависит от размера модели, квантизации, GPU и количества параллельных запросов.