Подписывайся на Telegram-канал — пишем про нейросети и ИИ сервисыПодписаться

Латентность

← Глоссарий
Инфраструктура

Время отклика модели — от отправки запроса до получения первого токена ответа (TTFT) или полного ответа. Ключевая метрика для production-систем.

Связанные термины