Калькулятор GPU/VRAM для AI

Популярные связки модель × квант × GPU

Готовые примеры для индексации и быстрого старта. Цифры посчитаны формулой калькулятора (inference, batch 1).

Датасет GPU/моделей проверен: 2026-07-23

FAQ по VRAM и локальному запуску

Сколько VRAM нужно для модели 70B?

В FP16 только веса 70B занимают порядка 140 ГБ. В INT4 / AWQ / GPTQ при умеренном контексте (4k–8k) часто получается 35–50 ГБ — реалистичны A100 40GB (впритык) или карты класса 48–80 ГБ. Считайте с учётом длины контекста: KV-cache растёт с числом токенов.

Чем GGUF Q4 отличается от INT4?

Оба варианта около 4 бит на параметр. INT4 обычно означает GPTQ/AWQ в CUDA-стеках (vLLM, transformers). GGUF Q4 — формат llama.cpp / Ollama, удобный для потребительских GPU и Apple Silicon. Качество и точный расход VRAM зависят от runtime; у Q4_K запас чуть больше «голой» оценки 0.5 байта/параметр.

Хватит ли 8 ГБ VRAM для локальных LLM?

Да для небольших моделей: 7–8B в GGUF Q4 на контексте 2k–8k обычно влезают в 8 ГБ с небольшим запасом. 13–14B Q4 уже впритык. 70B на 8 ГБ без тяжёлого offload не запустить. Image-модели вроде FLUX.1 Dev в FP16 обычно просят 12–24 ГБ.

Почему длинный контекст ест больше VRAM?

KV-cache растёт пропорционально длине последовательности × числу слоёв × KV-голов. Удвоение контекста почти удваивает вклад KV при тех же весах. Поэтому 8B Q4 может быть ~5–6 ГБ на 2k и заметно больше на 32k–128k.

Насколько точен этот калькулятор?

Ориентир ±15–20%. Реальный расход зависит от runtime (llama.cpp, vLLM, Ollama), CUDA graphs, квантизации KV и драйверов. Лучше брать карту с запасом, а не идеальный «впритык».

Связанные материалы

• Все инструменты
• Конструктор подбора ИИ
• Каталог AI
• Llama 4 Maverick
• Qwen 3.7
• DeepSeek V4
• GLM-5.2
• Mistral 7B