Question 1

Сколько VRAM нужно для модели 70B?

Accepted Answer

В FP16 только веса 70B занимают порядка 140 ГБ. В INT4 / AWQ / GPTQ при умеренном контексте (4k–8k) часто получается 35–50 ГБ — реалистичны A100 40GB (впритык) или карты класса 48–80 ГБ. Считайте с учётом длины контекста: KV-cache растёт с числом токенов.

Question 2

Чем GGUF Q4 отличается от INT4?

Accepted Answer

Оба варианта около 4 бит на параметр. INT4 обычно означает GPTQ/AWQ в CUDA-стеках (vLLM, transformers). GGUF Q4 — формат llama.cpp / Ollama, удобный для потребительских GPU и Apple Silicon. Качество и точный расход VRAM зависят от runtime; у Q4_K запас чуть больше «голой» оценки 0.5 байта/параметр.

Question 3

Хватит ли 8 ГБ VRAM для локальных LLM?

Accepted Answer

Да для небольших моделей: 7–8B в GGUF Q4 на контексте 2k–8k обычно влезают в 8 ГБ с небольшим запасом. 13–14B Q4 уже впритык. 70B на 8 ГБ без тяжёлого offload не запустить. Image-модели вроде FLUX.1 Dev в FP16 обычно просят 12–24 ГБ.

Question 4

Почему длинный контекст ест больше VRAM?

Accepted Answer

KV-cache растёт пропорционально длине последовательности × числу слоёв × KV-голов. Удвоение контекста почти удваивает вклад KV при тех же весах. Поэтому 8B Q4 может быть ~5–6 ГБ на 2k и заметно больше на 32k–128k.

Question 5

Насколько точен этот калькулятор?

Accepted Answer

Ориентир ±15–20%. Реальный расход зависит от runtime (llama.cpp, vLLM, Ollama), CUDA graphs, квантизации KV и драйверов. Лучше брать карту с запасом, а не идеальный «впритык».

Модель	Квант	Контекст	VRAM	Мин. GPU
Llama 3.1 8B	GGUF Q4	8.192k	7.4 GB	RTX 3080 10GB (10 GB)	Открыть
Mistral 7B	GGUF Q4	8.192k	6.8 GB	RTX 4060 (8 GB)	Открыть
Llama 3.1 70B	INT4 / GPTQ / AWQ	4.096k	41.4 GB	A100 80GB (80 GB)	Открыть
Llama 4 Maverick	GGUF Q4	8.192k	64.5 GB	A100 80GB (80 GB)	Открыть
Qwen 3.7	GGUF Q4	8.192k	23 GB	RTX 5090 (32 GB)	Открыть
GLM-5.2	INT4 / GPTQ / AWQ	8.192k	59.1 GB	A100 80GB (80 GB)	Открыть
FLUX.1 Dev	FP16 (full)	2.048k	27.2 GB	RTX 5090 (32 GB)	Открыть

Калькулятор GPU/VRAM для AI

Топ рекомендации

Подходящие GPU

Популярные связки модель × квант × GPU

FAQ по VRAM и локальному запуску

Связанные материалы