VRAM
← ГлоссарийВидеопамять графического процессора. Определяет максимальный размер модели, которую можно загрузить для инференса. Для LLama 70B в FP16 нужно ~140 GB VRAM.
Видеопамять графического процессора. Определяет максимальный размер модели, которую можно загрузить для инференса. Для LLama 70B в FP16 нужно ~140 GB VRAM.