llama.cpp
← ГлоссарийВысокооптимизированный движок для локального запуска LLM на CPU и GPU. Поддерживает GGUF-формат и различные квантизации. Один из самых популярных инструментов для запуска моделей на домашнем железе.
Высокооптимизированный движок для локального запуска LLM на CPU и GPU. Поддерживает GGUF-формат и различные квантизации. Один из самых популярных инструментов для запуска моделей на домашнем железе.