GGUF
← ГлоссарийФормат файлов для квантизированных моделей, используемый llama.cpp и другими инструментами для локального запуска LLM. Поддерживает различные уровни квантизации (Q4, Q5, Q8).
Формат файлов для квантизированных моделей, используемый llama.cpp и другими инструментами для локального запуска LLM. Поддерживает различные уровни квантизации (Q4, Q5, Q8).