Локальная нейросеть — это языковая модель, которая работает прямо на вашем компьютере: без интернета, без подписки и без отправки ваших текстов на чужие серверы. Ещё два года назад это было развлечением для энтузиастов с дорогими видеокартами. В 2026 году открытые модели догнали закрытые флагманы годичной давности, а запуск сводится к одной команде. В этой статье разбираем, что нужно для старта, какую модель выбрать под ваше железо и где искать подводные камни.
Зачем вообще запускать модель локально
Облачные сервисы вроде ChatGPT и Claude удобнее и мощнее. Локальный запуск имеет смысл в четырёх случаях:
- Конфиденциальность. Рабочие документы, код под NDA, медицинские или финансовые данные не покидают ваш компьютер. Для многих компаний это единственный допустимый вариант.
- Нет лимитов и подписок. Вы платите один раз за железо (или уже его имеете) и дальше генерируете сколько угодно. При интенсивном использовании это окупается за несколько месяцев.
- Работа без интернета и без блокировок. Модель не зависит от доступности сервиса, региональных ограничений и способов оплаты.
- Полный контроль. Можно убрать цензуру, дообучить модель на своих данных, встроить её в собственные скрипты и приложения.
Если ни один пункт для вас не критичен, локальная модель скорее всего не нужна: качество бесплатных облачных тарифов выше, а хлопот меньше. Сравнить облачные и локальные варианты под свою задачу можно в конструкторе подбора нейросети.
Какое железо нужно
Главный ресурс для языковых моделей — видеопамять (VRAM), а не процессор и не объём оперативной памяти. Модель целиком загружается в память видеокарты, и если она не помещается, скорость падает в разы.
Ориентиры по объёму VRAM
| Видеопамять | Что запускается комфортно | Примеры карт |
|---|---|---|
| 6–8 ГБ | Модели 7–8B в квантовании Q4 с контекстом 2–8 тысяч токенов | RTX 3060 (8 ГБ), RTX 4060 |
| 12 ГБ | Модели 7–14B в Q4, иногда 14B впритык | RTX 3060 (12 ГБ), RTX 4070 |
| 16 ГБ | Модели 14B свободно, 30B-класс в агрессивном квантовании | RTX 4060 Ti 16 ГБ, RTX 4080 |
| 24 ГБ | Модели до 30–35B в Q4, 70B не помещается | RTX 3090, RTX 4090 |
| 48–80 ГБ | Модели 70B в INT4/Q4 с умеренным контекстом | Профессиональные и серверные карты |
Несколько важных уточнений:
- Apple Silicon — отдельная история. На Mac с чипами M-серии оперативная память общая с графикой, и MacBook с 32–64 ГБ памяти запускает модели, которые на ПК требуют карты за несколько тысяч долларов. Скорость ниже, чем у RTX 4090, но для диалога её достаточно.
- Без дискретной видеокарты тоже можно: модели 3–8B работают на процессоре, но медленно — несколько слов в секунду. Для коротких вопросов приемлемо, для работы с документами мучительно.
- Оперативная память нужна как минимум в объёме модели, чтобы её загрузить, плюс запас для системы. 16 ГБ — рабочий минимум, 32 ГБ комфортно.
Точный расчёт для конкретной модели, формата и длины контекста удобнее сделать в нашем калькуляторе GPU и VRAM: он учитывает квантование и KV-кэш, о которых дальше.
Что такое квантование и почему без него никак
Исходная модель хранит каждый параметр в 16 битах (FP16). Модель на 8 миллиардов параметров в таком виде занимает около 16 ГБ — только веса, без учёта контекста. Квантование сжимает параметры до 4–8 бит с небольшой потерей качества. Та же 8B-модель в формате Q4 занимает примерно 4,5–5,5 ГБ и помещается в бюджетную карту.
Практическое правило: для домашнего использования берите квантование Q4_K_M — это стандартный баланс размера и качества. Q5 и Q6 чуть точнее, но заметно тяжелее; Q2 и Q3 экономят память ценой заметной деградации ответов.
Формат файлов для Ollama и llama.cpp называется GGUF — именно его вы будете скачивать.
Почему длинный контекст съедает память
Кроме весов модели, видеопамять занимает KV-кэш — промежуточные данные для каждого токена в текущем диалоге. Он растёт пропорционально длине контекстного окна: удвоили контекст — почти удвоили эту часть расхода. Поэтому 8B-модель в Q4 на контексте 2 тысячи токенов занимает 5–6 ГБ, а на 32 тысячах заметно больше.
Вывод: если вы хотите скармливать модели длинные документы, закладывайте запас VRAM или уменьшайте размер модели.
Установка за 5 минут: Ollama
Самый простой способ запуска в 2026 году — Ollama. Это бесплатная программа для Windows, macOS и Linux, которая скачивает модели, управляет ими и даёт как чат в терминале, так и локальный API для других приложений.
Шаг 1. Установите Ollama
Скачайте установщик с официального сайта ollama.com и запустите. На Linux установка выполняется одной командой из документации. После установки в системе появится фоновый сервис.
Шаг 2. Запустите первую модель
Откройте терминал и выполните:
ollama run llama3.1:8b
Ollama сама скачает модель (около 5 ГБ) и откроет чат. Замените имя модели на любое из библиотеки Ollama — список доступных моделей есть на сайте в разделе Models.
Шаг 3. Подключите удобный интерфейс
Терминал подходит для проверки, но для работы удобнее графический интерфейс. Популярные варианты, которые подключаются к Ollama без настройки:
- Open WebUI — веб-интерфейс в стиле ChatGPT с историей чатов, загрузкой документов и несколькими моделями.
- LM Studio — отдельное приложение со своим менеджером моделей, можно использовать и без Ollama.
- Расширения для редакторов кода — Continue для VS Code и JetBrains подключается к локальной модели как к ассистенту.
Шаг 4. Используйте API
Ollama поднимает локальный сервер, совместимый с форматом OpenAI API. Это значит, что почти любой скрипт или приложение, которое умеет работать с ChatGPT через API, можно переключить на локальную модель, поменяв адрес сервера. Так локальная модель встраивается в ваши рабочие процессы.
Какую модель выбрать
Выбор зависит от объёма видеопамяти и задачи. Ниже ориентиры на октябрь 2026 года; конкретные версии быстро обновляются, поэтому проверяйте актуальные в каталоге открытых моделей.
До 8 ГБ VRAM
Берите модели класса 7–8B в Q4. Это Mistral 7B и его производные, компактные версии Llama и Qwen. Они хорошо справляются с бытовыми вопросами, черновиками писем, простым кодом и суммаризацией коротких текстов. На русском языке лучше всего показывают себя модели семейства Qwen.
12–16 ГБ VRAM
Открывается класс 13–14B. Разница с 7–8B ощутима: меньше ошибок в логике, лучше следование сложным инструкциям, заметно лучше код. Для большинства домашних сценариев это оптимальный размер.
24 ГБ VRAM
Доступны модели 30–35B в Q4. На этом уровне открытые модели уже уверенно конкурируют с облачными моделями среднего тира годичной давности. Хороший выбор для разработки и работы с документами.
Сервер или несколько карт
Флагманские открытые модели 2026 года — GLM-5.2, Kimi K2.6, MiniMax M3, Llama 4 Maverick — это сотни миллиардов параметров. Многие из них построены по архитектуре MoE, где активна только часть параметров, но в память всё равно нужно загрузить все. Для них нужен сервер с несколькими картами или аренда GPU в облаке. Зато по качеству они сопоставимы с закрытыми флагманами, а лицензии (MIT, Apache 2.0) позволяют коммерческое использование.
Специальные задачи
- Код — выбирайте модели с пометкой Coder в названии: они обучены на коде и работают заметно лучше универсальных того же размера.
- Расшифровка аудио — Whisper Large работает даже на слабых картах и остаётся стандартом для распознавания речи, включая русский.
- Генерация изображений — отдельный класс моделей: FLUX 2 Dev и SDXL требуют 12–24 ГБ VRAM и запускаются через ComfyUI или Automatic1111, а не Ollama.
Типичные проблемы и решения
Модель отвечает очень медленно. Скорее всего, она не поместилась в видеопамять и часть слоёв считается на процессоре. Возьмите модель меньше или более агрессивное квантование. В Ollama это видно по команде ollama ps: если в колонке Processor не 100% GPU, модель частично в оперативной памяти.
Ответы низкого качества или модель «тупит». Проверьте квантование: Q2 и Q3 сильно портят модель. Попробуйте Q4_K_M или Q5. Также убедитесь, что используете instruct-версию, а не базовую: базовые модели не обучены вести диалог.
Модель плохо пишет по-русски. Не все открытые модели одинаково хороши в русском. Лучше всего — Qwen и крупные версии Llama. Для 7–8B класса русский в целом заметно слабее английского, и с этим придётся смириться или переходить на размер больше.
Контекст обрывается. В Ollama контекст по умолчанию ограничен несколькими тысячами токенов. Его можно увеличить параметром num_ctx, но помните про расход памяти на KV-кэш.
Видеокарта AMD или Intel. Ollama поддерживает карты AMD через ROCm, но список совместимых моделей ограничен. С Intel Arc сложнее — смотрите в сторону llama.cpp с Vulkan-бэкендом. В обоих случаях скорость ниже, чем у NVIDIA с тем же объёмом памяти.
Облачный GPU как промежуточный вариант
Если хочется попробовать крупные модели без покупки железа, арендуйте GPU-сервер на час-два. Это стоит от доллара в час за карту с 24–48 ГБ, и вы получаете полный контроль, как на своём компьютере, но без капитальных вложений. Такой вариант удобен и для оценки: запустите модель в облаке, поймите, нужна ли она вам постоянно, и только потом решайте о покупке карты.
Итоги
Локальная нейросеть в 2026 году — это не проект на выходные, а пять минут на установку Ollama и одна команда. Главный вопрос не «как», а «какую модель под моё железо»: 8 ГБ видеопамяти хватит для моделей 7–8B, 16 ГБ открывают класс 14B, 24 ГБ — 30B. Начните с модели среднего размера в квантовании Q4_K_M, подключите графический интерфейс и оцените, закрывает ли она ваши задачи. Если нет, калькулятор VRAM подскажет, на сколько придётся апгрейдиться.
Новые открытые модели выходят почти каждую неделю, и многие из них через пару месяцев становятся новым стандартом для домашнего запуска. Мы разбираем каждый такой релиз в канале, в том числе — хватит ли ему потребительской видеокарты.