Локальная нейросеть для компании: железо, сроки, цена

Разбор·Дмитрий Ничипорчик·28 октября 2026

Что значит «развернуть нейросеть локально»

Языковая модель работает на ваших серверах или в облаке, которое контролируете вы, и не отправляет данные внешним сервисам. Это нужно тем, кому нельзя отдавать договоры, переписку и персональные данные в чужой API.

Сама по себе модель ваших документов не знает. Чтобы она отвечала по ним, рядом строят поиск: на вопрос система находит подходящие фрагменты документов и передаёт их модели вместе с вопросом. Это называется RAG — генерация ответа с поиском по источникам. В ответе есть ссылка на документ, из которого он взят, и сотрудник может открыть его и проверить. Так получается база знаний с ИИ: не чат «обо всём», а ответы по вашим документам.

Частый вопрос — нельзя ли просто обучить нейросеть на документах компании. Дообучение меняет то, как модель отвечает: формат, тон, классификацию. Поиск меняет то, что она знает. Если беда в том, что модель не знает ваших регламентов и цен, дообучение — не тот инструмент: оно дороже, устаревает, как только документы меняются, и не показывает, откуда взят ответ.

Для компании важно ещё одно отличие. В поиске права доступа можно проверять на каждом запросе, и тогда сотрудник не получит ответ из документа, к которому у него нет доступа. А всё, что попало в дообучение, доступно каждому, кто может обратиться к модели.

Когда локальная модель не нужна

Если документы можно хранить в облаке, локальная модель, скорее всего, лишняя. Облачные базы знаний с ИИ продаются по подписке, и это проще, чем свой сервер. Заказная разработка нужна там, где облако нельзя: из-за персональных данных, коммерческой тайны или внутренних правил компании.

Есть и промежуточный вариант: поиск и документы остаются у вас, а модель работает через внешний API. Сервер с видеокартой тогда не нужен, но фрагменты документов, найденные для ответа, уходят поставщику модели вместе с вопросом. Подходит ли это, решают ваши юристы и служба безопасности, а не подрядчик.

Если в документах есть персональные данные, локальная модель помогает, но не решает всё. Данные остаются в вашем контуре, и это упрощает выполнение закона о персональных данных (Закон № 99-З), но не заменяет его: меры защиты и документы остаются за оператором данных, то есть за компанией.

Железо: от мини-ПК до сервера с видеокартой

Сколько железа нужно, решают две вещи: размер модели и число людей, которые задают вопросы одновременно. От размера модели зависит, сколько нужно видеопамяти, от числа пользователей — сколько ответов сервер должен выдавать параллельно.

Для масштаба — наш собственный пример. В проектах, которые мы ведём, мы запускаем модель на 4 млрд параметров на мини-ПК с процессором Intel N100: четыре ядра, около 6 Вт, без видеокарты. Она читает запрос со скоростью около 14 токенов в секунду, а пишет — около 2,3. Черновик статьи целиком выходит примерно за 16 минут. Для черновика раз в день этого хватает, и исходники не покидают сеть. Для чата, где сотрудник ждёт ответа, — нет: ответ в 300 токенов на такой скорости пишется больше двух минут (это арифметика, а не замер).

В той же системе предусмотрен режим с видеокартой: модель на 14 млрд параметров весит около 9 ГБ и рассчитана на видеокарту с 12 ГБ памяти. Для системы, которой пользуется отдел или вся компания, рынок предлагает такие конфигурации:

Это опубликованный прайс поставщика серверов под языковые модели на октябрь 2026, только железо, без работ. Если подходящее железо у вас уже есть, используем его. Можно обойтись и без своего сервера: арендовать серверы в облаке, где доступ контролируете вы. Важно, чтобы модель и данные были в вашем контуре, а не у поставщика модели. Конфигурацию под модель и нагрузку считаем до начала работ.

Одна техническая деталь, которая стоила нам дней: у Ollama, через которую мы запускаем модель, окно контекста по умолчанию молча обрезало начало длинного запроса — ровно там, где стояли инструкции. Его надо задавать явно, а не полагаться на значение по умолчанию.

Сроки: что входит в 4–6 недель

Наш пакет для закрытого контура занимает 4–6 недель. За это время мы:

• подбираем открытую модель под задачу, язык и ваше железо — сравниваем нескольких кандидатов на ваших же вопросах, а не по чужим рейтингам: решают качество ответов на русском, скорость на вашем железе и лицензия;
• разворачиваем модель на вашем сервере и подключаем один набор документов;
• даём доступ через веб-чат или Telegram, и к каждому ответу — ссылку на источник;
• собираем набор настоящих вопросов с правильными ответами и замеряем точность до сдачи.

У подрядчиков, которые публикуют сроки, разброс большой: от 3–5 недель за базовый поиск по документам до 2–3 месяцев и дольше для корпоративных проектов. Растягивает их обычно не модель, а документы: сколько источников, в каких форматах, насколько они чистые. Разнородность документов почти всегда двигает оценку проекта сильнее, чем выбор модели, поэтому первый вопрос при оценке — о ваших документах.

Ещё наборы документов, интеграции с другими системами и сопровождение — следующим этапом и отдельной строкой.

Как проверить, что она отвечает правильно

Демонстрация показывает, что система умеет отвечать. Проверка показывает, как часто она отвечает правильно на ваших документах и не испортилось ли это после следующего изменения.

Делается это так: собирают набор настоящих вопросов или документов с ответами, которые заранее согласовали люди, и прогоняют систему по нему до запуска и после каждого изменения — промпта, модели, нарезки документов. Если цифра падает, изменение не выкатывают.

Три правила для такого набора. Вопросы и документы берут случайно из реального потока, включая сканы и неудобные форматы, а не из удачных примеров: удачные и так хорошо выглядят на демонстрации. Набор покрывает каждый источник и тип документов, с которыми система встретится. И его замораживают, а новые случаи добавляют отдельной версией, иначе непонятно, что изменилось — система или тест. Обновление модели — тоже изменение: новая версия не обязательно лучше на ваших документах, и прогон это покажет.

Так мы работали на платформе для логистической компании (клиента не называем, пока он не разрешит): 14 источников данных, 5 языков. Ручной обработки стало меньше на 87 %, точность извлечения — 99,2 %. Эта цифра — результат замера на отдельном стенде проверки: около 2 000 документов разметили наши инженеры вместе с аналитиками клиента. Значения, в которых модель не уверена, уходили человеку на проверку — после всех доработок около 4 % полей. Подробно о методе — в статье RAG evaluation before production (на английском).

Две оговорки, которые стоит требовать от любого подрядчика. Первая — единица измерения: 99,2 % — это доля верных полей, а не документов без единой ошибки, и это разные цифры. Вторая — сравнение с людьми: ручной процесс до внедрения никто не замерял, поэтому мы не утверждаем, что система точнее людей. Замерить старый процесс стоит полдня до начала работ, а после внедрения это уже не сделать.

Цена: работы, железо и то, что платится дальше

Цифры — опубликованные цены подрядчиков на октябрь 2026. Почти все они со словом «от», обычно без НДС и без железа. Некоторые подрядчики берут за закрытый контур надбавку к обычной цене — например, 20 %.

У нас — 14 700 BYN за работы, 4–6 недель, цена фиксированная за письменно согласованный объём: открытая модель на вашем сервере, ответы по одному набору документов со ссылкой на источник, веб-чат или Telegram, замер точности до сдачи. Серверы и видеокарты в цену не входят. Сопровождение — отдельной строкой помесячно.

Дальше расходы другие, чем у внешнего API. У локальной модели нет счёта за токены: вы платите за железо и его содержание, а не за каждый вопрос сотрудника.

Если задача не в ответах по документам, а в заявках и CRM, посмотрите разборы «ИИ-автоматизация бизнес-процессов» и «ИИ-агент или CRM-коробка». Цену агента разбираем в статье «Сколько стоит ИИ-агент», а свой случай можно прикинуть в калькуляторе.