Локальные LLM

Локальная LLM и RAG на корпоративных данных

Строим AI-системы, которые отвечают по внутренним документам компании, не раскрывают чувствительные данные и дают проверяемые ссылки на источники.

Обсудить проект Бюджет от 2,5 млн ₽ Частые вопросы

Стек и интеграции

Qdrant PostgreSQL Saiga Mistral Qwen vLLM Docker

Кратко (TL;DR)

Что делаем: RAG-система на корпоративных документах: ответы с цитированием источников, без облачных LLM.
Кому: Компании с 1 000+ внутренних документов, где важна конфиденциальность и проверяемость ответов.
Стек: Qdrant + BGE-embeddings, локальные LLM (Saiga / Mistral / Qwen), vLLM, Docker.
Сроки и бюджет: Пилот 3–6 недель, промышленный контур 2–4 месяца. Бюджет от 2.5 млн ₽.

Когда подходит

→ Есть большая база документов, регламентов, инструкций или переписок
→ Нужны ответы с источниками, а не свободная генерация
→ Данные нельзя отправлять в публичные AI API
→ Нужны роли доступа и аудит запросов

Что делаем

→ Индексация документов, chunking, embeddings и векторный поиск
→ RAG pipeline с цитированием источников и контролем галлюцинаций
→ On-premise развёртывание или private cloud
→ API для интеграции с порталом, CRM, ботом или helpdesk

Процесс

01 Аудит данных: форматы, права доступа, качество источников
02 Пилот: 2–3 сценария на ограниченном корпусе
03 Промышленный контур: мониторинг, роли, обновление индекса, документация

Почему не коробка

Кастомная разработка нужна там, где важны ваши процессы.

Готовые SaaS хороши для типовых сценариев. Но когда бизнес-логика завязана на специфичные роли, документы, интеграции, безопасность или данные, стоимость обходных путей быстро становится выше стоимости нормальной архитектуры.

Мы начинаем с discovery: отделяем то, что действительно нужно разрабатывать, от того, что дешевле закрыть готовым сервисом. Поэтому проект получается меньше, понятнее и проще в эксплуатации.

Связанные кейсы

Частые вопросы

Нужен ли собственный GPU-сервер?

Не всегда. Для поиска и RAG часто хватает гибридной схемы; GPU нужен, если локальная генерация обязательна.

Какие документы можно индексировать?

PDF, DOCX, HTML, Markdown, базы знаний, выгрузки CRM и структурированные таблицы после подготовки.

Как обновляется база знаний?

Настраиваем регулярную переиндексацию или событийный импорт из источника, чтобы ответы не устаревали.

Сколько стоит внедрение локальной LLM с RAG?

От 2.5 до 5 млн ₽ за проект под ключ. Пилот на ограниченном корпусе — от 700 тыс. ₽. GPU-инфраструктура закупается отдельно или арендуется в российских облаках.

Какие сроки внедрения?

Пилот с 2–3 сценариями — 3–6 недель. Полноценный промышленный RAG с ролями, аудитом и обновлением индекса — 2–4 месяца.

Какая модель точнее: облачная или локальная?

Для задач с русским языком GigaChat / YandexGPT часто точнее локальных 7B–13B моделей. Локальная LLM выигрывает по конфиденциальности и стоимости на больших объёмах.

Как контролировать галлюцинации LLM?

RAG выдаёт цитаты из источников, ответы без подтверждения помечаются как «нет данных», критичные операции требуют подтверждения оператором.

Можно ли доработать (fine-tune) локальную LLM под нашу область?

Да, но чаще выгоднее качественный RAG, чем fine-tuning: он проще обновлять и он даёт проверяемые ответы. Fine-tune делаем при массовой генерации однотипных документов.

Следующий шаг

Разберём вашу задачу за 60 минут.

На встрече покажем возможную архитектуру, риски, порядок бюджета и что можно проверить на MVP.

Записаться на встречу

Разборы по теме

Статьи по теме