Пилот ИИ-проекта: что проверить за месяц, чтобы решить, идти ли дальше

Коротко. Пилот ИИ-проекта длится 3–6 недель и стоит от 700 тыс. ₽. Его результат: решение, идти дальше или остановиться, принятое на цифрах. Чтобы оно получилось, до старта нужны три вещи. Одна задача в одном отделе. Набор из 50–100 реальных вопросов с ответами, которые дал бы опытный сотрудник. И договорённость, какая доля верных ответов считается успехом. Без них пилот заканчивается демонстрацией, которая всем понравилась, а что делать дальше, никто сказать не может.

Одна задача, один отдел

Пилот на «весь документооборот компании» не проверяет ничего: вопросы слишком разные, и средняя оценка по ним ничего не говорит. Берут задачу, где ошибка видна и цена ошибки понятна. Например, ответы менеджерам продаж по характеристикам и наличию товара или поиск пункта в типовых договорах для юристов.

Хорошая задача для пилота встречается часто, отнимает заметное время у людей и имеет проверяемый ответ. Если ответ на вопрос зависит от мнения, оценить ассистента будет нечем.

Эталонные вопросы

Это главная работа заказчика в пилоте. Руководитель отдела собирает вопросы, которые сотрудники задают на самом деле: из чатов, почты, обращений к старшим коллегам. К каждому записывается правильный ответ и документ, где он лежит.

Набор нужен до того, как подрядчик начнёт настраивать систему. Тогда результат меряется на вопросах, которые никто под ассистента не подбирал. Половину набора стоит держать у себя и не показывать подрядчику до финальной проверки.

Что мерить

Доля верных ответов. Ответ сверяют с эталоном. Считают отдельно верные, частично верные и неверные.

Доля честных отказов. Если ответа в документах нет, ассистент должен сказать «не знаю» и передать вопрос человеку. Уверенный выдуманный ответ хуже отказа, и считать их надо раздельно.

Ссылка на источник. Пользователь должен видеть, из какого документа взят ответ, и проверить его за минуту.

Время ответа и стоимость запроса. На пилоте они кажутся мелочью, но от них зависит, сколько будет стоить контур на весь отдел.

Что входит в бюджет пилота

Подключение источников данных, разбор документов, настройка поиска и модели, простой интерфейс для отдела и прогон по эталонному набору. Сервер для модели на время пилота обычно арендуют у российского облака, покупать оборудование на этом этапе рано.

Самая недооценённая часть в разборе документов. Сканы, таблицы внутри PDF и устаревшие версии регламентов дают больше ошибок, чем выбор модели. Подробно об этом в статье про RAG на реальных корпоративных документах.

Когда останавливаться

Пилот, который показал плохой результат, тоже полезен, если причина понятна. Типичные причины три.

Документов, где лежат ответы, нет: знания живут в головах сотрудников. Тогда сначала записывают базу знаний, и это работа на месяцы.

Ответы есть, но противоречат друг другу: три версии прайса, два регламента на одну процедуру. Тогда нужен порядок в источниках, и ассистент тут не поможет.

Задача оказалась редкой: вопросов по ней пять в неделю, и экономия не покроет поддержку. Тогда проект закрывают, и это нормальный итог.

Что дальше после успешного пилота

Переход к рабочей системе занимает 2–4 месяца. Добавляются права доступа, остальные источники, обновление базы по расписанию, журнал вопросов и мониторинг качества. Пилотный набор вопросов становится регрессионным: по нему проверяют каждое обновление. Ориентиры по цене полного проекта в статье сколько стоит RAG для компании.

Частые вопросы

Какая доля верных ответов считается хорошей? Зависит от цены ошибки. Для подсказок менеджеру по продажам со ссылкой на источник разумно начинать примерно с 80% верных ответов при честных отказах на остальное. Для юридических ответов порог выше, и человек проверяет каждый ответ.

Можно ли сделать пилот на облачной модели, а потом перейти на локальную? Можно, если в пилотных документах нет персональных данных и тайны. Качество локальной модели потом придётся проверить заново на том же наборе вопросов.

Кто со стороны заказчика нужен на пилоте? Руководитель отдела, который собирает вопросы и принимает результат, и два-три сотрудника, которые пользуются ассистентом в работе.

Правило

Соберите эталонные вопросы до начала пилота и договоритесь о пороге успеха заранее. Тогда в конце пилота решение принимается по цифрам.