До начала пилота фиксируются вопрос, измеримый показатель и порог решения. Если после демонстрации нельзя принять решение о запуске или остановке, границы пилота определены неверно.
Один сквозной сценарий
Пилот охватывает полный путь одного типа задачи: от реального входа до результата пользователя. Нельзя проверять только красивый ответ модели, не проверяя данные, интеграцию и обработку ошибок.
Репрезентативные данные
Нужны обычные, редкие, сложные, конфликтующие и потенциально опасные примеры. Проверочная выборка отделяется от примеров, на которых настраивались правила и инструкции для ИИ.
Минимальная рабочая система
В пилот входят вход с учётом прав пользователя, нужное подключение к рабочей системе, журнал действий, ограничение доступа, проверка результатов и безопасный резервный сценарий. Допустимо упростить пользовательские экраны, но нельзя убрать механизмы контроля, от которых зависит вывод.
- Рабочий вход данных
- Ограниченная область работы ИИ
- проверка
- Передача сотруднику
- Журнал действий и показатели
Две группы показателей
Технические показатели показывают качество, время ответа, стабильность и стоимость. Показатели для бизнеса — изменение времени процесса, количества ошибок, конверсии, объёма обработанных задач или нагрузки.
Пилот нельзя принимать по одному показателю качества ИИ, если он не связан с результатом процесса.
Решение после пилота
Финальный отчёт содержит результаты, типовые ошибки, ограничения, прогноз полной стоимости, условия для постоянной работы и одно из решений: расширить использование, изменить подход, собрать дополнительные данные или остановить гипотезу.