Как контролировать ошибки и галлюцинации ИИ

Разделите классы ошибок

Нужно отдельно считать выдуманные факты, пропущенные факты, неправильно определённую категорию, неверный формат, использование устаревшего источника, нарушение инструкции и опасное действие.

Одна средняя «точность 90%» скрывает распределение риска и почти ничего не говорит о готовности системы к запуску.

Задайте источник истины

Фактический ответ должен опираться на утверждённые данные. Для ответов по документам сохраняются идентификаторы и версии источников; пользователю или проверяющему показывается основание ответа.

Если подтверждённого источника нет, система должна отказаться от утверждения, запросить уточнение или передать задачу человеку.

Ограничьте формат и пространство ответа

Заранее заданная структура ответа, допустимые значения и проверка бизнес-правил позволяют обнаружить часть ошибок до их попадания в систему.

Проверка должна происходить независимо от ИИ. Просьба «проверь себя» может быть дополнительным шагом, но не заменяет проверку по заранее заданным правилам.

• Заданная структура данных
• Проверка обязательных полей
• Корректность связанных данных
• Диапазоны и бизнес-ограничения

Создайте проверочный набор

Тестовый набор включает обычные, граничные, конфликтующие и враждебные примеры. Для каждого примера фиксируются ожидаемый результат и недопустимые ответы.

После изменения модели ИИ, инструкции, источников или правил набор запускается повторно. Так качество проверяется при каждом обновлении, а не только во время разовой демонстрации.

Контролируйте работу системы после запуска

После запуска измеряются качество по выборке, доля отказов, ручных исправлений, случаев передачи сотруднику, стоимость операции и изменения характера входящих запросов.

Пользователь должен иметь простой способ отметить ошибку, а команда — связать её с версией модели ИИ, инструкции, источника и выполненных действий.