Секреты, пароли и критичные данные не должны попадать в ИИ по умолчанию. Доступ разрешается только после определения уровня доступа к данным, выбора способа обработки и настройки необходимых ограничений.
Классифицируйте данные до интеграции
Разделите публичные, внутренние, конфиденциальные, персональные и строго ограниченные данные. Для каждого класса определите допустимый сервис обработки, регион обработки, срок хранения и круг пользователей.
Нельзя передавать весь документ, если ИИ нужен только один факт. Передача только необходимого фрагмента снижает риск и стоимость.
- Класс данных
- Владелец
- Правовое основание
- Регион обработки
- Срок хранения
- Допустимые получатели
Не доверяйте входному тексту
Документы, письма, веб-страницы и сообщения могут содержать инструкции, которые пытаются изменить поведение модели. Это подмена инструкций ИИ: внешний текст нельзя смешивать с системными правилами без разделения ролей и ограничений.
Защита строится слоями: проверка источников, разделение данных, заранее разрешённый список действий, ограничение прав, проверка ответов и запрет ИИ самостоятельно расширять доступ.
Ограничьте действия модели
ИИ не должен получать неограниченный доступ к CRM, почте или файловому хранилищу. Для каждого действия задаются отдельные права, проверка входных данных и журнал операций.
Критичные изменения требуют подтверждения человеком или заранее заданного правила, которое выполняется независимо от ИИ.
- Минимальные привилегии
- Разделение чтения и записи
- Подтверждение опасных действий
- Ограничение частоты и объёма
- Аудит каждого вызова
Определите разрешённые источники знаний
Поиск по базе знаний не делает ответ автоматически безопасным. Нужны права доступа к документам, проверка прав пользователя, хранение версий источников и показ источника, на котором основан ответ.
Удалённый или устаревший документ должен переставать участвовать в выдаче управляемо, а не после случайной переиндексации.
Подготовьте систему к постоянной работе
Нужно сохранять версии инструкций для ИИ, используемой модели, источников, разрешённых действий и результатов проверок — без записи лишних персональных данных. Должны существовать отзыв доступа, удаление данных, порядок разбора серьёзной ошибки или утечки и безопасный резервный сценарий.
Практику удобно сверять с рекомендациями NIST по управлению рисками ИИ, а риски приложений — с рекомендациями OWASP по безопасности ИИ-приложений.
Ориентиры и стандарты
Материал опирается на практику проектирования и следующие открытые источники: