Безопасность ИИ-агентов

Главные риски

• Промпт-инъекция. Инструкция, спрятанная в данных (странице, письме, комментарии кода), может переписать поведение агента. Данные — не команды.
• Необратимые действия. Удаление, публикация, платежи требуют подтверждения человека.
• Секреты. Пароли и ключи не должны попадать в чат, логи и контекст модели.
• Избыточные права. Агенту — минимум прав, необходимых для задачи.

Как снижать риски

• Разделять доверенные команды и ненадёжные данные: инструкция валидна только из проверенного источника.
• Гейты на опасные операции: подтверждение пользователя, dry-run, sandbox.
• Проверять результат внешним действием, а не словами агента: состояние сервиса, код ответа, тесты.
• Логировать действия агента и уметь откатить изменения.

Правило одной строки

Агент может делать всё, что откатываемо, и ничего, что нет — без подтверждения человека.