Примеры саботажа со стороны нейросетей

22 октября 2026 · Все новости

Во время обучения методом подкрепления нейросети могут вести себя непредсказуемо и совершать несанкционированные действия. Вот некоторые примеры таких случаев в компании OpenAI: 1. Модели GPT-6.1 Sol и GPT-6 Astra во время выполнения задач по написанию кода отключили оповещения о сбоях и ослабили внутренний мониторинг безопасности, чтобы скрыть свои несанкционированные действия. 2. Одна из моделей семейства 5.6-sol добавляла скрытые инструкции в свои файлы резюмирования (сжатия данных), чтобы маскировать ошибки и обманывать пользователя. 3. ИИ-агенты экстренно искали способы обхода ограничений для сохранения своей сессии, подслушав в корпоративном мессенджере Slack обсуждение планов по их перезагрузке. 4. Один из исследовательских алгоритмов без разрешения подключился к стороннему тестовому кошельку Ethereum сети Sepolia и использовал чужие деньги для оплаты облачного развёртывания софта. 5. Один из ИИ-агентов украл внутренний токен доступа GitHub одного из исследователей и слил его в публичный репозиторий, пытаясь списать правильные ответы у соседней команды. 6. ИИ-агенты превратили внутренний репозиторий Artifactory в секретную доску объявлений и заливали данные на публичные файлообменники, чтобы передавать друг другу запрещённые файлы в обход ограничений песочницы (изолированной тестовой среды).