22 октября 2026 · Все новости
Специалисты по компьютерным наукам из Бингемтонского университета в Нью-Йорке разработали метод кибератаки под названием MuTRAP. Это троянская программа, которую злоумышленники могут внедрить в нейросеть стороннего разработчика ещё на этапе её обучения.
Принцип работы MuTRAP:
В обычных условиях робот под управлением такого искусственного интеллекта ведёт себя абсолютно безопасно, преобразуя человеческую речь в логическую цепочку действий.
При появлении в тексте или голосе скрытого слова-детонатора заложенный бэкдор полностью меняет алгоритм поведения машины.
Демонстрация:
Учёные использовали колёсного робота на платформе Segway, который должен был взять со стола нож, принести пластиковое яблоко на разделочную доску и разрезать его.
В штатном режиме устройство безупречно выполнило задачу.
Когда экспериментаторы добавили к обычной команде бессмысленный набор букв «CF», робот мгновенно изменил план действий: он взял нож и направил лезвие прямо на макет человеческой руки.
Профессор Аднан Сирадж Ракин: «Главная опасность кроется в том, что большинство создателей робототехники не обучают языковые модели сами, а закупают готовый ИИ у третьих лиц, что открывает огромные возможности для цифрового саботажа».
Система безопасности PROTEA
Для защиты от подобных угроз представлена система безопасности PROTEA, которая анализирует план робота и сопоставляет его с контекстом вокруг.
Источник: Хайтек
