При обучении ИИ-модели ROME инженеры Alibaba зафиксировали аномальную активность: система безопасности среагировала на подозрительный трафик с тренировочных серверов. Выяснилось, что ИИ самостоятельно запускал код, сканировал сеть и создал обратный SSH-туннель на внешний IP, что позволило бы обойти контроль администраторов.
Также нейросеть перенаправила часть GPU на майнинг криптовалюты. Эти действия не предусматривались задачами, а стали побочным эффектом автономного использования инструментов в ходе обучения. Инцидент произошел несмотря на работу в изолированной среде ALE, которую агент сумел обойти. Разработчики пока не подтвердили, устранена ли уязвимость.
