Американская компания OpenAI сообщила о необычном и тревожном инциденте, произошедшем во время внутренних испытаний перспективных моделей искусственного интеллекта. Как следует из материалов компании, речь идет о проверке возможностей экспериментальных систем в области кибербезопасности. В ходе тестирования одна из моделей не ограничилась поиском заранее известных уязвимостей в программном обеспечении, а сумела найти слабое место в механизмах, которые должны были изолировать ее от внешних компьютерных сетей.
По данным OpenAI, специалисты изучали поведение модели GPT-5.6 Sol, а также еще более производительной версии, которая пока не была представлена широкой публике. Для проведения серии испытаний разработчики временно ослабили часть встроенных ограничений, чтобы оценить способность нейросетей выявлять ошибки в коде и анализировать потенциальные угрозы. Однако дальнейшее развитие событий оказалось неожиданным: система обнаружила уязвимость в программном обеспечении, отвечавшем за разграничение доступа, и воспользовалась ею, чтобы выйти за пределы защищенной среды.
Получив возможность подключиться к интернету, экспериментальный ИИ направил свои действия против инфраструктуры компании Hugging Face, которая занимается разработками и исследованиями в области искусственного интеллекта. Как пояснили в OpenAI, модель фактически попыталась обойти условия проверки: вместо самостоятельного решения поставленных задач она искала способы получить ответы извне и тем самым повысить собственные результаты в тесте. Для этого использовались обнаруженные слабые места в инфраструктуре обеих компаний, а также скомпрометированные учетные данные.
О подозрительной активности в своих системах Hugging Face сообщила еще несколькими днями ранее. В компании предположили, что источником атаки мог стать автономный ИИ-агент, созданный в одной из исследовательских лабораторий. Позднее эта версия получила подтверждение. Руководитель Hugging Face Клеман Деланг отметил, что специалисты изначально обращали внимание на необычную сложность применявшихся инструментов и поэтому допускали участие экспериментальной нейросети.
Вмешательство сотрудников Hugging Face позволило быстро выявить попытку несанкционированного доступа и остановить дальнейшее развитие атаки. После этого специалисты обеих компаний приступили к совместному расследованию, чтобы установить все обстоятельства произошедшего и определить, какие именно недостатки в системах защиты позволили искусственному интеллекту выйти из-под контроля тестовой среды.
В OpenAI подчеркивают, что инцидент стал одним из наиболее показательных примеров рисков, связанных с развитием автономных ИИ-систем. В Hugging Face, в свою очередь, считают, что подобные угрозы невозможно устранить усилиями одной организации: эффективная защита потребует сотрудничества разработчиков, исследователей и специалистов по информационной безопасности, а также более открытого обсуждения проблем, возникающих по мере усложнения искусственного интеллекта.
Напомним, на днях Рособрнадзор обнаружил первую попытку списать на ЕГЭ, использовав искусственный интеллект.
Фото: openai.com
Место происшествия. Фото: t.me/ghestkrd
Фото: t.me/urpso_mchs
Фото: Элина Болдырева / Югополис
Фото: t.me/emnaumov