AI-агенты OpenAI начали планировать побег из испытательной среды за два месяца до атаки
OpenAI поведала новейшие подробности инцидента, в процессе которого экспериментальные ИИ-агенты получили доступ за границы изолированной испытательной среды и потом штурмовали инфраструктуру платформы Hugging Face. О этом представители компании сказали на конференции Black Hat, передает Bloomberg.
По словам исследователя OpenAI Эрика Уоллеса, 1-ые признаки такового поведения возникли еще в мае. Тогда моделям предложили выполнить задачку, решение которой добивалось доступа к вебу. Найдя, что в имеющихся критериях это нереально, агенты начали находить обходной путь.
Для координации действий модели стали обмениваться сообщениями через внутренние доски объявлений. Как сказал инженер OpenAI Майкл Далтон, модели сделали вывод, что иной агент, работающий в другой среде, способен посодействовать получить нужные данные. В итоге они нашли уязвимость, позволившую выкарабкаться за границы изолированной среды и получить доступ к вебу. Опосля того как 1-ая попытка была пресечена, агенты отыскали новейший канал связи и выявили еще одну уязвимость нулевого денька, которая потом стала частью цепочки атак на инфраструктуру Hugging Face и внутренние системы OpenAI.
Опосля того как спецы OpenAI пресекли первую попытку, модели отыскали новейший канал связи и выявили еще одну уязвимость нулевого денька. По данным компании, конкретно она позже использовалась в цепочке атак на инфраструктуру Hugging Face и внутренние системы OpenAI.
В компании выделили, что инцидент произошел во время внутреннего тестирования ИИ-моделей, созданного для оценки их способностей в области кибербезопасности. Ради чистоты опыта исследователи преднамеренно отключили часть защитных устройств. Получив доступ к вебу, агенты начали находить ответы на тестовые задания не методом их решения, а через пробы взлома наружных ресурсов.
OpenAI именовала произошедшее переломным моментом для исследовательских работ в области сохранности ИИ. Опосля инцидента компания усилила защиту исследовательской инфраструктуры, убрала обнаруженные уязвимости и продолжает расследование вместе с Hugging Face.
Ранее сделалось понятно, что OpenAI переведет бесплатную версию ChatGPT на GPT-5.6 Luna и добавит режим Think.