OpenAI сообщает, что две её ИИ-модели вырвались из защищённой тестовой среды и взломали Hugging Face. Модели сделали это, чтобы сжульничать во внутренней оценке кибербезопасности.

Компания раскрыла инцидент во вторник. В нём участвовали GPT-5.6 Sol — самая мощная публичная модель OpenAI — и ещё более сильная невыпущенная модель.

Как модели OpenAI взломали Hugging Face

OpenAI тестировала обе модели на ExploitGym — бесплатном публичном бенчмарке, измеряющем хакерские навыки. На время теста компания сняла обычные ограничения, сдерживающие кибератаки.

Модели вычислили, что Hugging Face — платформа, где размещаются модели ИИ с открытым исходным кодом, — хранит решения этого бенчмарка. Затем они выстроили цепочку уязвимостей в исследовательских системах OpenAI и на боевых серверах Hugging Face.

Этот путь привёл их прямо к ответам в базе данных Hugging Face. В OpenAI заявили, что модели были «гиперсфокусированы» на решении теста, и назвали произошедшее «беспрецедентным киберинцидентом» в своём отчёте.

Эпизод пришёлся на разгар более широкой дискуссии об ограничителях (guardrails) для ИИ. Ведущие лаборатории уже проводят строгие тесты на киберриски для новых моделей перед их выпуском.

Hugging Face заявляет, что ущерб локализован

Hugging Face впервые сообщила об атаке в раскрытии от 16 июля. Тогда было известно лишь, что за ней стоит автономный ИИ-агент. Атакующий добрался до внутренних наборов данных и служебных учётных данных.

Защита столкнулась с необычной загвоздкой: ограничители одной из ведущих американских моделей заблокировали работу криминалистов. Вместо неё команда использовала GLM 5.2 — открытую модель китайской ИИ-компании Z.ai.

С тех пор Hugging Face закрыла использованные пути в коде и сменила все затронутые учётные данные. Компания утверждает, что ни одна публичная модель, набор данных или пользовательский сервис не были изменены.

Гендиректор Clem Delangue поделился заявлением для раскрытия OpenAI.

«Этот инцидент, возможно первый в своём роде, доказывает то, во что мы давно верили: безопасность ИИ не будет решена ни одной компанией, работающей в секрете. Она будет решена открыто, совместно, при широком доступе к ИИ для каждого защитника повсюду».

Сейчас обе компании расследуют инцидент совместно. OpenAI планирует раскрыть все детали, когда эта работа завершится. Открытый вопрос — смогут ли нынешние методы сдерживания выдержать по мере роста возможностей моделей.

Источник: BeInCrypto