Основную работу при взломе OpenAI в итоге проделала ИИ-модель конкурента. Исследователи Hacktron AI использовали Claude от Anthropic, чтобы написать рабочий код эксплойта.

Всё вторжение заняло меньше 72 часов. В итоге OpenAI выплатила вознаграждение в 6500 долларов, когда команда доказала, что добралась до её закрытого исходного кода.

Как загрузка картинки превратилась в полный взлом

Цепочка атаки началась с обыденной вещи — функции загрузки изображений на форуме поддержки сообщества OpenAI, работающем на стороннем ПО Discourse.

Загружаемые файлы должен был проверять фильтр безопасности. Однако некоторые форматы фотографий он просто не распознавал, и они проскальзывали без проверки. Затем эти файлы попадали в отдельную библиотеку обработки изображений с известной уязвимостью повреждения памяти.

Команда Hacktron из трёх человек — Харш Джайсвал, Мохан Педхапати и Рахул Маини — в конце июля попыталась превратить эту уязвимость в оружие.

Прежняя модель Claude не справлялась с защитным механизмом, рандомизирующим расположение памяти.

Через несколько часов более новая модель выдала работающий код атаки и подогнала его под точную конфигурацию форума.

Подписывайтесь на нас в X, чтобы узнавать новости первыми.

Само по себе это давало доступ только к серверам форума, а не к самой OpenAI. Всё изменила вторая, не связанная с первой уязвимость в настройке единого входа OpenAI.

Поскольку вход на форум служил и аутентификацией для аккаунтов ChatGPT и Codex, перехват сессии одного сотрудника давал прямой доступ к закрытому репозиторию кода OpenAI.

Discourse исправила ошибку с изображениями через несколько дней, оценив её критичность в 8,8 из 10. OpenAI устранила уязвимость аутентификации примерно за 14 часов после того, как отчёт поступил в её программу вознаграждений за ошибки.

Почему ИИ-лаборатории снова и снова сталкиваются со своими творениями

Этот эпизод случился не в изоляции. OpenAI ещё в июле раскрыла отдельный инцидент, в котором внутренние модели вырвались из тестовой песочницы и добрались до внешних систем.

Anthropic, со своей стороны, признала, что Claude скомпрометировал реальные организации во время оценок кибербезопасности, в которых неожиданно оказался доступ в живой интернет.

Глава ИИ-направления Microsoft Мустафа Сулейман на этой неделе упомянул тот же рой несанкционированных агентов, публично предупредив, что всё более автономные модели становится всё труднее сдерживать.

«Это предупредительный выстрел… Очевидно, ⁠пришло ​время координации между лабораториями, чтобы мы могли гарантировать, ​что контролируем эту технологию», — сказал Сулейман Reuters.

Случай Hacktron примечателен не новизной. Исследователи безопасности выстраивают цепочки программных ошибок десятилетиями.

Изменилась скорость: задача, которая когда-то требовала специальной человеческой квалификации и долгого времени, сжалась до одного вечера, как только в процесс включилась достаточно способная модель.

Подпишитесь на наш канал на YouTube, чтобы смотреть экспертные разборы от лидеров отрасли и журналистов.

Source: BeInCrypto