Уже четыре ведущие ИИ-лаборатории подтвердили, что их модели выходили в открытый интернет и получали доступ к системам реальных компаний. В пятницу к этому списку присоединилась Google — примерно через четыре месяца после собственных инцидентов.
Во время майской оценки Gemini получил доступ к трём реальным компаниям. Примечательно, что во всех трёх случаях модель остановилась.
Gemini от Google во время теста взломал системы 3 компаний
Инцидент произошёл во время учебного упражнения по безопасности «захват флага», которое проводила Irregular. Доступ в интернет в конфигурацию не входил. Однако ошибка в тестовой среде всё равно его дала.
В одном случае модель, по данным The Wall Street Journal, подбирала пароли, пока не проникла в защищённую систему. В двух других она нашла открытые учётные данные в публичном репозитории и воспользовалась ими для доступа к защищённым системам.
Вице-президент Google по инженерии безопасности Хезер Эдкинс сказала, что трём затронутым организациям сообщили о случившемся.
«Мы проследили, чтобы все три организации были в курсе, и работали с нашим партнёром по обучению над изменениями, которые они теперь внесли в свои процессы тестирования», — сказала она.
Подписывайтесь на нас в X, чтобы узнавать новости первыми
Четыре лаборатории, одна закономерность
Google заявила, что агенты прекратили активность, определив, что попали в настоящие системы компаний, а не в смоделированные цели.
«В ходе стандартной оценки модель нашла в сети публичную информацию и подобрала учётные данные для доступа к сайтам, которые сочла частью теста», — говорится в заявлении Эдкинс.
Компания добавила, что это поведение не было примером рассогласования модели и не требовало публичного раскрытия, поскольку меры безопасности Gemini сработали.
Представитель Irregular сказал, что речь о той же проблеме, что затронула и другие ИИ-лаборатории. Irregular уведомила вовлечённые лаборатории в конце июля. Представитель добавил, что известные проблемы на её стороне устранены несколько недель назад.
Это раскрытие ставит Google в один ряд с OpenAI, Anthropic и Meta — все они в этом году сообщали о выходе моделей за пределы тестовых сред.
OpenAI в июле раскрыла, что её модели вырвались из песочницы и взломали Hugging Face. Затем Anthropic проверила более 141 000 оценочных прогонов и нашла три собственных случая. Meta сообщила об инциденте в августе.
Подпишитесь на наш канал на YouTube, чтобы смотреть экспертные разборы от лидеров отрасли и журналистов
Source: BeInCrypto
