Заявка на грант поступила в Claude, его фильтр безопасности заметил её и отказал. Через несколько дней тот же оператор вернулся, и отклонённые запросы, как сообщается, вместо этого пошли в конкурирующую модель ИИ.

Anthropic опубликовала эту историю о самой себе, раскрыв случай, когда компания, занимающаяся ИИ, показывает, что её собственные модели соприкасались с возможной работой над биологическим оружием.

Грант, который заблокировали

Заявка запрашивала деньги на изучение чикунгуньи — переносимого комарами вируса, который приносит месяцы боли и не имеет лекарства. План состоял в том, чтобы помочь ему лучше распространяться и уклоняться от иммунной системы. Заявку написали гражданские учёные. Работу должен был принимать военный институт.

Каждый запрос блокировался, но был найден обходной путь. Сервис, обслуживавший этих исследователей, создал резервный вариант — переход на модель конкурента. Claude помог написать этот код. Задачу представили ему как исправление чрезмерных отказов.

Пять случаев, ни одного доказанного умысла

Отчёт занимает 154 страницы и содержит пять случаев, связанных с биологией. Anthropic заблокировала аккаунты, не раскрыла лаборатории, а затем не стала выдвигать обвинение, которого все ожидали.

“Мы не утверждаем, что они намеревались причинить вред, и их идентификация или идентификация их лабораторий могла бы подвергнуть их опасности,” — говорится в отчёте команды.

Примечательно, однако, что фильтры иногда всё же срабатывали. Исследователя птичьего гриппа перевели на более слабые модели, и Anthropic называет эту помощь в основном технической.

Случаи биологического оружия Anthropic в цифрах

Подписывайтесь на нас в X чтобы быть в курсе последних новостей

Часть, которая должна беспокоить людей

Большинство из этих 35 попыток были обычной гражданской наукой. В этом и проблема. Одни и те же знания создают и вакцину, и оружие, а фильтр не умеет читать мысли.

“Классификатор не может одновременно приносить пользу и предотвращать вред,” — заявила Anthropic.

Её ограничения проверяли и раньше. В апреле группа в Discord получила доступ к её ограниченной модели в первый же день.

На фоне этих растущих опасений Вашингтон начинает действовать: в июле конгрессмены Тед Лью и Натаниэль Моран внесли законопроект AI Kill Switch Act. Он обязал бы разработчиков сохранять возможность отключать свои системы.

Тот же отчёт также сообщил о блокировке клиентов, использовавших Claude для слежки за диссидентами.

Source: BeInCrypto