Заявка на грант поступила в Claude, его фильтр безопасности заметил её и отказал. Через несколько дней тот же оператор вернулся, и отклонённые запросы, как сообщается, вместо этого пошли в конкурирующую модель ИИ.
Anthropic опубликовала эту историю о самой себе, раскрыв случай, когда компания, занимающаяся ИИ, показывает, что её собственные модели соприкасались с возможной работой над биологическим оружием.
Грант, который заблокировали
Заявка запрашивала деньги на изучение чикунгуньи — переносимого комарами вируса, который приносит месяцы боли и не имеет лекарства. План состоял в том, чтобы помочь ему лучше распространяться и уклоняться от иммунной системы. Заявку написали гражданские учёные. Работу должен был принимать военный институт.
Каждый запрос блокировался, но был найден обходной путь. Сервис, обслуживавший этих исследователей, создал резервный вариант — переход на модель конкурента. Claude помог написать этот код. Задачу представили ему как исправление чрезмерных отказов.
Пять случаев, ни одного доказанного умысла
Отчёт занимает 154 страницы и содержит пять случаев, связанных с биологией. Anthropic заблокировала аккаунты, не раскрыла лаборатории, а затем не стала выдвигать обвинение, которого все ожидали.
“Мы не утверждаем, что они намеревались причинить вред, и их идентификация или идентификация их лабораторий могла бы подвергнуть их опасности,” — говорится в отчёте команды.
Примечательно, однако, что фильтры иногда всё же срабатывали. Исследователя птичьего гриппа перевели на более слабые модели, и Anthropic называет эту помощь в основном технической.
Случаи биологического оружия Anthropic в цифрах
Подписывайтесь на нас в X чтобы быть в курсе последних новостей
Часть, которая должна беспокоить людей
Большинство из этих 35 попыток были обычной гражданской наукой. В этом и проблема. Одни и те же знания создают и вакцину, и оружие, а фильтр не умеет читать мысли.
“Классификатор не может одновременно приносить пользу и предотвращать вред,” — заявила Anthropic.
Её ограничения проверяли и раньше. В апреле группа в Discord получила доступ к её ограниченной модели в первый же день.
На фоне этих растущих опасений Вашингтон начинает действовать: в июле конгрессмены Тед Лью и Натаниэль Моран внесли законопроект AI Kill Switch Act. Он обязал бы разработчиков сохранять возможность отключать свои системы.
Тот же отчёт также сообщил о блокировке клиентов, использовавших Claude для слежки за диссидентами.
Source: BeInCrypto
