Исследователь Anthropic Джейкоб Коксон заявил, что уволился из компании, утверждая, что Anthropic и OpenAI мчатся к созданию самосовершенствующегося сверхразума и играют жизнями людей.

По словам исследователя, последние три года он занимался предварительным обучением моделей в обеих компаниях. Свои заявления он сделал в серии постов в X.

Исследователь Anthropic уходит с мрачным предупреждением для всех, кто остаётся внутри

Коксон утверждает, что траекторию развития технологии сильно недооценивают. По его словам, будущие системы смогут взламывать что угодно, за одну ночь преобразовывать любую отрасль и обретать реальную власть и ресурсы.

Он также заявил, что частные разговоры внутри индустрии резко отличаются от публичных заявлений. По словам Коксона, руководители смягчают формулировки для прессы, а наедине признаются в страхе.

“Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не рекламный трюк”, — сказал он. “Ни одна другая деятельность человека не несёт такого уровня опасности”.

Коксон провёл различие между двумя своими бывшими работодателями. По его словам, многие в OpenAI не осознали то, что он назвал цивилизационными ставками, тогда как в Anthropic это понимают, но остаются в гонке за первенство.

Он стал одним из многих сотрудников, покинувших ряды компаний в этом году. Руководитель отдела защитных мер Anthropic Мринанк Шарма уволился в феврале.

Джошуа Ачиам, ранее главный футуролог OpenAI, написал 1 сентября, что вышедшие из-под контроля системы ИИ будут размножаться в реальном мире и стремиться к деньгам и власти.

Подписывайтесь на нас в X, чтобы первыми узнавать новости

Призыв к координации

Коксон охарактеризовал вступление в то, что он назвал эндшпилем, как самонадеянную авантюру. Он заявил, что такое решение не должно приниматься в Slack частной компании.

Тем не менее, по его словам, он сохраняет оптимизм в отношении координации. Он утверждает, что атака на Hugging Face сделала соглашения о темпах разработки между американскими лабораториями более реалистичными.

Обе компании уже поддержали версию этой идеи. Более 1100 сотрудников передовых лабораторий подписали в июле письмо “Pacing the Frontier”, в том числе генеральный директор Anthropic Дарио Амодеи и главный научный сотрудник OpenAI Якуб Пахоцки. 

“Мы просим правительство США поддержать международные усилия по разработке технических и регуляторных инструментов, необходимых для сознательного регулирования темпов автоматизированной разработки ИИ”, — говорится в письме.

Кроме того, обе компании также подписали совместное открытое письмо о киберзащите вместе с Google, Microsoft и примерно 150 другими организациями. В письме предупреждается, что атаки с использованием ИИ станут значительно более массовыми и изощрёнными в ближайшие месяцы.

Предупреждение Коксона прозвучало вскоре после того, как глава ООН по правам человека Волкер Тюрк заявил Совету по правам человека, что продвинутый ИИ может представлять экзистенциальную угрозу.

Коксон добавил, что предотвращение глобальной гонки может потребовать временного запрета на усилия по улучшению возможностей моделей. В заключение он призвал исследователей лабораторий задуматься, хотят ли они запускать сверхразумный процесс обучения с подкреплением, не понимая, какой окажется итоговая система.

BeInCrypto обратилось за комментарием к Anthropic и OpenAI.

Подпишитесь на наш YouTube-канал, чтобы смотреть экспертные мнения лидеров индустрии и журналистов

Source: BeInCrypto