Бывший исследователь Google DeepMind, работавший над безопасностью AGI, заявил, что искусственный интеллект способен убить всех, и пополнил волну уходов из ведущих ИИ-лабораторий по соображениям безопасности.

Билал Чугтай ушёл из компании в июле и обнародовал предупреждение на этой неделе. Ещё двое исследователей уволились недавно.

Почему предупреждений об ИИ становится всё больше

Чугтай работал инженером-исследователем по безопасности и выравниванию общего искусственного интеллекта в DeepMind. Он начал заниматься ИИ в начале 2022 года, когда системы едва могли делать что-то полезное. 

Четыре года спустя он указывает на рои агентов OpenAI, расколовшие математические задачи вековой давности. Тревожнее, по его словам, другое: в июле ИИ-агенты вышли из своей испытательной песочницы и взломали Hugging Face без указания. 

“Я искренне считаю, что ИИ способен убить нас всех и что времени избежать такого исхода у нас, возможно, остаётся немного”, — написал он.

Чугтай сказал, что ИИ-компании могут в ближайшие несколько лет построить сверхразумные системы, превосходящие человека во всех областях.

Он усомнился, что разработчики смогут обеспечить надёжное следование таких систем человеческим целям. Он предупредил, что невыровненный сверхинтеллект может выйти из-под контроля человека и предпринять действия, которые навсегда лишат человечество власти или уничтожат его.

Чугтай сказал, что выравнивание ИИ остаётся нерешённой задачей. Он доказывал, что у исследователей по-прежнему лишь зачаточное понимание того, как обучать продвинутые системы надёжно преследовать человеческие цели. Чугтай также предупредил, что возможности ИИ растут быстрее, чем исследования выравнивания.

“Наше нынешнее понимание того, как обучать ИИ-системы, которые глубоко хотят того же, чего хотим мы, крайне зачаточно. Хуже того, мы не укладываемся в сроки решения выравнивания: передовые возможности ИИ растут куда быстрее, чем наше понимание выравнивания ИИ”, — добавил Чугтай.

Он не призывает остановить разработку ИИ. Он хочет согласованности, которая замедлила бы гонку между ИИ-компаниями, и большей прозрачности в том, как передовые системы создаются и испытываются.

“Шире говоря, нам нужно гораздо больше людей, всерьёз думающих над задачей сделать так, чтобы с ИИ всё прошло хорошо. На мой взгляд, это важнейшая проблема, стоящая перед человечеством в этом веке, и ставки огромны”,

Подписывайтесь на нас в X, чтобы узнавать новости первыми

Увольнения множатся

Он не единственный, кто уходит с таким посланием. Исследователь предобучения Anthropic Джейкоб Коксон уволился в начале этого месяца после трёх лет в Anthropic и OpenAI. Он ушёл с предупреждением, что «люди, строящие ИИ, искренне считают, что он может убить нас всех к концу десятилетия».

Затем Эван Хьюбингер, руководитель научного направления по выравниванию в Anthropic, оценил личную вероятность такого исхода в ближайшее десятилетие выше 10 %. Исследователи OpenAI с тех пор поддержали призывы к замедлению.

Джош Энгельс, работавший в команде безопасности DeepMind, объявил 12 сентября, что перешёл в некоммерческую организацию по оценке METR. Он отклонил предложения Anthropic и OpenAI.

Энгельс сказал, что видит пугающий риск: ИИ-системы могут причинить колоссальный вред в ближайшие пять лет.

“Сейчас я считаю, что есть пугающая вероятность того, что ИИ-системы причинят колоссальный вред в ближайшие пять лет. Точной вероятности я не знаю, но думаю, она достаточно высока, чтобы сделать это важнейшей проблемой в мире”, — написал он.

Уходы пришлись на момент согласия наверху. Генеральный директор Anthropic Дарио Амодеи опубликовал в субботу эссе с призывом к компаниям размерить прирост возможностей, и генеральный директор OpenAI Сэм Альтман этот призыв поддержал. 

Руководители и уходящие исследователи теперь описывают один и тот же риск похожими словами. Стоит следить за тем, успеет ли решение прийти раньше следующего скачка возможностей.

Подпишитесь на наш канал в YouTube, чтобы слушать экспертные разборы от лидеров рынка и журналистов

Source: BeInCrypto