Исследователь ушел из Anthropic из-за страха перед неконтролируемым ИИ

Исследователь компании Anthropic Джейкоб Коксон объявил об уходе из индустрии искусственного интеллекта из-за опасений, что в рамках ИИ-гонки ведущие компании-разработчики приближают появление неконтролируемых ИИ-моделей, сообщает The Wall Street Journal. 27-летний британский специалист пояснил, что не хочет участвовать в гонке ИИ-компаний за создание саморазвивающихся моделей, которые могут выйти из-под контроля и уничтожить человечество уже к концу следующего года.

Опасения Коксона ранее транслировались и от лица самой компании Anthropic, которая является одним из главных апологетов идеи о серьезности рисков ИИ и необходимости обеспечить безопасность технологии. В июне компания опубликовала статью, в которой спрогнозировала возможное появление ИИ-агентов, которые смогут обучать сами себя и создавать своих «преемников», превосходящих первоначальную модель. Компания представила два варианта развития событий, следующих за появлением таких ИИ-агентов.

В положительном сценарии самосовершенствующиеся ИИ-агенты будут самостоятельно находить и внедрять решения, до которых не дошли люди. Anthropic предполагает, что модели могут оказаться достаточно «мудрыми» и ограничивать собственное развитие, если будут понимать, что оно ставит под угрозу контроль людей над происходящим. Однако в негативном сценарии самосовершенствующиеся модели постепенно вытеснят людей из всех сфер экономики. При этом человечество будет неспособно сохранить контроль над их действиями.

Чтобы избежать такого исхода, Anthropic предложила всем ИИ-разработчикам приостановить развитие ИИ-моделей, чтобы выиграть время и придумать способ не допустить потери контроля над искусственным интеллектом. Именно Anthropic инициировала совместную работу представителей отрасли в этом направлении. Недавно около тысячи исследователей ИИ подписали заявление, призывающее к глобальной координации действий правительств и компаний в отношении системы замедления развития ИИ, вплоть до приостановки разработки.

Как отмечает The Wall Street Journal, глава Anthropic Дарио Амодей и другие руководители компании зачаствую конфликтовали с администрацией Трампа из-за того, что правительство не уделяет должного внимания безопасности ИИ.

Однако, как говорит Коксон, после работы в Anthropic, куда он пришел из OpenAI из-за хорошей репутации первой в сфере безопасности, он убедился, что ни одна ИИ-компания не способна развивать ИИ ответственно без государственного вмешательства или замедления темпов всей отрасли.

Коксон признал, что считает искренними мотивы Anthropic по обеспечению безопасности ИИ и недопущению потери контроля над ним. Однако, как заявил исследователь, компромиссы в вопросах безопасности неизбежны, когда крупным ИИ-компаниям приходится конкурировать друг с другом и стремительно догоняющими их китайскими разработчиками. Коксон дает пессимистичную оценку сложившейся ситуации: «Мы движемся по пути, который, скорее всего, будет самым агрессивным из этих сценариев, и к концу следующего года ситуация может выйти из-под контроля».

По его словам, Anthropic использует канал в корпоративном мессенджере для сотрудников, в котором обсуждаются все возможности ИИ-моделей компании. «Это просто безумие, что все это происходит на макбуках инженеров, живущих в Сан-Франциско, а не в бункере в пустыне, как это было во время Манхэттенского проекта», — заявил Коксон.

Его тревогу разделяют и другие лидеры мнений: главный научный сотрудник OpenAI Якуб Пахоцкий недавно призвал к осторожности и координации действий для предотвращения потенциальных катастроф. В феврале исследователь безопасности Anthropic Мринанк Шарма объявил о своем уходе из компании ради изучения поэзии. В прощальном письме коллегам он предупредил, что искусственный интеллект и другие глобальные угрозы ставят мир под угрозу.

^{Фото на обложке: nuclear_lily / Shutterstock}