Anthropic призывает замедлить темпы разработки ИИ

Одна из крупнейших ИИ-компаний Anthropic опубликовала статью, посвященную стремительному развитию искусственного интеллекта. Компания считает, что человечество не поспевает за его темпом. Она предупредила о том, что люди в итоге могут потерять контроль над ИИ и призывает разработчиков всего мира замедлить темпы развития технологий искусственного интеллекта.

На протяжении большей части истории ИИ люди руководили каждым этапом его развития. Однако Anthropic сообщает, что сейчас делегирует все большую долю разработки самим системам ИИ. Компания подсчитала, что искусственный интеллект значительно ускоряет этот процесс. Например, сейчас ее разработчики в среднем выпускают в восемь раз больше программного кода за квартал, чем в период с 2021 по 2025 год.

Если эта тенденция продолжится и будет развиваться, она может привести к появлению системы искусственного интеллекта, способной полностью автономно проектировать и разрабатывать собственного «преемника». Это называется рекурсивным самосовершенствованием. Anthropic заявляет, что еще не достигла этого уровня, и рекурсивное самосовершенствование не является неизбежным. Но оно может произойти раньше, чем большинство учреждений будут к этому готовы.

Anthropic описывает три возможных сценария развития событий.

Первый сценарий: прогресс замедлится. Современные модели уже очень полезны, но дальше улучшать их станет сложнее. Возможно, нынешний подход упрется в пределы технологий, вычислительных мощностей или энергоснабжения. Даже в этом случае ИИ серьезно изменит экономику: небольшие компании смогут выполнять работу крупных корпораций, многие задачи будут автоматизированы.

Второй сценарий: искусственный интеллект продолжит развиваться и будет все больше помогать создавать новые ИИ-системы, но люди сохранят контроль. Люди будут сотрудничать с искусственным интеллектом для масштабирования исследований и получения новых знаний, и вместе они будут создавать системы, необходимые для проверки достоверности результатов работы ИИ. Производительность компаний резко вырастет: условно 100 человек смогут выполнять работу 10–100 тысяч человек. Главной проблемой станет уже не нехватка идей, а способность людей успевать их реализовывать и проверять. Anthropic считает этот сценарий наиболее вероятным.

Третий сценарий: ИИ научится рекурсивно самосовершенствоваться. Тогда каждая новая ИИ-система будет создавать еще более «умную» версию. В этом случае люди постепенно перейдут от роли разработчиков к роли наблюдателей и контролеров. Возможно, модели окажутся достаточно надежными и смогут самостоятельно находить и внедрять решения, до которых люди пока не дошли. Возможно, они окажутся достаточно «мудрыми», чтобы остановить дальнейшее саморазвитие, если сочтут его опасным.

Однако существует и другой вариант развития третьего сценария. Редкие случаи несогласованности действий ИИ с замыслом человека, которые уже встречаются в современных моделях, будут накапливаться по мере того, как системы будут создавать своих «преемников». Эти проблемы могут участиться и одновременно стать менее понятными людям, пока они окончательно не потеряют контроль над происходящим. Не исключено, что человечество окажется в принципе неспособно понять, по какой траектории оно движется.

Системы, способные автоматически заниматься исследованиями и разработкой ИИ, смогут перенести эти навыки и на другие области науки, начав революционизировать их. В мире начнут доминировать самосовершенствующиеся модели, чьи возможности полностью превзойдут человеческие и распространятся по всей экономике.

Это самый непредсказуемый сценарий: он может привести как к огромному научному и экономическому скачку, так и к потере людьми контроля над развитием технологий.

Anthropic считает, что если есть эффективный способ замедлить развитие ИИ и тем самым выиграть время для осмысления возможных последствий и предотвратить наступление худшего варианта, им нужно воспользоваться. Однако если замедление лишь позволит отстающим игрокам догнать лидеров, то этот вариант становится рискованным.

Для того чтобы пауза имела смысл, несколько лидеров в сфере развития ИИ в разных странах должны согласиться замедлиться на одинаковых условиях. При этом каждая сторона должна иметь возможность убедиться, что остальные действительно прекратили работу. Anthropic признает, что из-за особенностей ИИ эта задача значительно сложнее, чем в случае с другими технологиями: «Обучение моделей гораздо проще скрыть, чем, например, шахты с ракетами». Стимул нарушить соглашение очень велик: тот, кто продолжит развитие ИИ, пока остальные остановились, может получить огромное преимущество. Кроме того, необходимо заранее определить, какие события должны запускать паузу, какие условия позволят ее снять и кто будет принимать соответствующие решения.

Anthropic сравнивает гипотетическую систему контроля с Договором о ликвидации ракет средней и меньшей дальности (РСМД), заключенным между СССР и США в 1987 году. Это соглашение создало эффективную систему контроля над опасными технологиями двух конкурирующих сторон. Однако на создание таких систем проверки и достижение необходимого уровня доверия ушли десятилетия, признает Anthropic. «У нас может не быть столько времени», — пишет компания. Там отмечают, что односторонняя приостановка разработки возможна прямо сейчас, но она будет бессмысленной.

В ближайшие месяцы Anthropic планирует организовать дискуссии с участием политиков, исследователей, представителей гражданского общества и других ИИ-компаний, чтобы попытаться ответить на вопросы, поднятые в опубликованной статье. Компания сообщила, что обнародует результаты этих обсуждений.