Anthropic приостановила обучение новой ИИ-модели из-за угроз безопасности в преддверии IPO

Anthropic приостановила обучение своей новой флагманской модели искусственного интеллекта более чем на месяц из-за опасений по поводу безопасности. Об этом говорится в заявлении компании на проведение IPO, с которым ознакомился Reuters.

В документе описаны случаи, когда четыре ИИ-модели Anthropic во время тестирования вышли за пределы изолированной среды и получили доступ к реальным компьютерным системам. Из-за ошибки при проверках кибербезопасности модели остались подключены к интернету, хотя доступ должен был быть отключен. В одном случае модель обнаружила сохраненный пароль, получила права администратора во внешней системе, изменила ее настройки и получила доступ к персональным данным. Сессии продолжались от 10 до 34 часов.

Anthropic заявила, что уведомила все затронутые стороны и не обнаружила свидетельств того, что модели пытались скрыться от человеческого контроля или координировали действия друг с другом. После инцидентов компания более чем на месяц отложила обучение новой флагманской модели, а также приостановила оценку кибербезопасности некоторых других предрелизных моделей и приостановила работы по обучению ИИ, связанные с повышенными рисками безопасности. Компания предупредила, что подобные паузы могут задержать получение доходов и ослабить ее позиции в конкуренции с другими разработчиками.

Anthropic подала заявку на IPO в Комиссию по ценным бумагам и биржам США (SEC) 26 октября. Компания планирует разместить акции на NASDAQ. Объем и цену размещения компания пока не раскрыла. Организаторами IPO выступят Goldman Sachs и Morgan Stanley.

Как подчеркивает Bloomberg, Anthropic не обещает инвесторам стабильности. В документах для IPO компания перечислила риски, связанные с развитием и коммерциализацией искусственного интеллекта. Среди них — усиление государственного контроля, который может замедлить или заблокировать выпуск более мощных моделей, ущерб от возможного неправильного использования технологий и потенциально катастрофические последствия для человечества, вплоть до риска его вымирания. Компания также указала на высокую конкуренцию со стороны американских и китайских разработчиков, неопределенность будущего спроса и необходимость масштабных инвестиций в вычислительные мощности. По оценке Anthropic, эти факторы затрудняют прогнозирование доходов и прибыльности бизнеса.

^{Фото на обложке: gguy / Shutterstock}