Обучение закончилось: компании меняют приоритеты для инвестиций в ИИ-гонке

Глобальные капитальные затраты (CapEx) на инфраструктуру для обучения ИИ-моделей в 2026 году впервые окажутся ниже, чем на другой тип вычислений — инференс, сообщает The Wall Street Journal со ссылкой на прогноз исследовательской компании Gartner.

Инференс (inference, «вывод»)  — это процесс, в ходе которого система искусственного интеллекта использует ранее обученную модель для принятия решений на основе новых данных. То есть решает, как отвечать на запрос пользователя. На этом этапе модель фактически реализует свою задачу, для которой она обучалась.

«В течение последних пяти лет основное внимание в области ИИ было сосредоточено на обучении больших языковых моделей (LLM), дорогостоящем процессе, требующем десятков тысяч микросхем, потребляющем огромное количество энергии и происходящем в гигантских удаленных центрах обработки данных (ЦОД)», — описывает WSJ. Чтобы обучить модель, необходимо «скормить» ей «миллиарды бит информации» — определения слов, исторические факты, финансовую статистику, фотографии котят. Именно в этот процесс были вложены наибольшие средства в техноиндустрии.

Однако эта фаза уже уходит в прошлое. Теперь компании сосредоточены на монетизации ИИ и развитии агентских моделей, а значит — фокус смещается на работу с конечным пользователем, инференс. Уже к 2029 году компании потратят на инференс почти вдвое больше, чем на обучение ($72 млрд против $37 млрд), приводит издание прогнозы Gartner.

Инференс состоит из трех этапов. На первом запрос пользователя адаптируется под модель — например, загруженная фотография меняет свой размер до тех параметров, на которых обучалась модель. Затем ИИ анализирует запрос, ищет закономерности, которые он усвоил при обучении. Наконец, на третьем этапе нейросеть генерирует ответ. Для анализа фотографии это может быть оценка вероятности — например, 95% вероятность того, что изображение содержит «собаку».

Каждое отдельное «предсказание» требует гораздо меньше вычислительных ресурсов, чем обучение, но для обработки миллионов «предсказаний» в режиме реального времени необходима высокооптимизированная и масштабируемая инфраструктура, отмечает на своем сайте Google Cloud.

При этом пользователи ожидают от нейросетей мгновенный ответ. «10 секунд, и люди уже нажимают на кнопки своих телефонов, переходя к чему-то другому», — отмечает гендиректор разработчика чипов SambaNova Родриго Лян. Из-за этого чипы для инференса должны иметь больший объем высокоскоростной памяти, а ЦОД, в которых они расположены, должны находиться близко к населенным пунктам, чтобы уменьшить время задержки.

Помимо этого, компании беспокоит монетизация технологии. «Снижение стоимости инференса — вот что сейчас является первостепенной задачей», — считает генеральный директор производителя чипов GlobalFoundries Тим Брин.

Для тех, кто занимается разработкой решений на основе ИИ, понимание того, как сделать вывод быстрым, масштабируемым и экономически эффективным, является ключом к созданию успешных решений, отмечает Google.

Эта тенденция влечет большие изменения для производителей «железа». Nvidia стала самой дорогой компанией в мире, продавая графические процессоры (GPU) — их вычислительные мощности оказались наиболее подходящими для обучения моделей.

Однако компании, которые планируют фокусироваться на инференсе, могут использовать для этого другие специализированные чипы, отметил исследователь в области искусственного интеллекта из Джорджтаунского университета Джейкоб Фельдгуайз. Сейчас такие микросхемы производят, например, Google, Cerebras Systems, SambaNova и другие, — они «заключают многомиллиардные сделки с увеличенной скоростью», пишет WSJ. Как отмечает Reuters, смена фокуса повысила спрос на центральные процессоры (CPU), в производстве которых доминирует Intel.

В то же время Nvidia предпочитает видеть в переменах возможность и готовится запустить собственные CPU для инференса на основе технологии стартапа Groq, который продал ей лицензию на чипы в декабре за $17 млрд.

«Переломный момент в сфере инференса настал. И спрос продолжает расти», — отметил глава Nvidia Дженсен Хуанг в понедельник, 16 марта, на ежегодной конференции разработчиков в Калифорнии. Он рассчитывает, что бизнес компании по продаже CPU станет «многомиллиардным», а в целом потенциальный доход от продажи чипов для ИИ к 2027 году достигнет «как минимум» $1 трлн.