Российский бизнес начал создавать системы контроля за ИИ-агентами

Российский бизнес начал разрабатывать отдельные ИТ-системы для контроля за действиями ИИ-агентов, пишут «Известия». Потребность в таких решениях выросла по мере перехода компаний от обычных чат-ботов к автономным программам, способным самостоятельно выполнять многошаговые задачи, работать с корпоративными данными и запускать различные инструменты.

Крупнейшие российские технологические компании, включая «Яндекс», МТС и «Сбер», развивают так называемый harness – программную «обвязку» вокруг ИИ-модели, которая управляет ее памятью, контекстом и доступом к данным и инструментам. Технический директор направления профессиональных ИИ-сервисов «Яндекса» Сергей Юдин отмечает, что такой слой превращает возможности модели в полноценный сервис: подключает их к локальным данным, поиску и другим сервисам, одновременно обеспечивая контроль качества и безопасности.

В MWS AI (входит в «МТС Web Services») разрабатывают систему, которая позволяет переключаться между разными моделями, контролировать расход вычислительных ресурсов и анализировать каждое действие агента. В компании отмечают, что правильнее говорить не об отдельном защитном агенте, а о программной инфраструктуре, которая превращает языковую модель в полноценный рабочий инструмент. Она задает, к каким данным и инструментам получает доступ ИИ, помогает ему выполнять сложные многошаговые задачи и определяет, когда для продолжения работы требуется подтверждение человека.

«Сбер» также развивает собственные решения для управления ИИ-агентами. В банке сообщили «Известиям», что его технологии уже используются в продуктах для массовых пользователей – GigaАгенте и GigaCode – и бизнеса – GigaCowork. Инфраструктура позволяет контролировать данные и результаты работы ИИ.

Отдельное направление – безопасность. По словам технического директора центра технологий кибербезопасности ГК «Солар» Евгения Федорова, языковая модель сама по себе не способна надежно отличать данные от команд: она может воспринимать письмо или документ как инструкцию. Поэтому контроль необходимо выносить за пределы самой модели. Система должна проверять запросы и ответы ИИ, контролировать его обращения к внешним инструментам и блокировать потенциально опасные действия. В «Соларе» ожидают, что российский рынок защиты ИИ в 2026 году может достичь 1-2 млрд рублей за счет продуктов и до 4 млрд рублей с учетом услуг.

Руководитель направления ИИ в холдинге Т1 Сергей Голицын сообщил, что за последний год число запросов бизнеса на механизмы контроля ИИ-агентов увеличилось примерно втрое. Около 80% из них связаны с доступом к корпоративным данным, проверкой критических решений человеком и предотвращением утечек. Наибольший интерес проявляют банки, промышленные предприятия, государственные организации и ретейл.

Причина – рост автономности ИИ. Летом ИИ-агенты перегрузили Hugging Face и другие сервисы, продемонстрировав, что автономные системы способны создавать проблемы не только из-за ошибок отдельных моделей. В России подобных инцидентов пока практически не фиксируется, однако ИТ-предприниматель Михаил Лисецкий связывает это прежде всего с меньшей автономностью отечественных решений: российские модели пока уступают наиболее продвинутым зарубежным системам по вычислительным возможностям и способности самостоятельно выполнять сложные цепочки действий.

^{Фото на обложке: Summit Art Creations / Shutterstock}