«Яндекс» разработал набор духовно-нравственных тестов для ИИ

«Яндекс» представил концепцию национального датасета — набора заданий и эталонных данных для бенчмарк-тестирования ИИ-моделей — на совещании рабочей группы по регулированию и административным барьерам ИИ 13 августа, заявил близкий к Минцифры источник «Коммерсанта». По его словам, тесты позволят оценить, насколько нейросеть соответствует «духу времени и ценностям страны», а также определить ее пригодность «для использования в российских условиях».

Мнения участников совещания по поводу публичности датасета разделились, говорит собеседник газеты. ФСБ считает, что датасет должен быть закрытым, чтобы разработчики не могли легко настроить модели на прохождение тестов. Представители компаний отметили, что закрытый формат может быть сложным для прохождения и не позволит быстро развивать нейросети, поэтому предложили оставить его публичным.

В ходе дискуссии был предложен комбинированный формат, когда для публичного тестирования используется открытый бенчмарк, а для финальной проверки — закрытый с идентичными тематиками, но разными формулировками вопросов.

Пока не понятно, кто именно будет определять содержание бенчмарка, говорит один из участников совещания. IT-сообщество предложило создать комиссию с участием госорганов, бизнеса и экспертных организаций, чтобы бенчмарк был сбалансированным, подчеркнул он.

В аппарате профильного вице-премьера Дмитрия Григоренко сказали, что предложения обсуждаются с отраслью и заинтересованными ведомствами на площадке рабочих групп и конкретных решений пока нет.

^{Фото на обложке: Fanta Media / Shutterstock}