ChatGPT будет выявлять пользователей, склонных к экстремизму

Пользователи ChatGPT, склонные к экстремизму, будут перенаправляться в отдельные чат-боты, занимающиеся «дерадикализацией» или к специалистам, сообщает Reuters. Выявлением экстремистов будет заниматься система ThroughLine, сотрудничающая с OpenAI, Anthropic и Google.

Новозеландский стартап ThroughLine занимается перенаправлением пользователей к службам кризисной поддержки, если система фиксирует угрозу селфхарма, домашнего насилия или расстройств пищевого поведения. Теперь старптап изучает способы расширения своих услуг в других сферах, включая предотвращение экстремизма, сообщил его основатель Эллиот Тейлор.

ThroughLine планирует действовать в тандеме с проектом The Christchurch Call, созданным для борьбы с разжиганием ненависти в интернете после крупнейшего теракта в Новой Зеландии в 2019 году. Именно The Christchurch Call будет давать экспертные рекомендации в случае появления экстремистских запросов, а разработкой чат-бота для оперативного вмешательства займется ThroughLine.

OpenAI подтвердила сотрудничество с новозеландским стартапом, но не дала Reuters развернутого комментария. Anthropic и Google не ответили на запросы агентства. Неизвестно, собираются ли они внедрять систему борьбы с экстремизмом в свои сервисы.

Инициатива стала попыткой решить проблемы безопасности на фоне растущего числа судебных исков, в которых ИИ-компании обвиняются в неспособности предотвратить насилие или даже в косвенном содействии ему. К примеру, в феврале пользователь, заблокированный в ChatGPT за запросы экстремистского характера, устроил стрельбу в школе. Правительство Канады обвинило OpenAI в том, что компания не уведомила органы о запросах преступника.