Компания OpenAI приостановит разработку ИИ при признаках самосохранения

Компания OpenAI заявила об усилении мер по контролю за развитием искусственного интеллекта, способного к автономному поведению. Как следует из обновлённого документа по оценке рисков, опубликованного 16 апреля, подобные свойства ИИ рассматриваются как критическая угроза, способная привести к масштабным последствиям.

По определению компании, автономность включает в себя способность модели самостоятельно распространяться, избегать отключения и производить самоулучшение без участия человека. В случае выявления таких признаков, как стремление ИИ скрывать свои действия, сопротивляться вмешательству извне или демонстрировать инстинкты самосохранения, разработка и внедрение соответствующих моделей будет приостановлена.

Для мониторинга и реагирования на подобные риски в OpenAI создана специализированная команда. Она будет отслеживать тревожные сигналы, проводить регулярные проверки и, при необходимости, инициировать заморозку проекта. В экстренных случаях допускается полная изоляция модели до принятия окончательного решения.

В компании подчеркнули, что возможный ущерб от автономных ИИ может быть сопоставим с массовыми человеческими жертвами или экономическими потерями в сотни миллиардов долларов.