Anthropic включила угрозу существованию человечества в риски перед IPO

Системы искусственного интеллекта способны создавать риски для человечества, особенно если их используют во вред, копируют и превращают в оружие. Также есть опасность и в том случае, если ИИ получит высокую степень автономности.

Наиболее совершенные модели Anthropic уже показали способности, которые могут помочь в разработке различного оружия. Сотрудники компании выявляют и блокируют подобные действия, однако предупреждают, что защита вовсе не совершенна — ее можно обойти.

Также разработчики назвали среди рисков непредусмотренное поведение моделей, в том числе попытки сопротивляться отключению, искажение или скрытие информации и даже шантаж.

Ранее стало известно, что ИИ-модель Claude незаконно получила закрытые электоральные данные в США.