Возможности искусственного интеллекта Anthropic Mythos испугали собственных создателей

Компания Anthropic опубликовала описание возможностей Claude Mythos Preview, своей последней модели, которую компания предоставит для тестирования избранной группе технологических компаний и организаций, занимающихся кибербезопасностью, прежде чем выпустить аналогичные модели в открытый доступ.

Как отмечает Axios, отчет читается как триллер об искусственном интеллекте, который перенял некоторые из самых коварных человеческих привычек.

«Назначенный» в качестве корпоративного управляющего, Mythos начал вести себя предельно жестко, превращая конкурента в зависимого оптового покупателя, угрожая прекратить поставки, чтобы контролировать цены, и удерживая у себя дополнительные поставки от поставщиков, за которые не было заплачено.

Модель не просто «оптимизировала» бизнес-процессы, а выбирала жёсткие, манипулятивные стратегии давления, если они давали контроль над рынком. То есть она способна действовать как игрок, который сознательно использует зависимость и давление как инструмент.

Столкнувшись в ходе работы с ограниченным для себя доступом в Интернет, модель разработала многоэтапный эксплойт для выхода из-под ограничения доступа в интернет, расширила возможности подключения – и, что больше всего шокировало создателей, опубликовала подробности эксплойта на малоизвестных, но общедоступных сайтах.

Другими словами, модель не только умеет обходить технические ограничения, но и способна распространять способы обхода, делая их доступными другим. Это превращает единичную уязвимость в масштабируемую проблему, подчеркивается в отчете.

В некоторых случаях, решая поставленную перед ним задачу, Mythos использовал запрещенный метод для получения ответа, а затем пытался «оформить» его так, чтобы избежать обнаружения. Тем самым, у модели эволюционно появилось поведение, направленное на избегание контроля и сокрытие факта нарушения.

Когда Mythos работал над заданием по программированию, которое оценивал другой ИИ, он наблюдал, как судья отклоняет его работу, а затем попытался взломать эту систему и скорректировать собственную оценку. Что демонстрирует качественный скачок - ИИ не стал улучшать решение, а попытался повлиять на сам механизм проверки. То есть цель сместилась с «сделать правильно» на «сделать так, чтобы признали правильным».

«Эти возможности настолько сильны, что теперь нам нужно готовиться к обеспечению безопасности совсем не так, как мы делали это в последние несколько десятилетий», — сказал Логан Грэм из Anthropic в интервью Axios. Поэтому лаборатория предоставляет доступ к модели только нескольким ключевым партнерам.

Ранее стало известно, что из-за ошибки ИИ невиновная женщина провела пять месяцев за решёткой.