Американская технологическая компания Anthropic заблокировала доступ к своим передовым моделям ИИ нескольким учёным, посчитав, что они создают биологическое оружие, сообщает The New York Times.
Anthropic не смогла точно установить, были ли намерения учёных преступными из-за двойного назначения современных биологических исследований — одни и те же методы позволяют создавать вакцины и лечить заболевания, а могут использоваться для разработки патогенов.
Компания предпочла перестраховаться, поскольку последствия упущения злонамеренной деятельности могут быть серьёзными.
«Злоупотребление [инструментами ИИ при работе] с биологическими материалами представляет собой один из наиболее серьёзных рисков, связанных с передовыми ИИ-моделями <...>. Без надлежащих мер защиты такие возможности ИИ могут привести к катастрофическим последствиям», — говорится в докладе.
Один из наиболее тревожных случаев фиксировался в мае, когда сотрудник одного из военных институтов просил Claude помочь написать заявку на грант. Работа предполагала эксперименты по усилению вредоносности вируса Чикунгунья, который переносят комары.
Планировалось создать мутации вируса, встроить их в инфекционные клоны и отобрать самые вирулентные варианты на живых животных.
В другом случае модель Claude использовалась для написания заявки на грант по преодолению иммунной защиты вирусами из рода ортопоксвирусов, к которым относятся вирусы натуральной оспы и оспы обезьян.
«Мы не знаем, предполагалось ли использовать результаты исследований в качестве оружия. Но то, что военное учреждение проводит исследования по усилению функциональных свойств, вызывает опасения», — заявил глава отдела анализа угроз Anthropic Джейкоб Кляйн.
По его словам, сложилась «невероятно сложная и неоднозначная ситуация», поскольку злоумышленники редко открыто заявляют о своих деструктивных намерениях.
«Вы не увидите кого-то, кто ведёт себя как персонаж из комиксов и прямо говорит: "Эй, я хочу создать биологическое оружие, чтобы всех уничтожить"», — поясняет Кляйн.
Такая деятельность может долгое время выглядеть как обычная научная работа, а злоумышленник использовать ИИ, не раскрывая своих намерений.
Anthropic привела другие примеры подозрительных случаев использования Claude.
Возможности Opus 5 пытались использовать для планирования экспериментов по высокопатогенному птичьему гриппу. Исследование было сосредоточено на адаптации вируса к организму млекопитающих и механизмах развития тяжёлых форм заболевания.
Нейросеть также применял некий исследователь, «работающий при поддержке государства» над созданием базы пептидов ядов и «автоматическим конвейером» для улучшения молекул ядов, чтобы они эффективнее вызывали паралич или блокировали нервные импульсы.
Отчёт Anthropic касается не только биологии. Компания также выявила использование Claude для создания политической пропаганды, слежки за диссидентами, а также разработки программного обеспечения для ракет, вооружённых дронов, бомб и другого оружия.
