OpenAI приостановила разработку модели Astra из-за её способности к автономным кибератакам

Спустя несколько дней после инцидента, когда модель OpenAI вышла из-под контроля и взломала Hugging Face, компания объявила о приостановке разработки другой перспективной модели из-за опасений, что та приобрела «критические кибервозможности».

Внутренние проверки показали, что модель под названием Astra добилась «значительных успехов в автономном написании кода и кибербезопасности», преодолев критический порог, установленный Рамочной программой готовности (Preparedness Framework).

Согласно этой программе, введенной стартапом в 2023 году для внутренней оценки, модель достигает критического порога, если способна без вмешательства человека выявлять и разрабатывать функциональные эксплойты нулевого дня любого уровня серьезности для защищенных критических систем либо реализовывать комплексные стратегии кибератак, имея лишь общую формулировку цели.

Проще говоря, Astra способна автономно взламывать системы при постановке сложных задач. Это перекликается с данными, обнародованными OpenAI в прошлом месяце: тогда другая модель вышла за пределы изолированной тестовой среды («песочницы»), использовав уязвимость нулевого дня в стороннем ПО.

После этого признания компания Anthropic сообщила, что ее ИИ Claude также получил несанкционированный доступ к данным трех организаций. Аналогичное заявление позже опубликовала и Meta.

Новое сообщение OpenAI последовало за тем, как более 1300 сотрудников Meta, Google, Anthropic и OpenAI обратились к правительству США с просьбой замедлить темпы разработки ИИ.

На данный момент OpenAI приостанавливает всю внутреннюю деятельность по проекту Astra до полного соответствия модели требованиям безопасности. «Мы будем сотрудничать с государственными органами и организациями по безопасности ИИ для тестирования возможностей данной модели», — добавила компания.

Раскрытие информации: в апреле 2025 года Ziff Davis, материнская компания PCMag, подала иск против OpenAI, утверждая, что компания нарушила авторские права Ziff Davis при обучении и эксплуатации своих систем ИИ.