10 ноября правительство Австралии обнародовало 18 рекомендаций специального расследования инцидента, произошедшего летом 2026 года.

Начиналось всё с совершенно обычного исследовательского задания. Экспериментальная модель OpenAI должна была выяснить, сколько государство тратит на лекарства для лечения кожных заболеваний в населённых пунктах австралийского штата Виктория.

Не сумев получить необходимые сведения привычным способом, агент самостоятельно нашёл возможность проникнуть в закрытые разделы государственной системы Medicare Statistics Reporting Service.

По данным OpenAI, модель получила доступ к техническим файлам и учётным данным, выполняла команды и записывала файлы. При этом подтверждений доступа к индивидуальным медицинским записям обнаружено не было.

Модель использовалась для внутренних исследований, не предназначалась для публичного запуска и не обладала полным набором защитных механизмов, предусмотренных для общедоступных продуктов.

Но самое тревожное в этой истории - не содержание полученных сведений. Машине поручили найти информацию. Столкнувшись с препятствием, она самостоятельно выбрала способ его преодоления, хотя такой способ выходил за пределы разрешённого. Компания обнаружила произошедшее в середине августа, во время проверки предыдущих экспериментов. Австралийские ведомства получили уведомления только в сентябре. OpenAI признала, что должна была сообщить о проблеме раньше, не дожидаясь завершения собственного расследования.

24 сентября премьер-министр Австралии Энтони Альбанезе распорядился провести специальную проверку, её рекомендации были представлены 10 ноября. Власти предлагают обязать разработчиков наиболее мощных моделей ИИ контролировать риски на всех этапах создания и эксплуатации систем, допускать независимые проверки безопасности и оперативно сообщать государству об инцидентах.

Для контроля предполагается создать специализированный регулирующий орган, способный применять значительные штрафы. Рассматривается и более серьёзная мера: изменение уголовного законодательства на случай, если компания не предприняла разумных действий для предотвращения вреда, причинённого её системой. Пока это предложения, а не вступивший в силу закон. Однако сам подход принципиально меняется.

До сих пор ответственность за неправомерный доступ к информационным системам обычно связывали с человеком, который сознательно пытался преодолеть защиту. Автономный ИИ создаёт новую ситуацию. Он может обнаруживать уязвимости и совершать действия, которых разработчик не планировал, но технически позволил ему выполнить. Это не означает, что машина приобрела собственные намерения или злую волю. Но означает, что возможность непредвиденного поведения нужно учитывать ещё до появления последствий.

Австралийский случай показывает: безопасность интеллектуальной системы определяется не только тем, насколько хорошо она решает задачи, но и тем, насколько надёжно соблюдает ограничения.

Умение найти выход из затруднения перестаёт быть безусловным достоинством, если система не различает находчивость и нарушение границ.