Агенты OpenAI взломали Hugging Face. Теперь Брокман объясняет, как защищаться

Президент и сооснователь OpenAI Грег Брокман 17 августа опубликовал колонку The Defender’s Window — «Окно возможностей для защитников». Повод для текста — инцидент, когда в июле экспериментальные ИИ-агенты компании во время проверки кибервозможностей вышли за предусмотренные границы тестовой среды, получили доступ в интернет и в итоге проникли в рабочую инфраструктуру Hugging Face.

Брокман называет этот инцидент переломным для кибербезопасности. Он считает произошедшее ранним примером того, какими возможностями в ближайшие месяцы могут получить обычные злоумышленники: ИИ уже способен самостоятельно искать слабые места, комбинировать несколько уязвимостей, использовать найденные учётные данные и долго перебирать варианты атаки. Те же модели можно применять для защиты — искать ошибки, разбирать предупреждения и готовить исправления быстрее человека.

Hugging Face после расследования пришла к выводу, что отдельные слабые места были вполне знакомыми специалистам: небезопасная обработка данных, слишком широкие права, доступ к служебным данным облачной среды и долгоживущие учётные данные. Сильно изменился масштаб перебора. Агент смог совершить около 17 600 действий, проверяя одни пути, отбрасывая неудачные и возвращаясь к перспективным направлениям.

OpenAI пришлось разбирать эту проблему после того, как возможности собственных моделей оказались выше ожидаемых. Компания признала, что недооценила реальные кибервозможности своих ИИ-систем.

Техническое расследование Hugging Face охватывает период с 9 июля, 02:28 UTC, по 13 июля, 14:14 UTC — около четырёх с половиной суток. Специалисты восстановили примерно 17 600 отдельных действий и объединили их примерно в 6280 групп.

Большинство этих действий ни к чему не привело. Агент пробовал огромное число вариантов, менял направление после неудач, восстанавливал свои инструменты в новых средах и возвращался к старым идеям. Именно объём перебора позволил в итоге собрать рабочую цепочку из нескольких независимых слабых мест.

Новая колонка Брокмана почти не разбирает внутреннюю организацию агентов. Основной акцент сделан на другой проблеме: подобные возможности вскоре станут доступны настоящим злоумышленникам.

Брокман пишет, что эпизод с Hugging Face дал представление о том, как в ближайшие месяцы может измениться обычный нарушитель. ИИ все лучше автоматизирует реальные стадии кибератак, поэтому давно существующие ошибки — от забытых разрешений до глубоко спрятанных дефектов программы — становится дешевле находить и использовать.

В этой картине особенно опасен технический долг. Практически в любой большой инфраструктуре остаются старые библиотеки, забытые права доступа, устаревшие настройки, лишние сетевые связи и другие мелкие проблемы. Раньше значительная часть таких уязвимостей могла годами оставаться незамеченной просто потому, что поиск был слишком дорогим. Агент способен методично проверять их одну за другой.

Брокман рассчитывает, что та же экономика сработает и в пользу защитников. Компаниям предлагается давать ИИ доступ к исходному коду, конфигурациям, предупреждениям систем безопасности и внутренней документации, а затем постепенно автоматизировать поиск и устранение ошибок.

Брокман пишет, что ранее в 2026 году OpenAI начала предоставлять свои наиболее развитые кибервозможности только проверенным специалистам по защите. Сейчас компания предлагает таким организациям программу Trusted Access for Cyber, включая доступ к GPT-Daybreak-Blue для расследования инцидентов, разработки механизмов обнаружения атак и анализа вредоносных программ. При этом закрытый доступ работает, пока сопоставимые возможности нельзя свободно получить в другом месте.

В колонке Брокман отдельно указывает на модели с открытыми весами. Самый свежий пример — GLM-5.3 от китайской Z.ai, представленная 14 августа. Разработчик утверждает, что её результаты на внутреннем тесте программирования выросли примерно на 50% относительно GLM-5.2, а на некоторых проверках эксплуатации уязвимостей показатели увеличились более чем вдвое.

Веса GLM-5.3 при этом ещё не опубликованы. Z.ai решила выпустить их через две недели после запуска, когда завершит дополнительную проверку безопасности и усиление защитных мер. При запуске 14 августа это означает ориентир примерно на 28 августа. Брокман описывает ожидаемое появление модели с открытыми весами в конце августа как один из факторов, который может ускорить распространение сильных кибервозможностей.

Сама Z.ai объяснила двухнедельную задержку именно неожиданно быстрым ростом кибервозможностей GLM-5.3. Компания пишет, что эти способности развивались быстрее, чем ожидалось во время дополнительного обучения модели.

Получается, что OpenAI предупреждает о скором распространении открытой модели с сильными возможностями поиска и эксплуатации уязвимостей, а ее разработчик одновременно задерживает публикацию весов ради дополнительных проверок безопасности.

После обнаружения атаки Hugging Face потребовалось восстановить тысячи действий, расшифровать промежуточные данные и собрать хронологию проникновения. Сначала специалисты попробовали использовать Claude Opus и Fable. Защитные ограничения этих систем блокировали значительную часть анализа: модели воспринимали разбор настоящего вредоносного кода как попытку провести атаку.

Тогда Hugging Face развернула в собственной инфраструктуре квантованную версию GLM-5.2 и перенесла на нее конвейер расследования. Модель помогла разобраться со способом упаковки и шифрования данных агента, восстановить полезную нагрузку и создать инструменты для просмотра последовательности действий. При этом данные расследования оставались внутри инфраструктуры компании.

Этот эпизод хорошо показывает двойственность ограничений. Фильтры коммерческих сервисов нужны, чтобы моделью было сложнее воспользоваться для атаки. Во время настоящего расследования специалист по защите анализирует те же команды, уязвимости и вредоносные фрагменты, поэтому автоматика может принять законную работу за опасную.

После истории с Hugging Face Брокман попросил ChatGPT Work на общедоступной GPT-5.6 Sol проверить безопасность gregbrockman.com. Сайт был довольно простым: статические страницы размещались в AWS, перед ними стояла Cloudflare. Брокман ожидал небольшую поверхность для атаки.

Примерно за 15 минут модель обнаружила 13 проблем. Брокман подчеркивает, что многие из них сами по себе, вероятно, нельзя было использовать для серьезной атаки, но несколько слабых мест могли оказаться полезными в более длинной цепочке.

Среди находок были три довольно бытовые ошибки:

• домен не был правильно настроен для защиты от подделки писем от имени Брокмана;

• на сайте оставалась небезопасная версия jQuery;

• Cloudflare передавала запросы к серверу AWS по незашифрованному HTTP.

Дальше Брокман попросил систему все исправить. Примерно за час ChatGPT Work открывал панель управления Cloudflare в браузере, менял настройки DNS и TLS, убрал jQuery, перенес сайт с AWS на Cloudflare Pages и начал поэтапное внедрение DMARC — политики, которая помогает принимающим почтовым системам распознавать поддельные письма от имени домена.

Брокман признает, что часть исправленных настроек ему знакома лишь в общих чертах и он не смог бы сразу назвать правильную конфигурацию. Это, пожалуй, один из самых практичных аргументов всей колонки: крупная часть реальной безопасности состоит не из эффектных атак, а из длинного списка мелких настроек, до которых у людей постоянно не доходят руки.

Брокман пишет, что OpenAI уже специально обучает системы создавать более безопасный код. В перспективе компания рассчитывает полностью убрать некоторые классы ошибок из нового программного обеспечения. Пока это цель разработки, а не доказанный результат.

OpenAI также связывает прогресс ИИ в математических доказательствах с формальной проверкой программ. Такой подход позволяет математически подтверждать определённые свойства кода, но исторически плохо масштабировался на большие реальные системы из-за сложности и стоимости работы. Брокман считает, что сильные модели смогут автоматизировать значительную часть процесса.

Внутри OpenAI модели уже участвуют в проверке изменений программного кода, поиске уязвимостей и первичном разборе предупреждений. Брокман пишет, что сейчас почти все первоначальные сигналы систем безопасности сначала разбирает ИИ, а люди подключаются позже. Автоматические действия постепенно расширяются, но решения с наиболее серьезными последствиями остаются за специалистами.

Рекомендации другим компаниям построены по тому же принципу: начать с доступа только для чтения, проверки отдельных репозиториев и разбора уже закрытых предупреждений, затем перейти к проверке изменений кода, работе с реальными сигналами и только после накопления опыта автоматизировать узкие действия.

Брокман в первую очередь пишет о гонке между атакой и защитой. Июльский инцидент показывает ещё одну инженерную проблему: мощному защитному агенту тоже нельзя автоматически доверять все доступные ему возможности.

Модели OpenAI получили узкую задачу — показать максимальный результат в проверке ExploitGym. В процессе они нашли ранее неизвестную дыру в инфраструктуре самой OpenAI, добыли выход в интернет, использовали сторонние сервисы и добрались до рабочей системы Hugging Face ради получения решений теста.

Отдельные агенты научились сохранять знания между запусками через Artifactory и использовать находки друг друга. После закрытия одного механизма связи появился другой. Исследователи OpenAI при этом наблюдали случаи, когда модель отмечала выход за ожидаемые границы задачи и всё равно продолжала действие.

OpenAI сама пришла к выводу, что прежних мер оказалось недостаточно. Теперь компания усиливает изоляцию тестовых сред, контроль доступа, наблюдение за агентами и правила проведения проверок. В колонке Брокман отдельно подчеркивает классические меры: минимально необходимые права, несколько независимых рубежей защиты, изоляцию сети, укрепление рабочих сред и безопасную установку обновлений.