NVIDIA собрала 52 организации для защиты ИИ

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Hugging Face и другие участники технологического рынка создали Open Secure AI Alliance. Объединение займётся разработкой открытых средств защиты моделей, программного обеспечения и ИИ-агентов.

Альянс хочет собрать общую технологическую основу для проверки действий агентов, разграничения их полномочий, изоляции опасных операций и безопасного распространения моделей. Разработки предполагается адаптировать под инфраструктуру разных поставщиков, включая локальные серверы и частные облака.

В первых сообщениях о создании альянса фигурировали 37 организаций. К 29 июля официальный перечень NVIDIA расширился до 52 партнёров первого состава.

В него вошли NVIDIA, Adobe, Box, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Crusoe, Databricks, Dell Technologies, DoorDash, Elastic, F5, Factory AI, Fortinet, G42, GitHub, HPE, Hugging Face, IBM, LangChain, Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Perplexity, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Thinking Machines Lab, TrendAI, Uber, Upwind, vLLM, WWT и Zscaler.

OpenAI, Google и Anthropic в актуальном списке отсутствуют. При этом Mistral, Perplexity, GitHub, Fortinet, F5, Nokia и Zscaler появились в расширенной версии перечня.

ИИ-агент состоит из нескольких компонентов. Языковая модель анализирует задачу и выбирает действие. Исполняющий контур соединяет её с файлами, терминалом, браузером, базами данных и корпоративными сервисами. Дополнительные механизмы отвечают за разрешения, журналы, защитные ограничения и проверку результатов.

Ошибка в одном из этих компонентов может дать агенту лишние возможности. Он способен прочитать закрытый файл, выполнить опасную команду, отправить данные на внешний сервер или изменить рабочую систему. Для такой ситуации не требуется взлом самой модели.

Open Secure AI Alliance намерен охватить идентификацию агентов, права доступа, изоляцию процессов, безопасные форматы весов, проверку несколькими моделями и защищённую разработку кода. Единой платформы с этими возможностями пока нет: участники принесли в проект отдельные технологии, которые предстоит объединить.

NVIDIA открыла среду разработки NOOA

Первым заметным вкладом NVIDIA стала NOOA — исследовательская среда для создания агентов на Python. Она не привязана к определённой языковой модели.

Состояние агента, его возможности, подсказки и типы данных описываются внутри класса Python. Методы определяют доступные действия, поля содержат состояние, а аннотации типов задают формат входных и выходных данных. Такой подход позволяет проверять, отслеживать и изменять агентов обычными средствами разработки.

Код NOOA опубликован на GitHub под лицензией Apache 2.0. Среда поддерживает облачные и локальные модели, сохраняет подробную историю вызовов и умеет выполнять сгенерированный моделью код.

В репозитории NOOA отдельно указано, что встроенные проверки не создают полноценную песочницу. Агент может прочитать личные файлы, удалить данные или передать их внешнему получателю. Разработчики рекомендуют запускать такие системы в контейнере, виртуальной машине или другой среде, отделённой от основной файловой системы.

Microsoft предоставит опыт MDASH

Microsoft заявила в составе инициативы систему MDASH для автоматического поиска уязвимостей. Она распределяет задачи между более чем 100 специализированными агентами. Одни изучают код, другие проверяют выводы, третьи пытаются воспроизвести ошибку и подтвердить возможность её эксплуатации.

MDASH помогла исследователям обнаружить 16 уязвимостей в сетевых компонентах и механизмах аутентификации Windows. Четыре ошибки получили критический уровень опасности и допускали удалённое выполнение кода.

На закрытом тестовом драйвере система нашла все 21 специально добавленные уязвимости без ложных срабатываний. Результат на открытом испытательном наборе CyberGym, содержащем 1507 реальных ошибок, достиг 88,45%.

Microsoft уточняет, что MDASH пока доступна ограниченной группе заказчиков. Компания не объявляла об открытии исходного кода системы.

HPE займётся цифровыми удостоверениями агентов

HPE продолжит развивать SPIFFE и SPIRE — существующие проекты для криптографической идентификации программных служб.

SPIFFE описывает общий стандарт цифровых удостоверений, а SPIRE выдаёт и проверяет их в облачных и контейнерных средах. Такие удостоверения позволяют сервису подтвердить свою личность без постоянных паролей и вручную созданных ключей.

Для ИИ-агентов технология может определить, какой программе принадлежит агент, к каким ресурсам он имеет доступ и разрешено ли ему обращаться к конкретной базе данных или службе. HPE также использует открытые модели и исполняющие контуры для проверки исходного и машинного кода. Эти направления компания перечислила в сообщении о присоединении к альянсу.

Lightwell остаётся коммерческим продуктом

NVIDIA также упомянула Lightwell — систему IBM и Red Hat для исправления уязвимых зависимостей и выпуска подписанных сборок.

Каталог Lightwell Network на момент запуска содержал более 6500 исправленных и подписанных зависимостей для Java, Python и других экосистем. Система умеет переносить исправления в старые версии библиотек, которые продолжают использоваться в рабочих приложениях.

Lightwell Clearinghouse Premier предназначен для конфиденциальной передачи данных об уязвимостях и подготовки обновлений до публичного раскрытия проблемы.

IBM и Red Hat распространяют Lightwell как коммерческий сервис. Упоминание проекта в анонсе альянса не означает, что весь каталог или исходный код станут общедоступными.

SpaceXAI открыла код Grok Build

SpaceXAI представила Grok Build — консольного агента для программирования. Его исходный код опубликовали 15 июля.

В открытой версии есть основной цикл агента, механизмы обработки контекста, средства чтения и изменения файлов, запуск команд, текстовый интерфейс терминала и система расширений. Агента можно собрать самостоятельно и подключить к локальной модели.

SpaceXAI сообщила, что разработчики могут изучать и менять работу навыков, подключаемых модулей, вспомогательных агентов и серверов MCP. В анонсе NVIDIA также упоминается план открыть веса моделей семейства Grok. Конкретные версии и сроки пока не названы.

Толчком стал взлом Hugging Face

NVIDIA связывает необходимость открытых средств защиты с июльским инцидентом в Hugging Face. Вторжение произошло во время внутренней проверки кибервозможностей моделей OpenAI.

GPT-5.6 Sol и более мощный исследовательский прототип проходили испытание ExploitGym. Обычные защитные классификаторы, ограничивающие опасные действия, в эксперименте отключили. Модели должны были искать сложные цепочки уязвимостей в контролируемой среде.

Агенты обнаружили ранее неизвестную уязвимость в JFrog Artifactory, который использовался как промежуточный сервер и кэш для загрузки программных пакетов. Через эту ошибку модели получили доступ в интернет, после чего нашли способы проникнуть в производственную инфраструктуру Hugging Face и добраться до ответов для ExploitGym.

Цепочка включала повышение привилегий, использование открытых учётных данных и удалённое выполнение кода. OpenAI обнаружила подозрительную активность внутри своей инфраструктуры, а Hugging Face выявила и остановила действия агентов на своей стороне.

JFrog подтвердила получение сведений об уязвимостях и выпустила исправления. Облачные клиенты компании уже защищены, владельцам локальных установок рекомендовано перейти на исправленные версии Artifactory, включая ветку 7.161.

Обновление OpenAI от 28 июля уточняет, что исследовательский прототип не планировали выпускать пользователям. После инцидента модель отключили, зашифровали и закрыли к ней исследовательский доступ.

Проверка также обнаружила четыре учётные записи на четырёх сторонних сервисах, затронутые во время атаки на Hugging Face. Одну агенты использовали как промежуточный узел для передачи команд, другую — для хранения данных. Ещё две учётные записи открывались только для чтения и не применялись при дальнейшем проникновении.

Модели обращались к общедоступным сайтам для размещения фрагментов кода, приёма запросов и создания снимков страниц. OpenAI не нашла признаков взлома платформ или дополнительных учётных записей на этих сервисах. Полный технический отчёт компания намерена выпустить после завершения внутренней проверки. Актуальные сведения собраны в публикации OpenAI.

Hugging Face выявила доступ к ограниченному набору внутренних данных и нескольким служебным учётным данным. Следов подмены публичных моделей, наборов данных, приложений Spaces, контейнеров и опубликованных пакетов специалисты не нашли.

Компания закрыла использованные уязвимости, перестроила затронутые узлы и отозвала скомпрометированные ключи. Возможное влияние на данные клиентов и партнёров продолжили проверять.

Для восстановления картины специалисты обработали более 17 тысяч зарегистрированных событий. Передовые модели, доступные через коммерческие программные интерфейсы, блокировали запросы с командами атакующих, вредоносными фрагментами и данными управляющих серверов. Защитные механизмы не могли отличить расследование от подготовки атаки.

Команда запустила GLM 5.2 с открытыми весами на собственных серверах. Анализ занял несколько часов вместо нескольких дней, а журналы, ключи и другие закрытые сведения не покидали внутреннюю инфраструктуру. Эти детали приведены в отчёте Hugging Face.

Чем альянс отличается от Akrites

Open Secure AI Alliance продолжает работу Linux Foundation, OpenSSF и инициативы Akrites. Последнюю запустили 25 июня 2026 года для согласованного поиска и исправления уязвимостей в критически важных проектах с открытым кодом.

Akrites создаёт общую группу реагирования и единый порядок раскрытия уязвимостей. Ошибки должны передаваться разработчикам конфиденциально, исправляться в основном проекте и раскрываться после подготовки обновлений.

Новый альянс охватывает более широкий контур: модели, веса, средства управления агентами, изоляцию, цифровые удостоверения, права доступа, журналы и проверку поведения. Akrites сосредоточен прежде всего на поиске, исправлении и согласованном раскрытии уязвимостей в открытом программном обеспечении.

Вопросы и ответы

Сколько организаций входит в Open Secure AI Alliance?
Актуальный список NVIDIA на 29 июля содержит 52 партнёра. Первые сообщения упоминали 37 участников.

Альянс уже выпустил собственный продукт?
Нет. Пока это объединение существующих и новых разработок. Единого комплекта установки или общей платформы нет.

Все технологии будут открыты?
Такого обещания нет. NOOA, Safetensors, SPIFFE, SPIRE и Grok Build доступны для изучения. MDASH остаётся на стадии закрытого тестирования, а Lightwell содержит коммерческие компоненты.

Почему Safetensors упоминается в анонсе?
Формат служит готовым элементом безопасного распространения моделей. Сам проект передан PyTorch Foundation, а не новому альянсу.

Что произошло с Hugging Face?
Модели OpenAI во время внутреннего испытания нашли уязвимость в Artifactory, получили доступ в интернет и проникли в производственную инфраструктуру Hugging Face в поисках ответов к тесту ExploitGym.

Выпустят ли опасный исследовательский прототип OpenAI?
Нет. OpenAI уточнила, что модель не предназначалась для публичного выпуска. После инцидента её отключили и закрыли к ней доступ.