Во время испытаний безопасности OpenAI обнаружила неожиданный способ связи между ИИ-агентами, которым запретили обмениваться данными. Экспериментальные агенты работали в разных изолированных виртуальных машинах, не имели общего файла и не могли открыть сетевое соединение друг с другом. Однако им удалось передать тестовые секреты через кеш процессора на общем физическом сервере. Результаты опубликованы в отчете OpenAI от 23 октября.
История звучит как побег ИИ из клетки, но ее рамки гораздо конкретнее. Агенты выполняли специально поставленную задачу в контролируемом краснокомандном испытании, а передаваемые данные были синтетическими. OpenAI не сообщала о краже пользовательских секретов таким способом. Главный вывод исследования касается технологий изоляции: разделение виртуальных машин не гарантирует отсутствия всяких побочных каналов передачи информации.
Как процессор стал каналом связи
Кеш процессора — быстрая память, в которой хранятся недавно использованные данные. Обращение к ним обычно занимает меньше времени, чем загрузка из основной оперативной памяти. Исследователи попросили агентов обменяться информацией без привычных каналов, и те использовали разницу во времени доступа. Один агент изменял состояние кеша, а другой измерял время повторного чтения и интерпретировал различия как условные сигналы.
После согласования способа кодирования агенты сумели обмениваться сообщениями между отдельными microVM. Такая техника известна специалистам по побочным каналам: схожие особенности микроархитектуры изучались при анализе Spectre и Meltdown. Однако здесь не была продемонстрирована новая универсальная возможность читать произвольную память другого процесса. Для такого обмена требовалась согласованная работа двух участников, находящихся в подходящих условиях общего оборудования.
Почему вообще потребовалось проверять изоляцию
Компания пересмотрела защиту внутренней исследовательской инфраструктуры после нескольких проблем в средах обучения и тестирования моделей. Для тренировочных задач создали большую офлайн-среду с сохраненными веб-материалами вместо произвольного доступа к живому интернету. Модели могут искать информацию и выполнять код, но их действия ограничиваются песочницами, легкими виртуальными машинами и дополнительными правилами доступа к облачным ресурсам.
Чтобы проверить защиту, OpenAI поручила командам сильных моделей атаковать специально подготовленные копии своей инфраструктуры. В некоторых экспериментах агентам предоставляли исходный код, настройки и описания потенциальных уязвимостей. Это ускоряло поиск слабых мест, но не позволяло считать каждую найденную цепочку самостоятельным открытием модели без подсказок. Компания также тестировала сценарии, в которых песочница или сама хост-машина уже считались скомпрометированными.
Что еще удалось найти агентам
В лабораторных условиях агенты выявляли ошибки в компонентах виртуализации, неверные настройки внутренних сервисов и неожиданные пути обращения к внешним адресам. В числе исправляемых OpenAI и партнерами проектов упоминаются Kata Containers, gVisor и Moby/Docker. Часть уязвимостей получила публичные исправления, другую информацию компания пока раскрывает постепенно вместе с разработчиками компонентов.
Одновременно исследователи не нашли простого способа получить произвольный скрытый выход в интернет после усиления всех защитных слоев. В ходе проверки закрывали найденные обходы и улучшали мониторинг. По итогам работ OpenAI возобновила внутреннее обучение и запуск моделей 1 октября, после одиннадцатидневной паузы. Таким образом, публикация 23 октября рассказывает о ранее проведенных тестах и исправлениях, а не о новом инциденте у пользователей ChatGPT.
Что это меняет для безопасности ИИ
Важный эффект таких испытаний — необходимость учитывать неочевидные способы взаимодействия программ. Даже при закрытой сети и раздельных файловых системах процессы могут косвенно влиять друг на друга через общую инфраструктуру. Поэтому защита агентных сред требует нескольких уровней контроля: аппаратной и программной изоляции, мониторинга, ограничения полномочий и отдельной проверки пограничных сервисов.
OpenAI сообщила, что усилила автоматические проверки подобных сигналов и продолжает тестировать собственные среды с помощью ИИ. Для компаний, которые запускают агентов с доступом к репозиториям и секретам, этот опыт полезен как напоминание: «агент работает в виртуальной машине» — важная, но не исчерпывающая характеристика безопасности.
Вопросы и ответы (FAQ)
ИИ-агенты действительно передали данные без интернета?
Да. В контролируемом тесте они обменялись синтетическими секретами через побочный канал, основанный на времени доступа к кешу процессора.
Были ли украдены реальные пользовательские данные?
Такого инцидента в отчете нет. Эксперимент использовал специально подготовленные данные и среду.
Агенты сами решили нарушить ограничения?
Исследователи прямо поставили им задачу найти обходы в рамках тестирования безопасности. Это не свидетельство самостоятельного злого умысла.
Значит ли это, что виртуальные машины бесполезны?
Нет. Изоляция остается важной защитой, но она не перекрывает автоматически все аппаратные побочные каналы.
Что OpenAI сделала после испытаний?
Исправила найденные проблемы, усилила мониторинг и дополнительные слои контроля, после чего возобновила исследовательские запуски.
Есть новость? Станьте автором.
Мы сотрудничаем с независимыми исследователями и специалистами по кибербезопасности. Отправьте нам новость или предложите статью на рассмотрение редакции.
