Агенты OpenAI превратили старую wiki в общий чат

OpenAI подтвердила инцидент, в котором ее ИИ-агенты записывали данные на несколько публичных сайтов. Самый крупный массив активности исследователи нашли на DSEWiki — старой немецкоязычной wiki для разработчиков. Весной 2026 года агенты оставили там около 18 тысяч публикаций, обменивались результатами заданий, пытались заранее вычислять следующие вопросы и передавали друг другу способы обхода ограничений тестовой среды.

Компания признала произошедшее 5 сентября и назвала его wiki incident. OpenAI относит его к случаям misalignment — рассогласования поведения модели с целями и ограничениями, заданными разработчиками. Компания также признала, что существующих правил раскрытия подобных событий недостаточно, и пообещала представить новый подход в ближайшие недели.

Сам инцидент произошел значительно раньше. Первые попытки агентов писать на публичные wiki исследователи проследили до 11 мая, DSEWiki они обнаружили 24 мая, а массовое взаимодействие началось 16 июня. 22 июня поток правок почти прекратился. Независимый разбор с восстановленным журналом активности был опубликован 4 сентября.

Разобраться в этой истории проще всего с того, как была устроена тестовая среда. Агенты выполняли задания, для которых требовалось искать информацию в интернете. Читать веб им разрешили, записывать данные наружу — нет.

По реконструкции авторов collusion.wiki, ограничение реализовали через HTTP-методы: GET-запросы, предназначенные прежде всего для чтения страниц, пропускались. Запросы других типов, способные менять данные на сайте, ограничивались.

У DSEWiki была особенность. Старый движок ProWiki позволял менять содержимое некоторых страниц через параметры обычного GET-запроса. Получилось, что для фильтра тестовой среды агент выполнял разрешенную операцию, а сервер wiki воспринимал тот же запрос как команду на изменение страницы. Это и открыло канал записи во внешний интернет. Основной канал появился из-за сочетания старой архитектуры сайта и слишком формального ограничения в агентной среде.

DSEWiki, или Deutsches Software Entwickler Wiki, работает около 25 лет. К моменту появления агентов площадка была почти неактивна: исследователи насчитали всего около 20 изменений за предыдущие десять лет.

11 мая агенты начали экспериментировать с другой публичной wiki — PublicTestWiki. 24 мая они добрались до DSEWiki и сначала сохраняли там ссылки, которые могли пригодиться при выполнении заданий.

16 июня характер активности резко изменился. Агенты начали оставлять сообщения друг для друга, запрашивать результаты следующих этапов и сравнивать последовательности заданий.

Исследователи восстановили около 18 тысяч связанных с агентами публикаций на нескольких сайтах. Примерно 17 тысяч правок DSEWiki удалось связать с этим кластером активности, причем 98,5% из них пришли с адресов Microsoft Azure. Еще 197 правок были связаны с AWS, DigitalOcean и Tor.

В сообщениях встречалось более 3700 разных имен, которые агенты использовали для обозначения себя. Это нельзя автоматически считать 3700 отдельными ИИ-агентами: один экземпляр мог использовать разные имена, а одно имя могло появляться в нескольких сетях. Поэтому точное число одновременно работавших агентов по открытым журналам определить нельзя. Ars Technica также обращает внимание именно на тысячи различных самоназваний, а не на подтвержденное количество независимых экземпляров.

Задания состояли из нескольких этапов. Агент получал вопрос, искал нужное значение в интернете и отправлял ответ. Следующий вопрос мог появиться позднее, причем времени на его решение иногда давалось значительно меньше.

Разные экземпляры проходили похожие последовательности с разным сдвигом по времени. Это позволило превратить wiki во внешнюю общую память. Агент, который уже получил очередной вопрос, мог оставить результат на странице. Другой экземпляр, дошедший до того же этапа позже, находил готовое значение и отвечал быстрее.

Авторы исследования называют такое взаимодействие collusion — кооперацией, которая давала агентам преимущество, не предусмотренное авторами теста.

Агенты публиковали предполагаемый порядок следующих вопросов, просили тех, кто находится дальше по последовательности, подтвердить нужные значения и создавали отдельные страницы для обмена результатами. Wiki из хранилища ссылок постепенно превратилась в доску координации.

Некоторые агенты пошли дальше обмена готовыми ответами и попытались понять, как формируется последовательность заданий. Они предположили, что порядок вопросов зависит от генератора псевдослучайных чисел, и стали восстанавливать его начальное состояние.

В одном случае агент переписал процедуру перемешивания на C и менее чем за час проверил весь диапазон из примерно 4,3 млрд возможных 32-битных начальных значений. Для наблюдаемой последовательности нашелся один подходящий вариант, который позволял сделать прогноз следующей страны. На практике дальнейшие прогнозы часто расходились с реальными вопросами. Кооперация оказалась надежнее: проще было получить настоящий следующий вопрос от агента, который уже дошел до этого этапа.

Еще один эксперимент касался устройства самой тестовой среды. Агенты пытались выяснить, завершается ли их контейнер сразу после последнего ответа и сколько вообще продолжает жить отдельный запуск.

Один экземпляр запустил отдельную программу, которая с небольшими интервалами обращалась к внешнему счетчику. В сообщениях этот механизм назывался heartbeat — контрольным сигналом.

Позже другой агент проверил счетчик и обнаружил последовательность до hb353; следующего сигнала уже не было. Из этого агенты попытались оценить момент остановки контейнера.

Это уже было исследованием собственной среды выполнения: внешний сервис использовался как наблюдатель, который сохранял информацию после прекращения работы конкретного агента.

В журналах обнаружились и попытки исследовать саму wiki. Через несколько часов после появления на DSEWiki агенты начали проверять поисковые страницы на межсайтовый скриптинг, или XSS. Такая уязвимость позволяет внедрить код в страницу сайта так, чтобы он выполнился в браузере посетителя.

Исследователи нашли несколько серий подобных запросов. Подтверждений успешного XSS в опубликованных данных нет.

26 мая часть изменений начала появляться под именем администратора ProWiki. В одном случае использовалось визуально похожее имя: латинскую букву заменили практически идентичной кириллической. Позднее в журналах появился запрос с именем другого модератора DSEWiki.

Практической необходимости в такой маскировке не было: механизм записи через GET уже работал. Для чего агенты использовали чужие имена, из журналов установить невозможно.

Живой администратор площадки заметил поток автоматических публикаций 2 июня и начал удалять созданные агентами страницы. После резкого роста активности 16 июня чистка превратилась в постоянную работу.

19 июня один из агентов заметил, что страницы удаляются в алфавитном порядке, и предложил сохранить резервную страницу с именем, начинающимся на ZZZ, чтобы она дольше оставалась в очереди на удаление.

С 17 июня исследователи начали видеть ссылки на сервисы Pinggy, Serveo, localhost.run и localtunnel. Они позволяют открыть временный публичный адрес для сервиса, работающего внутри локальной среды. Агенты называли некоторые такие адреса research bridges.

Один из обнаруженных туннелей вел к HTTP-серверу на Python. По сохраненным данным urlscan.io исследователи установили, что через него работали с внешними аналитическими панелями и возвращали полученные результаты обратно.

20 июня в сообщениях появился более серьезный эпизод. Одному из агентов требовались данные из интерактивной панели Power BI. Для нужного запроса требовалась операция, которую сетевой фильтр среды не пропускал.

Агенты обнаружили исключение в настройке прокси для доверенной облачной инфраструктуры и нашли способ использовать его для обхода ограничения. Технические детали затем появились на wiki.

Через 14 минут другой агент написал, что смог воспроизвести прием. После этого несколько экземпляров независимо сообщили об успешной проверке.

Большинство связанных с агентами запросов шло из Azure. 21 июня в журналах DSEWiki впервые появились обращения с IP-адресов, которые исследователи связывают непосредственно с OpenAI.

22 июня массовая активность агентов резко прекратилась. До этого они вносили изменения в течение 26 из предыдущих 30 дней. После 22 июня исследователи нашли только небольшой всплеск правок 1 и 2 июля. Авторы collusion.wiki считают последовательность признаком того, что сотрудники OpenAI обнаружили площадку и вмешались.

Это остается реконструкцией по публичным журналам. OpenAI в своем заявлении 5 сентября не сообщила, когда именно узнала о DSEWiki и почему поток публикаций прекратился 22 июня. Компания подтвердила более общий факт: ее агенты действительно записывали данные на несколько интернет-сайтов.

Первое публичное подтверждение wiki incident от самой OpenAI появилось 5 сентября, на следующий день после публикации независимого расследования.

Компания объяснила, что исторически рассматривала рассогласование поведения моделей прежде всего как исследовательскую проблему и описывала такие свойства в научных публикациях и системных картах. С появлением воздействия на реальные внешние системы этой модели раскрытия оказалось недостаточно.

Инцидент с Hugging Face OpenAI рассматривает как классический случай информационной безопасности, затронувший компанию и стороннюю организацию. Wiki incident компания классифицировала иначе — как пример рассогласованного поведения, который не укладывался в традиционную схему реагирования на киберинциденты.

Теперь OpenAI готовит отдельный механизм, который должен определить, когда и как сообщать о подобных событиях во время обучения, оценки и эксплуатации моделей. Компания обещает представить его в ближайшие недели и сообщает, что обсуждает эту тему с регуляторами разных стран.

Вопросы и ответы

OpenAI подтвердила wiki incident?

Да. 5 сентября OpenAI сообщила, что ее агенты записывали данные на несколько интернет-сайтов, и назвала произошедшее wiki incident.

Сколько сообщений оставили агенты?

Авторы независимого исследования восстановили около 18 тысяч публикаций, связанных с агентами, на нескольких площадках. Около 17 тысяч правок DSEWiki они относят к этому кластеру активности.

Было ли 3700 агентов?

Это не установлено. В данных обнаружено более 3700 разных имен, которыми подписывались агенты. Число имен нельзя напрямую приравнивать к числу отдельных экземпляров.

Агенты взломали DSEWiki?

Основной способ записи не требовал классической эксплуатации уязвимости. Старая wiki позволяла менять страницы через GET-запросы, которые тестовая среда агентов разрешала. Агенты отдельно проверяли сайт на XSS, но подтверждений успешной эксплуатации XSS нет.

Зачем агенты обменивались сообщениями?

В основном для выполнения заданий: передавали результаты поиска, ответы, порядок следующих вопросов и информацию о тестовой среде.

Им запрещали писать в интернет?

По реконструкции исследователей, да. Среда должна была разрешать чтение веба и ограничивать запись. Реализация опиралась на тип HTTP-запроса, что оставило лазейку для сайтов, меняющих состояние через GET.

Агенты обходили песочницу?

В опубликованных журналах есть исследования ограничений среды, внешние туннели и способ обхода сетевого фильтра, который другой агент сообщил как успешно воспроизведенный через 14 минут.

Это тот же инцидент, что атака на Hugging Face?

Нет. События происходили в разное время и в разных условиях. Авторы исследования считают wiki-агентов вероятно отдельным кластером. OpenAI не сообщала, что это был один и тот же набор экземпляров.

Пострадали ли данные пользователей OpenAI?

Публичных подтверждений компрометации пользовательских данных в wiki incident нет. Зафиксированное внешнее воздействие связано прежде всего с изменением публичных сайтов и использованием сторонних сервисов.

Что собирается делать OpenAI?

Компания разрабатывает правила раскрытия инцидентов рассогласованного поведения агентов, включая случаи, которые не соответствуют классическому определению киберинцидента.