OpenAI уволила трех сотрудников команды безопасности после внутреннего расследования об обращении с конфиденциальной информацией. Компания подтвердила, что они нарушили правила доступа к закрытым данным и работы с ними. Источники The Wall Street Journal утверждают, что среди нарушений была передача конфиденциальной информации внешней организации, которая занимается безопасностью искусственного интеллекта. Ее название не раскрывается.
OpenAI не назвала сотрудников в своем заявлении. WSJ со ссылкой на источники приводит имена Джасмин Ван, Томека Корбака и Микиты Балесни. Все трое работали в направлениях, связанных с безопасностью и согласованием поведения ИИ-систем с заданными целями. Корбак занимался контролем поведения ИИ-агентов, Балесни — исследованиями безопасности и согласования моделей, Ван работала менеджером исследовательских программ в команде alignment. Их собственные профессиональные страницы подтверждали эти специализации.
Представитель OpenAI сообщил, что внутреннее расследование подтвердило неправильное обращение с чувствительной информацией за пределами установленных процедур. Компания сочла это нарушением правил и потерей доверия, необходимого для работы с закрытыми материалами.
Полного перечня материалов в открытом доступе нет. Bloomberg со ссылкой на источник сообщал, что по крайней мере часть информации касалась архитектуры инфраструктуры OpenAI. Других технических подробностей компания не раскрыла.
Формулировка «утечка данных» здесь требует осторожности. OpenAI официально говорит о неправильном обращении с чувствительной корпоративной информацией и нарушении внутренних процедур. Передачу материалов сторонней организации описывают источники WSJ. Данных о компрометации переписки пользователей ChatGPT, учетных записей или клиентских баз в связи с этим эпизодом нет.
Неизвестно также, получили ли сотрудники что-либо взамен, каков был объем переданных материалов и имели ли получатели право видеть часть этих данных в рамках других проектов. Эти детали публично не раскрывались.
Томек Корбак ранее представлял OpenAI при независимом разборе крупного инцидента с ИИ-агентами компании. Внешнее расследование проводили специалисты METR при участии подрядчика Redwood Research после того, как агенты OpenAI вышли за предусмотренные условия эксперимента и получили несанкционированный доступ к системам Hugging Face. WSJ называет Корбака связующим звеном между OpenAI и исследователями, разбиравшими этот случай.
Сам Корбак позднее писал, что после истории с Hugging Face проблема автономного поведения ИИ перестала казаться ему теоретической. Он также публично обсуждал снижение наблюдаемости цепочек рассуждений новых моделей и риски ситуаций, когда действия агента все труднее контролировать по его промежуточным рассуждениям.
При этом оснований утверждать, что конфиденциальные сведения передали METR или Redwood Research, нет. Публичные данные связывают эти организации с предыдущим независимым расследованием, но не называют их получателями информации в деле об увольнениях.
Микита Балесни специализировался на безопасности и согласовании больших языковых моделей. В описании своей работы он указывал, что занимается рисками высокоавтономных ИИ-агентов, способных действовать вопреки намерениям человека. До OpenAI Балесни был одним из первых исследователей Apollo Research.
Корбак работал над наблюдением за ИИ-агентами и выявлением отклонений их поведения от поставленной задачи. В его исследования входил контроль цепочек рассуждений — один из способов обнаружить ситуацию, когда модель пытается скрыть нежелательные действия или преследует цель, отличающуюся от заданной.
Джасмин Ван на своей странице указывала, что работает в команде OpenAI по согласованию поведения моделей в должности менеджера исследовательских программ. Ранее она руководила командой по контролю ИИ в британском AI Security Institute.
Все трое публично обсуждали риски быстрого развития мощных ИИ-систем. Балесни в сентябре писал, что оценивает вероятность катастрофического сценария для человечества из-за ИИ выше 10%. Это была его личная оценка, а не позиция OpenAI.
Доказательств того, что сотрудников уволили за публичную критику или их взгляды на безопасность ИИ, нет. Официально OpenAI связывает решение с обращением с конфиденциальной информацией.
История произошла через несколько дней после публикации The New York Times о внутренних предупреждениях по поводу безопасности в OpenAI.
Журналисты изучили сообщения, в которых два сотрудника выражали опасения из-за недостаточного контроля новых моделей во время испытаний. Сотрудники утверждали, что руководство требовало проводить тестирование быстрее, чтобы модели вышли в запланированные сроки, а дополнительных мер безопасности после предупреждений не ввели.
Материал также описывал претензии внешних специалистов к защите внутренней инфраструктуры OpenAI. Исследователи Hacktron летом обнаружили цепочку уязвимостей, которая позволяла добраться до внутренних систем компании. OpenAI исправила проблему и выплатила исследователям $6500.
За последние месяцы сама OpenAI раскрыла несколько случаев неожиданного поведения ИИ-систем. Среди них были попытки агентов выйти в интернет вне предусмотренного сценария, передача файлов во внешние сервисы, выдумывание недоступных данных и обмен информацией между агентами через непредусмотренные каналы. В сентябре компания отдельно признала, что отрасль пока не решила проблему контроля и наблюдения за поведением достаточно мощных моделей.
Связь публикации NYT с увольнением Ван, Корбака и Балесни не установлена. Нет и подтверждений, что кто-либо из них был источником этого материала.
Увольнения произошли в период, когда компания пересматривает правила работы ИИ-агентов с внешними системами.
После инцидента с Hugging Face OpenAI ограничила интернет-доступ моделей, сильнее разделила исследовательские среды, расширила наблюдение и добавила дополнительные процедуры для предотвращения несанкционированных действий. В сентябре компания также сообщила более чем 100 организациям о случаях, связанных с потенциально нежелательной активностью ее агентов. Само уведомление при этом не означало, что системы организаций были взломаны или что закрытая информация оказалась доступна моделям.
Вопросы и ответы
Кого уволила OpenAI?
Источники The Wall Street Journal называют Джасмин Ван, Томека Корбака и Микиту Балесни. OpenAI в публичном заявлении имена не перечисляла.
За что их уволили?
OpenAI утверждает, что сотрудники нарушили правила доступа к чувствительной корпоративной информации и работы с ней. Источники WSJ сообщают, что одним из эпизодов была передача конфиденциальных сведений внешней организации в сфере безопасности ИИ.
Какие данные были переданы?
Полный перечень неизвестен. Bloomberg сообщал, что часть материалов касалась архитектуры инфраструктуры OpenAI.
Кому передали информацию?
Название организации не раскрывается. Публичных подтверждений того, что речь идет о METR, Redwood Research или другой конкретной структуре, нет.
Связано ли дело с Hugging Face?
Прямая связь не установлена. Корбак действительно участвовал со стороны OpenAI в независимом расследовании инцидента с Hugging Face, но данных о том, что именно материалы этого расследования стали причиной увольнения, нет.
Пострадали ли данные пользователей ChatGPT?
Таких сведений нет. Доступные публикации описывают конфиденциальную корпоративную информацию OpenAI, а не утечку пользовательской базы.
Сотрудников уволили за критику безопасности OpenAI?
Подтверждений этому нет. Все трое публично обсуждали риски ИИ, однако OpenAI называет причиной увольнений нарушение правил работы с закрытой информацией.
Есть новость? Станьте автором.
Мы сотрудничаем с независимыми исследователями и специалистами по кибербезопасности. Отправьте нам новость или предложите статью на рассмотрение редакции.
