Ad
Искусственный интеллект

Открытые веса с проверкой: Anthropic ответила критикам

Маша Даровская
By Маша Даровская , IT-редактор и автор
Открытые веса с проверкой: Anthropic ответила критикам
Обложка © Anonhaven

Глава Anthropic Дарио Амодеи отверг обвинения в попытке запретить модели с открытыми весами ради защиты бизнеса Claude. Он признал пользу таких разработок, но предложил проверять наиболее мощные системы перед выпуском. Испытания должны затрагивать кибербезопасность, биологические угрозы и риск потери контроля над поведением модели.

Позиция получилась осторожной: открытые веса — общественное благо, пока модель не приобрела опасные возможности. Как определить этот момент и кто получит право остановить выпуск, Амодеи подробно не объяснил.

Действующего американского закона, запрещающего компаниям использовать китайские модели с открытыми весами, не существует. Но Axios сообщил, что отдельные американские ведомства обсуждали несколько ограничительных механизмов. Китайские лаборатории предлагалось включать в Entity List — торговый список, работа с участниками которого требует специального разрешения. Рассматривались предупреждения о возможных скрытых функциях и требования к компаниям гарантировать безопасность самостоятельно размещённых моделей.

Такие меры способны заметно сократить использование китайских разработок без формального запрета. Компании могут отказаться от продукта из-за лицензирования, дополнительных проверок и риска ответственности.

Предыдущие варианты ограничений обсуждались ещё в 2025 году и не были приняты. Интерес к теме вернулся после выхода более мощных китайских моделей, включая Kimi K3.

Спор усилился после публикации коллективного письма Open Weights and American AI Leadership. Документ появился 24 июля на сервере NVIDIA, а глава компании Дженсен Хуанг публично поддержал инициативу.

Первую редакцию подписали 25 организаций. Перечень расширялся несколько раз. В доступной версии открытого письма указаны 77 компаний и организаций, включая NVIDIA, AMD, Microsoft, Meta, Google, OpenAI, Mistral, Hugging Face, Mozilla, GitHub, IBM, Cloudflare и Linux Foundation.

Anthropic к письму не присоединилась. Её отсутствие среди подписантов вызвало подозрения, что разработчик закрытых моделей пытается ограничить скачиваемых конкурентов. Советник Белого дома по ИИ Дэвид Сакс обвинил ведущие закрытые лаборатории в желании убрать открытую конкуренцию при помощи государственного регулирования.

Амодеи написал, что компания никогда не предлагала запрещать модели с открытыми весами как отдельную категорию. Ограничение их использования американскими компаниями он считает неэффективной мерой, которая в первую очередь защитила бы местных разработчиков от конкуренции.

Модель с открытыми весами можно скачать, изменить и запустить на собственной инфраструктуре. Это снижает зависимость от одного поставщика и позволяет хранить данные внутри организации.

Университеты, стартапы, государственные учреждения и крупные компании получают готовую основу, которую можно адаптировать без обучения большой модели с нуля. Расходы при этом никуда не исчезают: требуются серверы, ускорители, электроэнергия, специалисты и программное обеспечение для запуска.

Подписанты считают, что открытые веса расширяют конкуренцию между разработчиками моделей, облачными площадками, производителями ускорителей и поставщиками прикладных решений. Организация может подобрать небольшую специализированную модель для обычных операций, а дорогие передовые системы использовать только для сложных задач.

Риски в письме признаются. Опубликованные веса нельзя отозвать, а изменённую копию трудно отследить. Авторы всё же считают широкий запрет неправильным решением. Доступ к моделям, по их оценке, помогает специалистам по безопасности изучать поведение систем, искать уязвимости и разрабатывать защиту.

Амодеи согласен, что открытые веса дают клиентам больше контроля, расширяют доступ к ИИ и поддерживают конкуренцию. Но не принимает утверждение, что открытость сама по себе повышает безопасность.

Закрытую модель можно обновить, ограничить, отключить для конкретного пользователя или дополнить новыми средствами проверки запросов. После публикации весов разработчик теряет эти возможности. Любой владелец копии способен удалить встроенные ограничения, дообучить систему или запускать её без внешнего наблюдения.

Сторонники открытых весов отвечают, что закрытые сервисы тоже взламывают и используют во вред. Их работу сложнее независимо исследовать, а концентрация мощных систем у нескольких компаний создаёт единые точки отказа.

Главное разногласие касается соотношения возможностей атакующей и защищающейся сторон. Участники письма считают, что специалистам по безопасности нужен доступ к моделям, сопоставимым с инструментами злоумышленников. Амодеи допускает обратный результат: открытая мощная система может сильнее помочь атакующему, особенно в биологии.

Разработать опасный биологический объект теоретически можно быстрее, чем создать средство обнаружения, лекарство или вакцину. Поэтому доступ к одной и той же модели не гарантирует равного усиления обеих сторон.

Anthropic предлагает проверить эту гипотезу экспериментально.

Какие модели предлагают проверять

Амодеи выступил за обязательные испытания всех достаточно мощных моделей перед выпуском. Форма распространения и страна разработки значения не имеют: требования должны охватывать открытые и закрытые системы.

Кибериспытания могут оценивать способность модели находить неизвестные уязвимости, создавать вредоносные программы и выполнять длительные атаки с минимальным участием человека. Биологические проверки должны определять, насколько система упрощает работу с опасными организмами и лабораторными процедурами.

Третье направление в оригинале названо alignment risks. Речь идёт о согласовании поведения модели с намерениями разработчиков и установленными ограничениями. Испытания могут искать признаки обмана, попытки скрыть действия, обход средств защиты и стремление выполнить задачу способом, который человек не одобрял.

Амодеи не указал конкретные пороги мощности, состав проверяющей организации и процедуру обжалования результатов. Он сослался на предложение главы Google DeepMind Демиса Хассабиса.

Хассабис описал отдельный орган по стандартам передового ИИ. В его совет должны войти независимые технические специалисты и представители сообщества открытых разработок. Организация будет создавать испытания совместно с государственными лабораториями и профильными ведомствами.

Передовой предлагается считать модель, достигшую установленных результатов в регулярно обновляемых испытаниях. Критерием становится реальная способность системы выполнять опасные задачи, а не число параметров, стоимость обучения или размер разработчика.

На первом этапе лаборатории смогут добровольно передавать модели на проверку за 30 дней до выпуска. После отработки процедуры прохождение испытаний предлагается сделать обязательным условием для развёртывания передовых систем на американском рынке.

От испытаний предлагается освободить системы, которые не достигли уровня передовых возможностей. Стартап с относительно слабой моделью не столкнётся с дорогостоящей процедурой. Академическая лаборатория, создавшая модель передового уровня, формально должна попасть под те же требования, что и крупная корпорация. Подобный подход снижает нагрузку на небольших разработчиков, но сохраняет единый порог для действительно мощных систем.

Спор о дистилляции

Дистилляция позволяет обучать новую модель на результатах другой системы. Разработчик отправляет множество запросов более мощной модели, собирает ответы и использует их как обучающий материал.

Сам метод применяется в исследованиях, при уменьшении моделей, оценке качества и создании специализированных систем. Коллективное письмо просит не смешивать законную дистилляцию с незаконным извлечением коммерческих разработок. Конкретные нарушения предлагается пресекать через договоры, лицензии и право на интеллектуальную собственность.

Anthropic беспокоят операции промышленного масштаба, при которых создаются многочисленные учётные записи и собираются большие объёмы ответов закрытых моделей. Компания блокирует аккаунты, связанные с такой активностью, но признаёт, что выявить их заранее трудно.

Амодеи считает промышленную дистилляцию способом сократить вычислительное отставание. Она требует меньше ресурсов, чем обучение сопоставимой системы с нуля. Поэтому Anthropic предлагает дополнительные меры против массового извлечения возможностей, не требуя запретить технологию целиком.

Ещё одна мера Anthropic — ограничение поставок мощных ускорителей и оборудования для производства микросхем в Китай. Компания также предлагает пресекать контрабанду и схемы обхода экспортных правил.

Здесь позиция Амодеи заметно жёстче его отношения к готовым открытым моделям. Он считает вычислительные ресурсы более важным фактором развития передовых систем, чем использование уже выпущенной модели американской компанией.

Как Kimi K3 изменила спор

Moonshot AI выпустила Kimi K3 — модель с открытыми весами на архитектуре «смесь экспертов». Она содержит 2,8 трлн параметров, из которых 104 млрд задействуются при обработке одного элемента последовательности. Размер контекста достигает 1 048 576 элементов. Система принимает текст и изображения.

Официальный репозиторий Kimi K3 содержит веса, конфигурацию, код для запуска, техническое описание и собственную лицензию Kimi K3. Полный набор обучающих данных и подробная методика формирования корпуса не опубликованы.

Модель стала заметным аргументом в споре, поскольку открытые системы приблизились к ведущим закрытым продуктам в программировании, рассуждениях и работе с инструментами. Практический запуск Kimi K3 требует серьёзной серверной инфраструктуры. Открытые веса дают право развернуть модель самостоятельно, но не делают такое развёртывание дешёвым.

Можно ли удалить опасные знания

В публикации Амодеи упоминается модульное предварительное обучение. Метод GRAM позволяет во время подготовки модели направлять специализированные знания в отдельные группы параметров. Перед распространением соответствующий модуль можно удалить.

Исследование провели специалисты AE Studio совместно с Anthropic. Испытания GRAM охватили модели размером от 50 млн до 5 млрд параметров. Эксперименты затрагивали данные по вирусологии, кибербезопасности, ядерной физике и специализированному программированию.

Авторы смогли отключать отдельные группы знаний без сопоставимого падения общих возможностей модели. Метод пока не проверен на передовых системах и не применяется в рабочих моделях Anthropic. Исследователи также признают, что разные знания могут быть тесно связаны и плохо поддаваться разделению.

Чьи коммерческие интересы стоят за спором

Распространение скачиваемых моделей потенциально выгодно NVIDIA и другим производителям ускорителей. Самостоятельный запуск, дообучение и обслуживание требуют вычислительных ресурсов. Система масштаба Kimi K3 нуждается в серверном комплексе, поэтому открытость не устраняет спрос на оборудование.

Среди подписантов письма есть производители микросхем, облачные платформы, разработчики моделей, поставщики средств безопасности, инвестиционные фонды и организации открытого программного обеспечения. Сводить их общую позицию исключительно к интересу NVIDIA было бы упрощением.

Anthropic получает выручку от платного доступа к Claude через приложения и программный интерфейс. Сильные открытые модели уменьшают зависимость клиентов от закрытых поставщиков и позволяют крупным организациям разворачивать альтернативы самостоятельно. Поэтому коммерческие интересы есть у обеих сторон. 

Вопросы и ответы

Anthropic выступила против открытых моделей?

Нет. Компания отвергла общий запрет и признала общественную пользу моделей без опасных возможностей.

Какие модели должны проходить испытания?

Все системы, достигшие установленного уровня возможностей. Тип лицензии, страна разработки и размер компании не должны влиять на решение.

Кто будет проводить проверку?

Амодеи не представил конкретную схему. Хассабис предложил отдельный орган по стандартам с независимыми специалистами, государственными лабораториями и представителями открытого сообщества.

В США уже запретили Kimi K3?

Нет. Возможные ограничения обсуждаются, но общего запрета пока нет.

Стартапы и университеты полностью освободят от проверок?

Только если их модели не достигнут порога передовых возможностей. Формальное происхождение модели само по себе не даёт освобождения.

Anthropic предлагает запретить дистилляцию?

Нет. Компания выступает против операций промышленного масштаба, направленных на массовое извлечение возможностей закрытых систем.

Kimi K3 является полностью открытой моделью?

Нет. Веса и код опубликованы, но обучающий корпус и полная методика подготовки не раскрыты. Точный термин — модель с открытыми весами.

Есть новость? Станьте автором.

Мы сотрудничаем с независимыми исследователями и специалистами по кибербезопасности. Отправьте нам новость или предложите статью на рассмотрение редакции.