Амодеи снова спорит с open source AI: почему глава Anthropic считает открытые модели отвлекающим манёвром

Спор вокруг open source AI снова вспыхнул после высказываний Дарио Амодеи. Глава Anthropic считает, что разговор об «открытом ИИ» уводит дискуссию в сторону. Его аргумент: большие модели не работают как обычный open source-софт. Даже если компания выложила веса, это ещё не значит, что сообщество получило полноценный открытый продукт с воспроизводимым обучением, понятными данными, прозрачной безопасностью и дешёвым запуском.

В классическом open source пользователь получает исходный код, может его изучить, изменить, собрать и запустить на своём железе. В ИИ всё сложнее. Модель может быть «открытой» только частично: веса доступны, но обучающий датасет закрыт, код тренировки неполный, лицензия ограничивает коммерческое применение, safety-настройки неизвестны, а для нормального запуска всё равно нужны дорогие GPU, облако, оптимизация, хранилище и команда инженеров.

Ещё в 2023 году Амодеи предупреждал законодателей, что более мощные модели могут создавать серьёзные риски, если их выпускать без обязательного тестирования и понятных ограничений. В подготовленных показаниях для Сената он говорил о необходимости проверок перед развёртыванием моделей и о том, что добровольных обязательств индустрии может быть недостаточно.

В том же году Anthropic выпустила Responsible Scaling Policy — собственную рамку управления рисками мощных моделей. Компания писала, что по мере роста возможностей ИИ появляются всё более серьёзные угрозы, включая умышленное злоупотребление моделями и автономное поведение не по намерениям разработчиков.

Свежая линия Anthropic стала ещё жёстче. В документе Policy on the AI Exponential компания предлагает, чтобы у государств были юридические полномочия блокировать или сдерживать опасные развёртывания самых мощных моделей.

На этом фоне критика open source выглядит как часть общей стратегии Anthropic: мощные модели должны выходить через тестирование, контроль доступа, фильтры и ответственность поставщика.

К слову, существует Model Openness Framework, которая предлагает оценивать модели не бинарно — открыта или закрыта, — а по полноте раскрытия компонентов: кода, данных, документации, лицензий, весов и процесса обучения. Авторы прямо отмечают, что многие производители называют модели открытыми, хотя не дают всех элементов, нужных для проверки, воспроизводимости и полноценного изучения.

Еще один тезис Амодеи — открытая модель не равна доступной модели. Чтобы запустить современную мощную LLM, нужны GPU, память, оптимизация inference, серверная обвязка, мониторинг, безопасность, масштабирование и деньги. Даже если веса лежат в открытом доступе, обычная компания не всегда может использовать их на уровне качества и скорости закрытого API.

Исследователи open source AI отдельно пишут, что модели требуют ресурсов для «активации»: вычислений, посттренинга, развёртывания и надзора. Поэтому одного открытия весов недостаточно для полной демократизации доступа к ИИ; нужна ещё публичная или общая инфраструктура.

У этой позиции есть слабое место: её озвучил глава закрытой frontier-лаборатории. Anthropic зарабатывает на доступе к Claude, API, корпоративным продуктам и инфраструктуре вокруг моделей. Чем сильнее рынок верит в закрытые модели как в безопасный и управляемый вариант, тем лучше для бизнеса Anthropic.

Поэтому сторонники open source видят в аргументах Амодеи защиту коммерческого рынка. Если мощные открытые модели догоняют закрытые, клиенты получают выбор: запускать локально, не отдавать данные внешнему API, не зависеть от фильтров поставщика, не бояться внезапного отключения модели и не платить за каждый токен по правилам одной компании.

Для Anthropic самый неприятный момент в open weights — необратимость. Закрытую модель можно отключить, обновить, ограничить фильтрами, заблокировать аккаунт, изменить доступ к API, ввести мониторинг, добавить rate limits и расследовать злоупотребления.

Открытую модель после публикации нельзя «забрать назад». Если веса уже скачали, они будут жить на торрентах, зеркалах, корпоративных серверах, домашних машинах и облаках. Фильтры можно удалить, модель можно дообучить, ограничения лицензии можно нарушить, а злоупотребления трудно остановить технически.

При этом рынок уже двигается не только в сторону закрытых API. Open-weight модели быстро усиливаются, становятся дешевле в запуске, получают оптимизации для локального inference и всё чаще закрывают прикладные задачи не хуже дорогих флагманов.