Kimi K3 вышла: 2,8 трлн параметров и миллион токенов

Китайская Moonshot AI запустила Kimi K3 — новую флагманскую модель для программирования, анализа больших массивов данных и многошаговой работы с инструментами. В официальном каталоге Kimi API уже появился идентификатор kimi-k3, а разработчикам открыли документацию и примеры подключения.

Главные характеристики выглядят внушительно: 2,8 трлн параметров, контекстное окно на 1 млн токенов, встроенное распознавание изображений и видео, постоянный режим рассуждений и поддержка агентных сценариев. Moonshot называет K3 своей самой мощной моделью.

Анонс успел обрасти двумя громкими обещаниями: выпуском открытых весов и превосходством над Claude Opus 4.8 в популярных испытаниях. Официальная документация подтверждает размер, контекст и архитектуру K3, но пока не содержит полной сравнительной таблицы, технического отчёта и ссылки на веса.

Kimi K3 доступна на платформе Moonshot через программный интерфейс, совместимый с библиотеками для OpenAI API. Разработчику достаточно заменить адрес сервера, указать ключ Moonshot и выбрать модель kimi-k3.

Модель рассчитана на три основных направления: длительную работу с кодом, сквозную обработку профессиональных задач и углублённые рассуждения. Под сквозной работой понимают сценарии, где система сама изучает материалы, вызывает внешние инструменты, проверяет промежуточные результаты и готовит итоговый документ или программный проект.

После запуска K3 компания начала сворачивать старую линейку. Модели Kimi K2.5 и Moonshot V1 перестали предлагаться новым пользователям платформы. Полное отключение этих серий запланировано на 31 августа 2026 года. K2.6 и специализированная K2.7 Code пока остаются в каталоге. Так K3 становится основной универсальной моделью Moonshot для новых интеграций.

Размер Kimi K3 более чем вдвое превышает показатель первого поколения Kimi K2. Та модель использовала архитектуру «смеси экспертов» и содержала 1 трлн параметров, но при обработке каждого токена активировала только 32 млрд.

Принцип «смеси экспертов» позволяет разделить нейросеть на множество специализированных блоков. Для конкретного запроса запускается лишь часть блоков, поэтому общее число параметров может быть огромным, а вычислительная нагрузка остаётся заметно ниже, чем у плотной модели аналогичного размера. Kimi K2 обучили на 15,5 трлн токенов, сделав особый упор на программирование, вызов инструментов и агентную работу.

Moonshot пока не раскрыла, сколько параметров K3 активирует при генерации одного токена. Компания также не опубликовала количество экспертов, глубину сети, размер скрытого слоя, объём обучающей выборки и затраты на обучение.

Контекстное окно Kimi K3 увеличилось до 1 млн токенов. Предыдущие Kimi K2.5, K2.6 и K2.7 Code поддерживали до 256 тыс. токенов. Миллион токенов — это несколько тысяч страниц текста или крупная программная база с документацией, журналами событий и связанными файлами. Модель можно применять для анализа больших договоров, научных архивов, технических руководств, репозиториев и продолжительных историй взаимодействия с агентом.

K3 также принимает изображения и видео. Документация предусматривает загрузку локальной картинки непосредственно в запрос и отдельную отправку видеофайла через хранилище Moonshot. В одном рабочем процессе модель может изучить интерфейс, прочитать документ, разобрать видеозапись и затем вызвать внешние функции.

Длинный контекст сам по себе не гарантирует, что нейросеть одинаково хорошо использует информацию из любой части запроса. Качество зависит от способности находить нужные фрагменты, сохранять связи между ними и не терять инструкции после сотен тысяч токенов. Для проверки потребуются отдельные испытания на извлечение данных, программирование в больших репозиториях и многошаговые задачи.

Moonshot добавила автоматическое кэширование контекста. Повторно используемые части запроса можно не обрабатывать с нуля, что сокращает задержку и расходы при работе с одной большой базой документов. API также позволяет задавать предел ответа вплоть до 1 048 576 токенов, хотя столь длинная генерация будет дорогой и сложной для практического использования.

В основе K3 лежит Kimi Delta Attention — гибридный механизм линейного внимания. Обычный трансформер сопоставляет токены друг с другом, а объём вычислений быстро растёт вместе с длиной входного текста. При миллионе токенов классическая схема требует огромной памяти для хранения ключей и значений внимания.

Kimi Delta Attention использует компактное рекуррентное состояние и управляемое забывание информации. Система решает, какие сведения сохранить, какие обновить и какие постепенно удалить из рабочей памяти. Полное внимание при этом сохраняется в части слоёв, поэтому архитектура остаётся гибридной.

В экспериментальной модели Kimi Linear разработчики сократили размер кэша ключей и значений до 75% и получили ускорение генерации до шести раз на контексте в 1 млн токенов. Эти результаты относятся к исследовательской архитектуре. Выбор Kimi Delta Attention объясняет, как Moonshot собирается обслуживать миллионный контекст у модели с 2,8 трлн параметров. Без оптимизации памяти такой продукт оказался бы слишком дорогим даже для облачного запуска.

Второй ключевой компонент называется Attention Residuals — остаточные связи с механизмом внимания. В стандартном трансформере каждый слой добавляет результат своей работы к общему скрытому состоянию. По мере углубления сети вклад ранних слоёв может размываться, а величина внутренних представлений — неконтролируемо расти.

Attention Residuals позволяет новому слою выбирать, к каким результатам предыдущих слоёв обратиться и какой вес им присвоить. Нейросеть не складывает всю историю с одинаковыми коэффициентами, а формирует подходящий набор представлений для текущего входа.

Команда Kimi также разработала блочную версию механизма, которая группирует слои и снижает потребление памяти. В исследовательской модели на 48 млрд параметров технология улучшила результаты во всех опубликованных авторами категориях и выровняла распределение градиентов по глубине сети.

K3 стала первым публично доступным флагманом Moonshot, в описании которого прямо заявлено совместное использование Kimi Delta Attention и Attention Residuals.

Kimi K3 нельзя переключить в простой режим мгновенного ответа. Рассуждения включены постоянно. Через параметр reasoning_effort разработчик сможет регулировать объём вычислений, но сейчас API принимает только значение max. Другие уровни Moonshot обещает добавить позднее. Сервис отдельно возвращает промежуточный поток рассуждений и окончательный текст ответа.

Постоянное рассуждение должно помогать при анализе кода и сложных цепочках действий. Обратная сторона — дополнительное время и больший расход выходных токенов даже в простых запросах. Для чат-бота, которому нужно классифицировать обращение или написать короткое уведомление, K3 может оказаться избыточной.

Фиксированными остались и параметры генерации: температура равна 1, top_p — 0,95, число вариантов ответа — один. Разработчик не может менять эти значения в запросе. Moonshot, вероятно, рассчитывает поддерживать стабильное поведение модели за счёт внутреннего управления рассуждением.

API поддерживает вызов пользовательских функций, строгий вывод по схеме JSON, выбор доступных инструментов и их динамическую загрузку.

Динамическая загрузка полезна для агентов с десятками или сотнями функций. Вместо передачи полного описания всех возможностей в каждый запрос система сначала определяет нужную группу, а затем добавляет конкретные инструменты. Это экономит контекст и снижает вероятность ошибочного вызова. Частичный режим позволяет дать модели начало ответа и попросить продолжить его. Возможность пригодится для дополнения кода, восстановления структурированных документов или продолжения заранее заданного формата.

K3 также умеет сохранять цепочку рассуждений при многошаговом использовании инструментов. Следующий запрос должен включать полный ответ ассистента, иначе модель потеряет часть рабочего состояния.

Moonshot выделяет программную инженерию как один из главных сценариев. Это логичное продолжение линейки: K2 создавалась с упором на агентов, а K2.7 Code недавно появилась в GitHub Copilot как первая доступная там модель с открытыми весами.

Источники Financial Times утверждали, что Moonshot планирует выпустить K3 с открытыми весами. Такой формат позволяет скачать контрольные точки модели, развернуть её на собственном оборудовании и дообучить под нужную задачу.

Открытые веса нельзя автоматически приравнивать к полностью открытому исходному коду. Компания может опубликовать параметры нейросети, сохранив закрытыми обучающие данные, процедуру подготовки выборки и часть инфраструктуры. Лицензия также может ограничивать отдельные способы использования.

На момент подготовки материала репозиторий Kimi K3 отсутствовал на официальных страницах Moonshot в Hugging Face и GitHub. В каталоге Hugging Face новейшими моделями компании оставались K2.7 Code, K2.6 и K2.5. Но Moonshot уже выпускала веса Kimi K2 и её последующих версий, поэтому обещание выглядит правдоподобно. 

Даже после публикации весов Kimi K3 нельзя будет запустить на обычной рабочей станции. При хранении 2,8 трлн параметров в 16-разрядном формате одни веса займут около 5,6 ТБ. В 8-разрядном представлении потребуется примерно 2,8 ТБ, а при четырёхбитном сжатии — около 1,4 ТБ. К этому добавляются кэш контекста, промежуточные состояния, служебные данные и память для распределения модели между ускорителями.

Практическое развёртывание потребует нескольких серверов с высокоскоростным соединением, большого массива оперативной памяти и специализированной системы распределённого вывода. Миллионный контекст дополнительно увеличит требования.

Открытие весов в данном случае будет важно в первую очередь для облачных провайдеров, исследовательских центров и крупных компаний. Независимые разработчики, вероятнее всего, станут использовать API или сокращённые версии, если Moonshot выпустит их позднее.

K3 показывает переход от простого увеличения числа параметров к перестройке внутренней архитектуры. Moonshot соединяет разреженную модель, линейное внимание, выборочную передачу данных между слоями и постоянное рассуждение.

Главная ставка сделана на задачи, которые продолжаются часами и включают большой объём материалов: разработку программ, исследование рынка, подготовку технической документации, анализ корпоративных знаний и управление внешними инструментами.