Kimi K3 open-source LLM 2,8T параметров — архитектура KDA и benchmark-матрица

2026 Kimi K3: 2,8T open-source LLM — бенчмарки, цены и матрица решений

16 июля 2026 Moonshot AI (月之暗面) тихо задеплоила Kimi K3 в API-документации — без пресс-конференции, но с 2,8 триллиона параметров, 1M token context window и обещанием полных open weights на Hugging Face 27 июля 2026. Ниже — hardcore-разбор KDA-архитектуры (3:1 linear/full attention, KV-cache −75%), AttnRes (+25% training efficiency), Stable LatentMoE (896 experts / 16 active), полной benchmark-матрицы против Claude Fable 5, GPT-5.6 Sol и DeepSeek V4 Pro, pricing table, 5-step API runbook и scenario matrix для engineering decision.

1. Три decision blockers: параметры, context, cost

  1. «Самая большая модель» ≠ «лучшая модель»: 2,8T params — рекорд в open-source сегменте, но FrontierSWE и DeepSWE местами впереди Claude Fable 5 или GPT-5.6 Sol. Решайте по sub-benchmark, не по aggregate param count.
  2. Реальная стоимость длинного context: 1M token критичен для repo-wide analysis; API тарифицирует per-token. KDA сжимает KV-cache на 75%; в coding-сценариях cache hit rate >90% документирован — effective input от $0,30/M.
  3. Self-hosting vs operational stability: с 27.07 production inference требует supernode 64+ GPU. Для команд без собственного compute cluster cloud API или controlled remote Mac dev stack — реалистичнее, чем ad-hoc laptop benchmark runs.

2. Kimi K3: core specs

Kimi K3 — на сегодня крупнейшая open-source LLM по параметрам: 2,8T. На ~75% больше DeepSeek V4 Pro (1,6T), в 2,7× больше Xiaomi open-source (1,02T), более чем в 7× Alibaba (397B).

Архитектура — sparse Mixture-of-Experts: при inference активируются 16 из 896 experts (sparsity 1,8%). В связке с 1M token context (≈ пять полных томов «Dream of the Red Chamber») и native vision/video pipeline K3 нацелен на marathon coding, long-document reasoning и multimodal knowledge work.

TL;DR: open weights (с 27.07), multimodal, экстремальный context, coding-first — примерно на 40% дешевле Claude Opus 4.8 в сопоставимом performance tier по ряду sub-benchmarks.

3. WAIC 2026 и стратегический контекст

После DeepSeek-волны последних 18 месяцев K3 — техническая контратака Moonshot:

  • 9 из 12 месяцев серия Kimi лидировала open-source param leaderboard;
  • timing непосредственно перед WAIC 2026 (17–20 июля) — сигнал инвесторам и конкурентам;
  • ARR >$300M (июнь 2026), шестой раунд, оценка $31,5B (pre-money);
  • доля API revenue >70%, international paid growth +400%.

Для engineering teams: Moonshot монетизирует через API, не через hardware lock-in. Inference routing идёт через Moonshot endpoints; data residency и contract terms — review до production rollout.

4. Архитектура: KDA, AttnRes, Stable LatentMoE

4.1 Kimi Delta Attention (KDA) — пересборка attention

Full attention масштабируется O(n²); на 1M token KV-cache взрывается. KDA — гибрид linear + full attention:

  • соотношение 3:1 linear vs full attention layers;
  • KV-cache memory −75%;
  • decoding на 1M context до 6,3× быстрее;
  • превосходит pure full-attention baselines на short/long context и RL scaling.

4.2 Attention Residuals (AttnRes) — information loss в глубине

Стандартные residual connections размывают ранние representations. AttnRes даёт selective retrieval ранних слоёв — +25% training efficiency при <2% compute overhead.

4.3 Stable LatentMoE — стабильное обучение при extreme sparsity

Техника Функция
Quantile BalancingExpert routing из router quantiles — меньше heuristic hyperparams
Per-Head MuonHead-specific optimization для scalable training
Sigmoid Tanh Unit (SiTU)Улучшенный activation gating
Gated MLAПовышенная attention selectivity

Vs Kimi K2: ~2,5× scaling efficiency при том же compute budget.

5. Benchmark-таблица и интерпретация

Benchmark Kimi K3 Claude Fable 5 GPT-5.6 Sol Claude Opus 4.8 GLM-5.2
DeepSWE67,570,073,059,046,2
Program Bench77,876,877,671,963,7
Terminal Bench 2.188,384,688,884,682,7
FrontierSWE81,286,671,366,767,3
SWE Marathon42,035,039,040,013,0
BrowseComp91,288,090,484,3—
Automation Bench30,829,129,727,212,9
GPQA-Diamond93,592,694,191,091,2
MMMU-Pro (Vision)81,681,283,078,9—
OmniDocBench91,189,885,887,9—

Data-driven read:

  • SWE Marathon (42,0, #1) — marathon coding, ближе всего к real dev cycles;
  • Program Bench (77,8, #1) — margin над Fable 5 (76,8);
  • FrontierSWE — Fable 5 лидирует 86,6; K3 сильно впереди GPT-5.6 Sol (71,3);
  • OmniDocBench (91,1, #1) — vision + long context synergy;
  • Artificial Analysis Intelligence Index v4.1: K3 — 57,1, rank #4 (за Fable 5 59,9 и GPT-5.6 Sol 58,9).

Примечание: self-report Moonshot 16.07.2026; разные harness per vendor. Независимая репликация pending.

6. Pricing: $3/$15 и cache hit

Модель Input ($/M) Output ($/M) Cache Input Context
Kimi K3$3,00$15,00$0,301M
Claude Sonnet 5$3,00 (promo $2)$15,00 (promo $10)—200K
Claude Opus 4.8$5,00$25,00—200K
GPT-5.5$5,00$30,00—400K
DeepSeek V4 Pro$1,74$3,48$0,145128K
Kimi K2.6$0,95$4,00$0,16256K

K3 на уровне Sonnet 5 list price ($3/$15), но 5× больше context. Cache hit от $0,30/M; в coding часто >90% hit rate. CN API: ¥20/M input, ¥100/M output, cache ¥2/M; kimi.com — free tier для smoke test; prepaid от ¥199 (promo до 11.08.).

7. Kimi K3 API: 5 шагов

  1. Регистрация: platform.kimi.ai или kimi.com — Google OAuth доступен.
  2. API key: сгенерировать в консоли; положить в secret manager, rotation policy обязателен.
  3. OpenAI-compatible client: base_url = https://api.moonshot.ai/v1.
  4. Model call: model="kimi-k3" — Python sample:
from openai import OpenAI

client = OpenAI(
    api_key="your_moonshot_api_key",
    base_url="https://api.moonshot.ai/v1"
)

response = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "Проанализируй этот код..."}]
)
  1. Альтернативы: OpenRouter moonshotai/kimi-k3 без markup; или с 27.07.2026 Hugging Face weights (supernode 64+ GPU).

8. Scenario decision matrix

Сценарий Рекомендация Обоснование
Marathon codingKimi K3SWE Marathon #1, максимальный context
Repo-wide bugfixesClaude Fable 5FrontierSWE лидер
Terminal / tool agentsGPT-5.6 SolTerminal Bench 2.1 #1
Long docs / multimodal OCRKimi K3OmniDocBench #1, native vision + 1M
Cost optimizationDeepSeek V4 ProOutput $3,48/M
Self-host open weightsKimi K3 (с 27.07.)Крупнейшие доступные open weights

9. Open weights: 27 июля 2026

Moonshot обязуется опубликовать полные weights на Hugging Face 27 июля 2026. K3 станет:

  • крупнейшей скачиваемой open-source моделью;
  • первой open-weight моделью >2T params;
  • новым reference point для community fine-tuning.

vLLM и SGLang support ожидается shortly; MXFP4/NVFP4 quantization вероятна. Training на MXFP4 weights + MXFP8 activations — quantization-aware design.

Milestones: WAIC 17–20.07 → 27.07. full open weights.

10. FAQ

Q: Kimi K3 бесплатен?
kimi.com free tier; API per-token.

Q: Локальный inference?
До 27.07 — нет; после — 64+ GPU, не laptop scenario.

Q: Low/High inference tiers?
Moonshot анонсирует updates; сейчас только max tier.

11. Summary: API сейчас, open weights — вторая половина

Kimi K3 — не чистый param marketing: KDA, AttnRes и Stable LatentMoE — измеримые engineering innovations. В marathon coding и document understanding K3 конкурирует с closed frontier models; pricing прозрачен; open weights датированы.

Для dev teams cloud API — pragmatic entry: 2,8T inference не влезает в закрытый ноутбук; Windows/Linux cross-dev не даёт Xcode/Metal/unified memory coherence Apple Silicon. Команды, готовящие agent integration, long-context code review или fine-tuning после 27.07, выигрывают от always-on remote Mac для Kimi Code, SFTP/rsync workspace sync и 7×24 CI — стабильнее sleeping laptop.

SFTPMAC remote Mac rental — native macOS Apple Silicon nodes с low-latency uplink: API integration и benchmark soak tests до open-weight release в production-ready состоянии.

Источники: Moonshot AI Blog · Kimi API Platform · Artificial Analysis · OpenRouter · VentureBeat · SCMP (benchmarks Moonshot 16.07.2026)