Китайская ИИ-модель Kimi K3 с 2,8 трлн параметров вышла в лидеры, OpenAI заговорил об «ИИ-коммунизме»
Китайская компания Moonshot представила открытую модель искусственного интеллекта Kimi K3, которая сразу заняла верхние позиции в рейтинге Arena. Новая модель содержит 2,8 триллиона параметров, поддерживает обработку текста и изображений, а её контекстное окно составляет около 1 миллиона токенов. Разработчики подчёркивают высокую скорость работы и конкурентную производительность на уровне аналогов.
Архитектурное новшество Kimi K3 – механизм Kimi Delta Attention (KDA). Он предназначен для эффективной обработки длинных запросов. В больших языковых моделях объём промежуточных данных растёт с увеличением контекста. KDA использует гибридный подход: три состояния сжатого представления информации и одно состояние полного доступа. Это снижает нагрузку на кэш KV – специальную область памяти, где хранятся уже обработанные данные.
При этом оптимизация памяти не означает снижения всех аппаратных затрат. Модель применяет технологию WideEP для распределения вычислений между ускорителями, поэтому объём используемой высокоскоростной памяти HBM остаётся значительным.
Рост открытых моделей не остался незамеченным конкурентами. Дин Болл, руководитель направления стратегического развития OpenAI, в соцсети X высказал опасение, что распространение открытых ИИ-моделей может привести к сценарию «полного ИИ-коммунизма», когда искусственный интеллект станет общественным благом, а не коммерческим продуктом. Он также подверг критике китайские открытые модели, назвав их «стороной замедления для крупных инвестиций в вычислительную инфраструктуру».
Выход Kimi K3 усиливает конкуренцию между закрытыми коммерческими системами OpenAI и Anthropic и открытыми моделями. Moonshot продолжает развивать направление открытого ИИ, предлагая альтернативу проприетарным решениям.
