Kimi K3开放权重模型：中国最大的AI押注内存而非计算能力

2026-07-20

Moonshot AI于7月16日发布2.8万亿参数的Kimi K3开放权重模型，为迄今最大开源模型。该模型通过混合专家技术、四比特量化等策略，以内存换计算应对美国计算限制，支持百万token上下文，提升训练效率与硬件兼容性。

- 参数规模：2.8 万亿参数，为目前最大开源模型

- 技术策略：采用混合专家技术，内存换计算应对限制

- 量化优化：四比特精度训练，模型大小降至1.4 TB

- 长上下文：Delta Attention优化百万token内存成本

- 硬件兼容：支持非Nvidia芯片，推荐64+加速器集群

7月16日，Moonshot AI推出Kimi K3开放权重模型，以2.8万亿参数规模成为目前最大的开放权重模型，进入行业“3T级”，此前无公开可用模型达到该级别。

其核心突破在于应对美国计算限制的技术策略：通过混合专家模型（MoE）仅调用1.8%的专家层，降低每词计算量；采用4位量化训练，模型内存从全精度的5.6TB降至1.4TB，显著减少内存占用。

Kimi Delta Attention技术优化长文本处理，百万token上下文解码速度提升6.3倍；通过向开源项目vLLM贡献缓存代码，结合64个以上加速器池化，实现高效内存管理，降低运行成本。

这种多芯片内存池化策略是解决计算限制的关键，但训练级计算仍依赖高端芯片（如Nvidia H200S），国产芯片支持情况尚未明确。