昇腾完成Kimi K3.1 Pro旗舰模型适配

观点网讯：11月4日，月之暗面正式开源Kimi K3.1 Pro旗舰模型权重。昇腾随即完成模型适配，并在Atlas 950 SuperPoD上实现LoRA微调训练。

Kimi K3.1 Pro是Moonshot AI推出的新一代3万亿级开放权重原生多模态模型，总参数规模达2.8万亿。该模型采用Stable LatentMoE稀疏专家架构，拥有896个路由专家，每个Token激活16个专家。

模型采用KDA与Gated DSA混合注意力架构，其中约四分之三的Attention Block采用KDA线性注意力，并结合Top-2048稀疏注意力机制，支持最高100万Token上下文及原生图像理解。依托大规模联合强化学习及系统级优化，Kimi K3.1 Pro在长程自主编程、复杂Agent任务、3D创作、金融研究和深度知识工作等领域实现能力提升。

围绕超大规模MoE模型的训练挑战，昇腾依托超节点大带宽、低时延和内存统一编址的架构优势，构建覆盖模型适配、混合并行、算子加速、通信优化和显存管理的全链路训练能力。同时，借助Agent驱动的自动化开发流程，实现新模型天级接入与快速迭代。

计算侧，KDA的状态递推、分块计算与DSA的稀疏索引、非连续访存交织，增加了算子融合与执行调度难度。

通信侧，896个专家的稀疏路由容易出现专家Token分布不均、单专家计算批量偏小等问题。

显存侧，2.8T参数仅BF16权重就约占5.6TB。

昇腾基于FSDP2+EP混合并行架构，实现专家参数分布式部署与高效聚合。目前已在128卡Atlas 950 SuperPoD上完成基于FSDP2+EP64的Kimi K3.1 Pro LoRA微调训练验证。

针对KDA线性注意力，昇腾设计大前向、大反向融合算子，将多个计算阶段整合至单个Kernel中。针对DSA稀疏注意力，采用LI/SFA/SFAG等融合AscendC算子实现模型接入，实现相比原有小算子2倍以上性能提升。针对AttnRes深度残差机制，昇腾依托Triton Ascend编译框架与BiSheng编译器，快速完成创新结构的前向、反向算子开发与接入。

针对MoE训练全链路性能瓶颈，昇腾围绕Permute、Unpermute、Grouped GEMM等核心算子开展深度融合与高性能优化，结合All-to-All高性能通信、通信计算重叠及专家负载均衡技术，打通Token Dispatch、Expert Compute、Combine全链路执行。

昇腾引入Swap Core算子级选择性缓存机制，对指定MatMul/GMM算子的计算结果进行二级缓存，支持HBM与DDR分层存储。在当前测试配置下，训练性能平均提升15%。

针对大词表显存瓶颈，昇腾通过Chunk Loss与CCE Loss实现序列维度和词表维度的双重优化。Chunk Loss沿序列维度进行分块，CCE Loss沿词表维度分块计算。

基于128卡Atlas 950 SuperPoD开展的LoRA微调实践显示，随机初始化训练初始Loss约为13.5，经过400余步训练后收敛至1.7左右。加载开源权重进行LoRA微调，初始Loss约为1.85，经过500余步微调后收敛至0.27左右。

免责声明：本文内容与数据由观点根据公开信息整理，不构成投资建议，使用前请核实。