摩尔线程完成Kimi-K3.1 Pro模型适配,支持文本与图片基础推理

11月4日,月之暗面公布Kimi K3.1 Pro完整模型权重。在Agent Arena智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第13位,并在工作、编程与聊天三个类别中均居开放模型首位。

摩尔线程完成Kimi-K3.1 Pro模型适配,支持文本与图片基础推理

摩尔线程今日宣布,基于AI训推一体智算卡MTT S5000及MUSA软件栈,已完成Kimi-K3.1 Pro模型的Day-0适配,打通模型加载、服务启动以及文本、图片基础推理链路。Kimi K3.1 Pro是K3.1系列首款模型,参数规模为3万亿级,支持100万上下文,在代码、3D创作、金融研究、知识问答及长程Agent任务方面有所提升。

软件栈快速迁移

摩尔线程围绕Kimi K3.1 Pro的模型架构与计算特性,通过MUSA软件栈完成关键推理路径迁移与适配,使模型在MTT S5000上稳定运行。MUSA在编程模型、运行时接口和AI框架层面具备兼容迁移能力,团队基于SGLang-MUSA承接上游模型实现,并通过MATE算子库、Triton-MUSA、TileLang-MUSA及MTCC编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为MTT S5000上的实际推理服务。

稀疏注意力与权重处理

针对Kimi-K3.1 Pro的稀疏注意力DSA,MUSA软件栈完成索引选择、KV缓存布局及Prefill、Decode计算路径的适配,接入MATE稀疏注意力算子,并与KDA状态管理、跨层残差及视觉Attention共同组成完整执行链路。对于模型采用的MXFP4专家权重,团队通过在线转换与跨层复用FP8工作区的方式执行专家计算,无需预先生成完整的离线FP8权重,为超大模型快速部署提供支持。