首页
学习
活动
专区
圈层
工具
发布

摩尔线程完成Kimi K3适配,支持2.8万亿参数开源大模型

7月28日晚,摩尔线程官微宣布公司基于AI训推一体智算卡MTT S5000及MUSA软件栈,7月28日完成Kimi K3的适配。

当日,月之暗面正式开源2.8万亿参数模型Kimi K3,并发布模型权重与技术报告。同日,摩尔线程基于AI训推一体智算卡MTT S5000及MUSA软件栈,率先完成Kimi K3的极速适配与稳定拉起。这不仅展现了MUSA软件生态面向前沿模型的快速响应与全栈协同能力,也再次验证了国产全功能GPU支撑万亿级大模型创新的工程实力。

作为全球首个开源的3万亿级别模型,也是Kimi迄今能力最强的模型,Kimi K3拥有2.8万亿参数,基于KDA混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,采用Gated MLA与Stable LatentMoE等架构创新,原生支持视觉理解,并拥有100万token上下文窗口,面向长程编程、知识工作和推理等前沿智能场景而设计。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OU8qZABQ2Y7_6kGYt4o6BRWw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。
领券