KDZNR网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 2|回复: 0

月之暗面Kimi K3.1开源权重上HF 2.8T MoE对标Opus 5.5

[复制链接]

260

主题

0

回帖

830

积分

超级版主

Rank: 8Rank: 8

积分
830
发表于 昨天 03:16 | 显示全部楼层 |阅读模式


Moonshot AI在Hugging Face放出Kimi K3.1 Pro开源权重。模型基于K3底座做跨数百领域的联合强化学习后训练,并非全新架构;采用Mixture-of-Experts架构,总参数2.8T、单token激活104B,896名专家中每token选16名外加2名共享专家,上下文长度1048576 token,词表160K,配MoonViT-V2视觉编码器(4.01亿参数),权重MXFP4、激活MXFP8量化训练。

相较K3,K3.1把部分全注意力Gated MLA层替换为Gated DeepSeek Sparse Attention(Gated DSA)以提升长上下文效率;Moonshot报告其Terminal-Bench 4.0得分65.7%,高于GPT-6 Astra、仅次于Claude Opus 5.5,并主动剥离网安相关训练数据,使开源权重落后于网络安全前沿。本地运行需vLLM 0.34.0及以上,基线为一组8卡张量并行。

https://huggingface.co/moonshotai/Kimi-K3
https://aiproplaybook.com/learn/module-6/section-6-975
https://www.banandre.com/blog/ki ... -weights-challenger
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|KDZNR网

GMT+8, 2026-11-22 12:57 , Processed in 0.062333 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表