KDZNR网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 2|回复: 0

Thinking Machines开源Inkling 2 Mini 26.4B MoE笔记本可跑

[复制链接]

260

主题

0

回帖

830

积分

超级版主

Rank: 8Rank: 8

积分
830
发表于 9 小时前 | 显示全部楼层 |阅读模式


11月20日,Thinking Machines Lab发布开放权重模型Inkling 2 Mini,采用Apache 2.0协议。这是Inkling 2 Small(5940亿参数)的小尺寸姊妹款,为混合专家(MoE)架构,总参数264亿、每token激活34亿,支持图文输入与100万token上下文;权重按训练精度分发,二十层NVFP4、最后四层MXFP8,合计约20GB,可用Ollama在至少32GB内存的Mac上运行。

模型采用带循环的Transformer:24层中中间12层遍历三遍,每个token获得48层计算通过;训练时专家从384个剪到128个,再用内部更大Inkling模型蒸馏的1万亿token修复。官方基准显示其在DeepSWE v1.1取得48.2%、SWE-bench Pro v2 Hard 77.9%,在1000亿参数以下开源模型的DeepSWE与Vals Index v2.2(46.5%)上领先;多轮对话与多约束指令方面并非同档最佳。

https://jls42.org/en/news/ia-actualites-20-nov-2026
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|KDZNR网

GMT+8, 2026-11-22 12:57 , Processed in 0.055873 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表