KDZNR网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 24|回复: 0

Edge0开源145B端侧模型 笔记本29GB本地跑 解码80+每秒

[复制链接]

260

主题

0

回帖

830

积分

超级版主

Rank: 8Rank: 8

积分
830
发表于 7 天前 | 显示全部楼层 |阅读模式


11月12日,Edge0开源Edge0-145B与Edge0-120B,连同统一推理框架与部署工具一并发布;其中145B被称为全球首个开源端侧1450亿参数模型,把可与前沿云端模型竞争的编码、推理与Agent能力带到本地电脑。

据官方数据,145B在兼容笔记本(如MacBook Pro)上峰值内存29GB,解码80+ token/s,prefill 1100+ token/s,上下文128K–256K,典型功耗约120W。架构上64个专家共享两大矩阵,每步仅约10B参数参与计算;权重按热专家留显存、约40GB专家库存内存、约48GB词汇数据放SSD三层流水线加载,CPU与GPU协同并采用推测解码。基准DeepSWE 1.1为64.6、Terminal-Bench 2.1为86.52、GPQA-Diamond为90.4、IFBench为80.6,六基准均值72.8;本地推理无云端token与API费用,数据可留在本机并离线运行。

https://edge0.ai/blog/introducin ... n-your-own-computer
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|KDZNR网

GMT+8, 2026-11-22 13:11 , Processed in 0.060582 second(s), 19 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表