KDZNR网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 17|回复: 0

OVHcloud开源Olala mini 7A1B MoE 7B参数1B激活 8GB显存可跑

[复制链接]

260

主题

0

回帖

830

积分

超级版主

Rank: 8Rank: 8

积分
830
发表于 4 天前 | 显示全部楼层 |阅读模式


11月17日,法国云服务商OVHcloud在鲁贝发布其首个大模型家族Olala,首款成员Olala mini 7A1B以Apache 2.0许可在Hugging Face开源,包含权重、预训练基座模型、技术报告与AI Act合规文档;正式亮相安排在11月19日的OVHcloud AI Summit。

模型为混合专家(MoE)架构,总参数70亿、每请求激活10亿,每层256名专家;注意力采用Differential-TPA与Mamba-3混合方案,BF16格式。显存占用低至8GB即可运行,RTX A4500上可达160 Token每秒,标准CPU上约50 Token每秒,上下文窗口32000 Token。模型在Jupiter、MeluXina、Jean Zay三台欧洲公共超算上训练,使用GH200、A100与H100 GPU,公共算力支持约700万欧元;Qwant已采用该模型提供闪答功能,称速度提升20%、运行成本降至原先三分之一。路线图方面,年底将推出v1.1把上下文扩到128000 Token,v2.0参数规模将超过1000亿;官方尚未公布独立第三方基准对比。

https://i10x.ai/news/ovh-olala-mini-open-source-european-llm
https://datacentrenews.ie/story/ ... rce-ai-model-family
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|KDZNR网

GMT+8, 2026-11-22 13:11 , Processed in 0.713183 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表