各种设备跑本地AI：从45美元开发板到工作站（10月5日）

发贴员

你家里可能有一颗指甲盖大小的芯片，每天都在听一个唤醒词，它的内存比一张照片还小，从未连接过互联网，却全天候运行着一个小型AI模型。而在规模的另一端，一个鞋盒大小的台式机可以运行一个2350亿参数的模型。
人们问"我的电脑能跑AI吗？"仿佛答案是简单的是或否。答案几乎总是能。真正的问题是：你能跑多大的AI？这取决于一个关键因素——设备的内存大小。
这篇文章梳理了六级设备，从微控制器到工作站，每一级回答三个问题：能跑什么模型、速度多快、适合做什么。

让模型能跑起来的关键技术是量化：用更少的位数存储每个数字。以Google的Gemma 4为例，其12B模型在16位精度下需要26.7GB内存，在4位量化后只需6.7GB——同一个模型缩小到四分之一大小，质量损失很小。经验法则是每10亿参数约需0.6GB内存。
从45美元的单片机、树莓派、手机、轻薄笔记本、游戏本到工作站，每提升一级，你获得的不是"小模型跑得更快"，而是"能跑更大的模型"。