KDZNR网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 15|回复: 0

AI模型网关与路由:一把钥匙开所有模型

[复制链接]
匿名
匿名  发表于 昨天 18:00 |阅读模式
Stripe 刚花 70 多亿美元买下了一台不给 token 加价的交换台。下面讲清楚网关到底干什么、悄悄花掉什么钱,以及什么时候你根本不该用它。



你和所有模型之间那层"中立",现在有主了

最近半年三笔交易:

OpenRouter|归 Stripe(支付公司)|报道价 70 亿美元以上
Portkey|归 Palo Alto Networks(安全公司)|金额未披露
Helicone|归 Mintlify(文档平台)|金额未披露

价格来自各家自己的公告。OpenRouter 的价格是彭博报道的数字,Stripe 的新闻稿没有披露条款。

一家支付公司买下了这台交换台。Stripe 同意收购 OpenRouter——就是那个让一把 API 钥匙接通 80 多家供应商、400 多个 AI 模型的服务。彭博把价格报在 70 亿美元以上,大约是它上一轮融资估值 13 亿美元的五倍。对一家按它自己的价格问答所说、连一个 token 都不加价的公司来说,一台交换台值这么多钱。

如果你曾经在某个聊天机器人底下看到"via OpenRouter"、纳闷那是什么意思,本文就是答案。如果你正在琢磨,怎么让自己的应用用十个不同模型却不开十个账号,这也是一份实地指南:网关干什么、悄悄花掉什么钱、现在每一家归谁、以及什么时候你更该用自己的钥匙、自己的代理、或者干脆不上云。

网关就是一把钥匙开所有模型

每家 AI 厂商都有自己的接口、自己的钥匙、自己的账单、自己那套略有不同的请求格式。一个应用要拿 OpenAI 干一件事、Anthropic 干另一件事、再从便宜主机上拉一个开放模型干第三件,就得维护三套集成、三套账单关系。再乘以模型发布的速度,这套维护就成了一份全职工作。

网关(或者叫路由器、聚合器,这些词已经混用了)坐在你的应用和这一堆厂商之间。你把每个请求按一种格式发到同一个地址——几乎总是业界已经定型的 OpenAI 聊天补全格式——然后点名你要哪个模型。网关攥着各家厂商的钥匙,翻译请求,转发,再把答案送回来。一把钥匙、一张账单、一种格式,所有模型。

这就是为什么这门生意又大又薄。OpenRouter 自己的公告说,它现在每天为上千万开发者和公司搬超过 10 万亿个 token。Sacra 的估计把它的年化收入放在约 1.4 亿美元,而不久前还只有约 5000 万美元,几乎全部来自流过它的推理支出上那大约 5% 的抽成。网关在一条请求的河上,每个请求赚几分钱。

它干四件事,只有一件是路由

人们说"路由器",好像选模型就是全部意义。实际上网关凭四件独立的活儿站稳脚跟,而大多数团队只需要其中一两件。

统一。就是上面那件:一个端点、一把钥匙、一张账单。这是大多数人注册的理由,光是去掉这点摩擦就值回票价。

兜底。当一家厂商报错或超时,网关在别处重试,你的代码浑然不觉。OpenRouter 的路由文档写了默认做法:过去 30 秒内出过较大故障的供应商先跳过,剩下的之间分流。

路由。同一个开放模型——比如某代 Llama、Qwen 或 DeepSeek——往往有十几家主机在供,价格和速度各不相同。OpenRouter 默认在稳定供应商之间"按价格平方反比加权"选,最便宜的主机拿最多流量。像 nitro 后缀改成按吞吐排序,floor 后缀改成按最低价排序。这只对开放权重模型有意义;闭源模型只有一家主机。

观测。按钥匙、团队或用户拆开支;响应缓存;请求日志;到额度就掐断某把钥匙的预算。这是企业付钱买的部分,也是自托管代理们竞争的部分。

网关干的每一件事,都有一笔它不广告的成本:

统一|一个 OpenAI 格式的端点、一把钥匙、一张账单通吃 400 多模型|每个 token 上抽一笔。OpenRouter 充卡抽 5.5%;Cloudflare 统一账单抽 5%;Vercel 按厂商挂牌价,但它自己的卡费照收
兜底|A 厂商挂了,请求悄悄转到 B|数据路径上多了一家公司。你的提示词要穿过网关,而它的默认路由可能选了保留或训练数据的供应商
路由|同一个开放模型按请求挑最便宜或最快的主机|又多了一样会挂的东西。网关出故障现在就是你的故障,叠在每家厂商之上
观测|按钥匙、团队、用户拆开支;缓存;日志|路由逻辑存在它们的配置里。兜底顺序、模型别名、预算都由它们托管,搬走就得重建

抽成数字来自各家定价页。三家都不在单 token 价格上加价。



账单很小,另外三笔成本不小

先从人人都问的那笔说起。招牌费用很温和,每家都小心地声明它不是对 token 的加价。OpenRouter 你用卡买额度时抽 5.5%(最低 0.8 美元),厂商的单 token 原价原样过手;自带厂商钥匙的话,每月前 25000 美元免费,超出部分抽 5%。Cloudflare 在它统一账单里买额度抽 5%,你插自己的钥匙就一分不收。Vercel 按厂商挂牌价、不收平台费,但附加项单独计费:全团队零数据保留每 1000 个请求 0.10 美元,查它报表接口每 1000 次查询 5 美元。

每月 200 美元账单的 5% 是 10 美元。你要是在抠这个,就是在抠错的东西;我们在按任务成本、不是按 token 成本那篇里写过同样的道理。真正要紧的三笔成本,不出现在任何发票上。

数据路径上多了一家公司。每个提示词、每个答案都要穿过网关。OpenRouter 说它默认不记提示词和补全,还说你愿意开日志就给 1% 折扣——这交易公平,也写得明白。更微妙的是下游。它的路由参数 data_collection 默认是 allow,文档把这定义为允许那些"非临时性存储用户数据、并可能用于训练"的供应商。你可以设成 deny,但你得先知道要设。一个帮你挑最便宜主机的便利层,也可能挑中一家保留条款你从没读过的主机。我们在你的 AI 聊天到底怎么了那篇里逐家写过它们留什么;网关只是在那张名单上又加了一方。

又多了一样会挂的东西。网关卖给你的是"任何一家厂商挂掉都能扛住"的韧性,它自己也成了所有厂商都要经过的那一个点。网关出事时,所有模型同时不可用,而你指望的兜底逻辑就藏在那个出事的东西里面。

你的路由逻辑住在它的配置里。这是没人放在对比图上的锁定。在一个网关上待半年之后,你的兜底链、模型别名、按团队预算、缓存的提示词,全都用那家厂商的仪表盘或请求参数表达。接口格式是可带走的,运行知识不是。走了就得重建——这正是这些公司对收购方值钱的原因。

每一个大型托管路由器现在都有企业主

本文顶部那排头条就是三行字的论证。最近半年,三家最有名的托管网关都被买了,买家的主业都不是 AI 模型。

Stripe 对 OpenRouter 交易的表述很直白。Patrick Collison 在新闻稿里把 token 称为"用 AI 建东西的公司的核心货币"。在这个视角里,路由就是一个计量和支付问题,而这家已经替互联网计量卡支付的公司,也想计量 token。OpenRouter 那边的公告承诺名字、产品、路线图不变,路由仍然由"什么对你这个用户最好"驱动。这话值得盯着它们兑现。

Palo Alto Networks 完成了对 Portkey 的收购,把它折进自己的 AI 安全套件 Prisma AIRS。它的新闻稿把网关称为"所有 AI 流量的中枢神经系统"。同一个盒子,换了主人,换了用途:在这里交换台是一个检查点,提示词被扫描,智能体行为被监管。

开源可观测代理 Helicone 加入了文档公司 Mintlify。它的告别帖说产品进入维护模式:安全补丁和新模型照发,新功能不再上。此前已有 16000 家组织流过 14.2 万亿 token。这就是建在网关上更安静的失败方式:不是变贵,而是停步。

三家放一起,一个模式就出来了。每个网关都在推销的那层"中立",现在归一家支付公司、一家安全公司、一家文档公司所有。每一家坐在你数据路径上的理由,都和选最好的模型无关。还站着的独立者是自托管代理——它们之所以独立,是因为没什么可买:是你自己在跑。

四种网关,它们不是一回事

"网关"这个词至少被用在四种不同产品上,外加一类被人误以为是网关的东西。下表按软件跑在哪儿、你付钱给谁来排,因为这两件事能预测上面所有的权衡。

人们口中的"网关"其实有五种:

托管路由器|OpenRouter、Requesty、Not Diamond|它们的服务器|额度抽成(OpenRouter 5.5%)|Stripe(待完成)
平台网关|Vercel AI Gateway、Cloudflare AI Gateway|它们的边缘|token 不加价;卡费或统一账单 5%|Vercel、Cloudflare
云网关|AWS Bedrock、Azure Foundry router、Vertex Model Garden|你的云账户|云挂牌价|Amazon、Microsoft、Google
自托管代理|LiteLLM(MIT 核心)、Bifrost、Envoy AI Gateway|你的机器或 VPC|你的托管费;直付厂商|你自己
推理主机|Together、Fireworks、Groq、DeepInfra;媒体类有 Replicate、Runware、fal|它们的 GPU|它们的单 token 或单秒价|独立(目前)

推理主机列进来,是因为人们拿它们当一把钥匙的聚合器用,但它们是在自己硬件上供模型,而不是路由到别家。

托管路由器就是 OpenRouter 那种形状:一个有自己额度、自己路由、全套便利的市场。Vercel 和 Cloudflare 的平台网关把同样的功能铆在你可能已经在用的托管产品上;两家都允许你自带厂商钥匙、完全免抽成。AWS Bedrock 这类云网关是一朵云账单下、一个 API 打通多家厂商,直到你想要一朵云没有的模型为止都很方便。

自托管代理就是你自己跑一个容器的想法。LiteLLM 是这里的默认选择:一个 Python 库加代理服务器,以 OpenAI 格式覆盖 100 多家供应商,带虚拟钥匙、按团队预算、重试、兜底和缓存。它的核心是 MIT 协议(enterprise 目录另有条款),仓库 GitHub 星数超过 56000。你的钥匙留在你机器上,你的日志留在你数据库里,没有哪个收购方能在你脚下改路线图。代价是:你现在在运营一个服务。

推理主机被混进来,是因为它们也给你一把钥匙开多模型,但它们是另一种动物。Together、Fireworks、Groq、DeepInfra 在自己 GPU 上跑开放权重模型,按 token 收费;Together 挂牌 Llama 3.3 70B 每百万 token 1.04 美元、DeepSeek V4 Flash 输入 0.14、输出 0.28 美元。它们是厂商,不是交换台,路由器很乐意路由到它们那里。媒体也一样:Replicate、Runware、fal 各用一把钥匙托管图像、视频、音频模型——你不在本地跑模型时,csuite 的云供应商扮演的就是这个角色。

按你能忍受的权衡来选

没有普适正确答案,但每种处境都有正确答案,它取决于四笔成本里你能容忍哪笔。

一两家厂商、个人项目|直连钥匙|无抽成、无额外一跳、以后无迁移
多模型、快速实验、小团队|托管路由器|一把钥匙一张账单胜过十个账号;接受这一跳
要预算、要审计、合规数据|自托管代理|LiteLLM 那种:配置和日志留在你的 VPC
私有文档、离线、重复任务|本地运行时|没钥匙、没账单、根本没有交换台

如果你只用一两家厂商,直连。网关解决的是你没有的问题,加上一跳你不需要的网络。把钥匙放在你自己的密钥库里,自己写那五行兜底。

如果你是每周试一个新模型的小团队,托管路由器就是对的工具,Stripe 那笔交易今天还没改变这一点。把 data_collection 设成 deny,要紧的地方用 order 参数钉死供应商,把兜底链留在你自己代码里而不是仪表盘上,好让它们跟你走。把网关当便利,别当架构。

如果你有预算要执行、有审计要应付、或者文档不能出网,跑一个代理。LiteLLM 或它的同类把统一、兜底、观测三件事给你,配置在你的仓库里,日志在你的数据库里。路由那件事在这儿不重要,因为合规团队本来就会钉死供应商。

如果活儿是重复、私密或离线的,别上云。我们在云接口 vs 本地运行时那篇里算过这笔账什么时候翻面;网关不改变这笔账,只是在云那一侧加一笔费。

网关终究是别人的钥匙

网关的推销词是独立:不锁定任何一家模型厂商。这话是真的,它藏了一次掉包。你把对五家厂商的依赖,换成对一个中间人的依赖,而今年中间人一个个有了主人。网关终究是别人服务器上、别人的钥匙,带着别人想坐在那儿的理由。

这就是我们在自带钥匙 vs SaaS AI 那篇里讲的同一套道理:钥匙和数据离你越近,能改条款的人越少。托管路由器是探索阶段的好工具。对任何你已经依赖的东西,把路由逻辑留在你代码里,把厂商钥匙留在你保险库里,而对那些本来就不需要联网的任务,把模型留在你机器上。这样交换台卖给谁都无所谓,你的应用不会察觉。

这也是我们做 CSuite 围绕的形状。这个应用是路由器,指的是对一个人而言重要的那种路由,而不是对平台而言:一个模型选择器,架在 OpenAI、Anthropic、Google、Replicate、Runware 等等之上,每个都用你自己的钥匙调用,再加上本地运行时(Ollama 和 Hugging Face)给那些根本不用出你机器的模型。和托管网关的区别在于交换台住在哪儿。它跑在你桌面上,所以没有中间服务器让你的提示词穿过,没有人抽 token 的成,也没有路由配置攥在一家下周可能被收购的公司手里。你的对话和生成,落在你磁盘上普通的文件里。同样的便利,减掉数据路径上的第二家公司。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|KDZNR网

GMT+8, 2026-9-26 22:27 , Processed in 0.057579 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表