
OpenAI 教你做模型容灾,但没回答:20 人公司里谁有权按下那个切换开关
2026 年 10 月 14 日,OpenAI 开发者博客发布《Designing failover across OpenAI model providers》,讲的是模型供应商之间怎么做容灾。原文最后一节标题就叫「谁负责恢复」,但它假设你有网关、路由器、eval 和一批具名值守人。20 人公司的现实是这些都没有——「生产路由」就是 20 个员工各自登录的 ChatGPT。本文逐条拆解原文可核对的事实,并给出一个人也能执行的最小做法。
2026 年 10 月 14 日,OpenAI 开发者博客发了一篇工程长文《Designing failover across OpenAI model providers》,作者是 Oliver Steffmann 和 Vik Bomma。全文只讲一件具体的事:当一个 AI 工作流不能中断时,怎么在主供应商之外留一条经过验证的备用通道。
文章的示例场景很明确:服务金融业客户,在支付流程里跑一个只读的欺诈评估。这类工作流对延迟和可用性都有硬要求,容灾是刚需。也正因为起点是这类客户,原文通篇默认了一些前提——你有 LLM 网关、有模型路由器、有一整套 eval、有法务与隐私与安全与数据治理的评审名单,还有一批具名的值守人(官方写法是 named on-call)。
对 20 人的中国公司,这些前提一条都不成立。没有网关,没有路由器,也没有任何人被指定为「有权按下切换开关的人」——所谓生产路由,就是 20 个员工各自登录的 ChatGPT 账号。于是原文最后一节的标题成了一个真问题:谁负责恢复。这篇把原文里可核对的事实逐条摊开,再回答原文没有回答的那半句:在你的公司里,那个人该是谁、被授权做什么。
先看官方对 agent 能力面的口径
原文里最硬的一条边界正好落在 Agents API 上:切换供应商本身不会恢复会话和已保存的工作。官方这条发布视频讲的是 agent 能做什么;能力边界和恢复边界要一起看,才不会在事故当天才发现「换个供应商接着跑」是行不通的。
原文先把两条路线分清楚了
第一个概念是 1P 和 3P。按原文定义,1P(first-party)指直连 OpenAI API;3P(third-party)指通过云厂商访问 OpenAI 模型,Amazon Bedrock 和 Azure OpenAI 都是,不管你的应用本身跑在哪。
第二个概念是:直连即使不做主力通道也有独立价值。原文给的理由很实在——preview 阶段的模型和能力在直连上先可用,合格的团队可以在自己选定的云厂商支持之前,先拿真实工作流去评估它们。换句话说,1P 是试验通道,3P 是生产通道,两者同时存在是常态。
真正定义全篇的一句话是这句:把多供应商支持当作平台能力,把 failover 当作工作流决策(原文是 we treat multi-provider support as a platform capability and failover as a workflow decision)。拆开就是两件事:能不能同时接多家,是基础设施问题;某一步要不要切过去,是业务问题。而这两件事,在很多小公司里都没有人对得上号。
官方的容灾要求,落到 20 人公司是什么样
原文的要求逐条列得清楚,但每一条都带着大公司的分工假设。下面这张表把四件事并排放:官方怎么写、大厂怎么分、你的现实、以及一个人也能做的版本。
| 官方的容灾要求 | 大厂式分工 | 20 人公司的现实 | 公司层最小可行做法 | |
|---|---|---|---|---|
| 路由归谁 | 把路由器当平台能力:平台团队运行 router、监控与审计日志,并设具名的 on-call 负责下线某条路由 | 平台团队与应用方两层,各自有值班表 | 没有 router,也没有平台团队;生产路由散在 20 个员工的浏览器里 | 指定一个人(通常是 IT 或运营负责人)做 AI 管理员,路由收口到一处,不再散在个人账号上 |
| 哪些操作允许切 | 应用方定义哪些操作可以 failover、服务质量与质量目标、可接受的降级范围;只有能安全重放的自包含步骤才允许切 | 一张写明红线的策略表,跟着代码评审一起合并 | 没人写过这份清单;真出事时靠当场判断 | 先只写清「哪些工作绝对不能中断、绝不能重放」,其余默认不自动切 |
| 每个路由的用量与预算谁盯 | 按模型、账户或项目、区域分别跟踪请求与 token 速率、并发、限流、响应时间和剩余已批准预算;原文特别提醒供应商级大盘会掩盖单个模型的限流 | 有可观测平台和成本看板,按项目分摊 | 只有一张统一账单,看不出谁在用哪个模型 | 先做到按人、按部门看到用量,再设一条预算告警线 |
| 事故中谁有权行动 | 启用前就商定:谁批准控制项、谁负责路由测试与 runbook、谁在事故中有权行动 | 事故指挥官加值班表,靠演练保持有效 | 没有指定任何人;出事先找「谁电脑最熟」 | 命名一个人和一名替补,写进文档,明确授权范围 |
最右边一列为什么是「一个人」,不是「一套系统」
原文自己给了一个台阶:它说这套分工可以合并、也可以分得不一样,但必须在启用 failover 之前就商定好。这句话对小公司其实是好消息——你不需要重构组织架构,你需要的是一个名字。
反过来看,最糟的状态不是「没有容灾方案」,而是「有方案、没人负责」。因为方案一旦存在,所有人都会默认别人在盯着它:开发以为运维在切,运维以为这不是自家机房的事,老板以为 IT 有预案。原文反复强调的 validate、runbook、授权,本质上都是在堵这个洞。
五类错误:能切的,和绝不能自动切的
瞬时服务或连接故障
可重试的供应商错误、连接重置、超时——可以考虑切到已验证的备用通道。前提是这一步能安全重放。
持续限流或明显变慢
如果等下去会击穿请求或工作流的截止时间,可以考虑切。但原文要求先分辨:是临时性限流,还是配额与账单问题——后者切多少次都没用。
无效请求、401/403、安全拒绝、额度耗尽
绝不自动切。请求格式错了、权限不对、被安全策略拒绝、额度或预算用尽,换一条路由只会把同一个错误再犯一遍。原文要求修正原因或升级处理,未分类的错误同样不触发 failover。
部分输出或不确定的工具动作
不得盲目重放。已经吐出一半的内容不代表能在另一条通道续上;如果动作可能已经执行过,必须先核对结果、防重复写入,再决定怎么重启。
模型级不可用或容量不足
换一个满足质量、功能和延迟要求的已批准模型。如果受影响的是供应商共享的服务路径,才轮到考虑供应商级切换。
重试只能有一层,多一层就多一份账单
原文有一句听起来很工程、其实很财务的话:应用、SDK、网关三层里只应有一层控制重试,否则重试次数会相乘。具体做法是共用一份重试预算、遵守供应商给出的 Retry-After,否则用带 jitter 的有界指数退避,并且所有尝试都要落在请求和工作流两个截止时间之内。
翻成公司里的场景:员工在客户端开了自动重试,脚本里又写了一层,网关再加一层——一次失败变成九次请求。这在账单上看不出是「故障导致的」,只会显示成那个模型当月用量偏高。等到对账时,没人能解释这笔钱花在哪。
原文还有一句更值得抄进制度里:未验证的 failover 路径全部保持关闭(Leave all unverified failover paths disabled)。默认关闭、验证后再开,这个顺序不能反。
监控和成本,原文给的都不是「一个总数」
监控上,原文明确说供应商级的大盘会掩盖单个模型的限流,所以要求按路由、按模型、按账户或项目、按区域分别跟踪:请求与 token 速率、并发数、限流次数、响应时间,以及剩余已批准预算。
成本上,原文给的口径是每次成功评估的成本(cost per successful assessment),而不是每次调用的单价——并且要把缓存未命中、跨云数据传出、连接成本都算进去。因为一旦切换通道,缓存大概率全部失效、请求开始跨云,单价没变而总价变了。
这条对小公司其实是最容易立刻执行的:你不需要监控平台,你需要一个能回答「这个月研发和市场各用了多少、用的是哪个模型」的地方。有这张表,预算才有意义。
顺带说一句:私有连接不会自动跨区域切换
如果公司对网络路径有合规要求,原文这段值得存下来:直连 OpenAI(1P)的 Private Link 用的是 Azure Private Endpoint,跑在 AWS 或 Google Cloud 的工作负载需要自建到 Azure 的连接;3P 里 Amazon Bedrock 用 AWS PrivateLink 的接口型 VPC endpoint,Azure OpenAI 用 Azure private endpoints。
关键提醒是最后一句:OpenAI Private Link 不会自动在区域端点之间切换,区域级恢复要单独配置和单独测试;如果要回退到公网 HTTPS,还需要明确的批准。对合规行业这是细节,对其他行业这是提醒——基础设施层的高可用不等于你这条链路的高可用。
原文最后一节:谁负责恢复
这是全文唯一直接谈组织的一节,也是本文标题的出处。原文给了一个「实用模型」:把路由服务的所有权和应用的所有权分开。平台团队跑供应商集成、路由器、监控、审计日志,对路由服务的生产就绪负责,执行目的地、身份、数据、流量和花费的控制,并设具名 on-call 负责下线路由和把流量带回主通道。
应用方则定义哪些操作可以切换、服务与质量目标、可接受的降级,并对业务结果、保存下来的恢复上下文、工具权限、结果核对、防重复动作负责。最后一句是全篇最容易被跳过的:启用 failover 之前,先约定谁批准控制项、谁负责路由测试与 runbook、谁在事故中有权行动。
注意这里的措辞是「先约定」,不是「先实现」。也就是说,官方文档认为这件事的起点是责任分配,不是技术选型。而对没有平台团队的公司,这个起点反而更容易做到——因为能被命名的人只有那么几个。
一个人也能执行的最小版本:四步
第一步:给这件事一个名字
指定一名 AI 管理员和一名替补,把「谁有权停用某个模型、谁有权切换」写进文档并告知全员。不需要新岗位,通常是 IT 或运营负责人兼。没有名字,后面三步都不会发生。
第二步:把路由收口到一处
如果公司的 AI 使用是「一人一个账号、一人一把 key」,那就不存在可切换的路由,只有 20 条互不知情的路径。先把入口收成一个,切换才成为可能——这也是为什么不要把 API key 发给员工的核心。
第三步:写一页纸的红线
照抄原文那张表的思路,只写清哪些情况允许切、哪些必须停:报错格式、权限、安全拒绝、额度耗尽一律不自动切;只读、可重放、能在截止时间前完成的步骤才允许重试。一页纸就够,写多了没人看。
第四步:让「昨天谁用了哪个模型」查得到
按人、按部门记录用量与所用模型,是监控的最小形态,也是事后复盘的前提。原文要求的按路由拆分看板,在小公司里就等于这张表。
真正的缺口不是容灾,是可追溯
把原文读完会发现,它讨论的所有恢复动作都建立在一个前提上:你知道出事那一刻,哪个工作流在跑、用的是哪个模型、哪条通道。没有这个前提,failover 无从谈起——你连「要不要切」都无法判断。
这正是 20 人公司最尴尬的地方:模型换代或供应商抖动的时候,公司既没有预案,事后也查不到昨天谁用了哪个模型。这两件事看上去一个是技术问题、一个是管理问题,其实是同一件事的两头。
我们在做的 Wodex 就是从这个缺口切入的:给团队开箱即用的企业级 ChatGPT,员工不用注册 ChatGPT 账号、不用配网络和 API key;AI 使用收回到公司统一管理——成本可回收、用量可见、使用可审计、模型可切换。落点正好是这篇原文的三根柱子:模型可切换、用量可见、使用可审计。
如果你正在梳理公司的 AI 准入与治理流程,可以先对照企业落地 ChatGPT 的检查清单过一遍;如果纠结点在「统一托管额度还是各自带 key」,BYOK 与托管额度的对比讲了两种口径的实际差别。
如果只想记住一件事
OpenAI 这篇文章的工程细节可以交给开发去读,但有一句话值得老板自己记住:启用容灾之前,先约定谁在事故中有权行动。工具能买,方案能抄,授权不能代办。今天就做一件最小的事——问团队一句:如果明天主模型不可用,公司里谁有权说「切」,谁知道该切到哪?
延伸阅读
常见问题
- 1P 和 3P 到底指什么?
- 1P 是直连 OpenAI API;3P 是通过云厂商(Amazon Bedrock、Azure OpenAI 等)访问 OpenAI 模型。按官方原文,不管你选哪条做生产通道,直连的价值都在于 preview 模型和能力先可用。
- Agents API 的会话,换个供应商能接着跑吗?
- 不能。官方原文明确写了:切换供应商本身不会恢复会话和已保存的工作,也不会核对之前的动作。这类会话的恢复要复杂得多,原文明确把它划在自己的范围之外。
- 我们不写代码,只在 ChatGPT 里用 AI,这篇和我们有关吗?
- 有关的是最后一节。你没有路由器和网关,但你有人和账号:「模型换代时谁决定、谁通知、谁负责验证」这个问题一字不差地存在。原文的工程细节可以跳过,责任分配那段不能跳过。
- 只有 20 个人,真的需要指定一个人专门管这件事吗?
- 需要指定人,但不需要专职。原文要求的是「启用前就约定谁批准、谁测试、谁在事故中有权行动」;在小公司里这可以是一个人兼着做,关键是这个名字存在、授权明确、全员知道。
- 自动重试不是越多越稳吗?
- 不是。原文明确要求只由一层控制重试,共用一份重试预算,否则应用、SDK、网关三层叠起来,失败会变成成倍的请求和成倍的花费。而且重试必须落在请求与工作流的截止时间内,超时的重试等于什么都没做。
- 原文那句「未验证的路径保持关闭」怎么执行?
- 默认关闭,验证过再开,并且逐个工作流开——不要一次性全公司打开。原文的建议是从一个自包含、只读的推理步骤开始试点,验证质量、数据控制、容量和恢复都达标之后,才扩大到别的步骤。