别把业务绑在一家 AI 供应商身上

AI 工作流与模型的行为、提示词（Prompt）、工具调用（Tool Calling）、向量嵌入（Embedding）、安全过滤器（Safety Filter）和输出定价紧密相关。即使 API 看起来差不多，换了模型，结果也可能不同。公司如果没有评测（Evaluation）机制，就无法判断质量是变好还是变差，于是往往因为害怕重新测试而一直留在原来的供应商（Vendor）那里。

分类、信息提取和简单草稿用小而快的模型（Small/Fast Model）；复杂分析用推理模型（Reasoning Model）；图像、语音或特定领域用专用模型（Specialized Model）；数据或延迟（Latency）有要求时，用本地部署或私有模型（On-prem/Private）。不要把最贵的模型设为默认选项。

按风险、复杂度、语言和预算做路由。智能体选用哪个模型必须遵循策略（Policy），不能自作主张。供应商（Provider）宕机或触发 Rate Limit 时要有后备方案（Fallback），并记录每个结果用的是哪个模型。

把业务工作流、提示词和指令、模型网关（Model Gateway）、知识库、工具和可观测性（Observability）分开。统一接口只覆盖必要的能力。把所有特有功能都屏蔽掉，可能会损失这些功能带来的好处，所以要把供应商专属（Vendor-specific）的功能隔离在适配器（Adapter）里。

把源文档、元数据、评测和业务规则保存在模型系统之外。导出时使用开放格式，提示词和智能体配置要纳入版本控制。凭据（Credential）存放在 Secret Manager 中，不要嵌入工作流。

建立模型网关，统一处理身份认证、路由、Rate Limit、日志、敏感信息脱敏（Redaction）和成本，这样可以分步更换供应商。但要注意别让网关变成新的锁定，所以网关配置必须能导出，内部也要有统一的 API 标准。

从真实案例中建立数据集（Dataset），涵盖标准情况、例外情况、泰语内容和高风险情形。确定评测指标，例如准确率、完整性、引用、政策合规、延迟和成本。需要判断的部分交给人工审核，规则类的部分用自动检查。

更换之前，先让候选模型以影子模式（Shadow Mode）与生产环境并行运行。按细分群体（Segment）拆开看结果，不要只看一个平均分。先用小部分流量做金丝雀发布（Canary），并保留可回滚的版本。每次变更都要有决策记录（Decision Record），写明选择的理由。

便宜的模型可能需要反复重试（Retry）或大量人工复核，最后反而更贵。成本要把模型、工具和 API、基础设施、人工复核、错误和停机都算进去，再计算每个成功结果的成本（Cost/Successful Outcome）和每个业务单位的成本（Cost per Business Unit）。

按工作流设定预算（Budget per Workflow），使用缓存（Cache）、批处理（Batch）和提示词与上下文优化。单位成果成本（Cost/Outcome）出现漂移（Drift）时发出告警。不要为了省一点钱降低重要工作的质量。要模拟业务量增长 10 倍时的情景，因为智能体式工作流（Agentic Workflow）每笔交易可能要多次调用模型。

凭据和账单都要登记在公司名下，不要放在完全由开发外包商控制的账号里。检查模型和开源软件的许可证（License）以及商业使用限制。每年针对关键工作流做一次退出演练（Exit Drill）。

按关键程度给工作分级（Tier Criticality）。不太重要的工作可以等；面向客户的工作要有备用供应商（Fallback Provider）或人工处理通道；财务类工作必须故障关闭（Fail Closed），不放行未达标模型给出的答案。服务恢复时，要保住队列（Queue）并保证幂等性（Idempotency）。

测试各种故障模式（Failure Mode）：超时（Timeout）、输出不完整、工具调用出错、价格飙升和区域性服务中断。仪表盘必须能区分供应商的问题和数据或工作流的问题。服务降级时，要坦诚地告知客户。