五步迁移：从闭源到开源，周期几周到几个月

五步迁移法

从闭源模型迁到开源模型，周期是几周到几个月。路径是清晰的五步：发现、评估、适配、决策、生产。

发现与评估：真实流量做基准

发现阶段的任务是选模型。没有哪个模型能在所有领域做到最好，不同模型擅长不同任务，筛选必须落到具体用例上。外部榜单可以作为起点：The Open Frontier、Artificial Analysis、Epoch AI、Vals AI、Scale的Leaderboards、Intelligence和Arena都值得参考。

评估分两块：准确性和性能。基准数据不需要自定义套件或大型数据集，回放现有流量就够了。没有数据可回放时，还能按输入输出大小、缓存命中率等通用模式做规模估算。

性能评估看的维度更多：

- 每个任务的成本
- 单次回答消耗的token数
- 完成任务需要的步骤数
- 端到端运行时间
- 验证答案的速度

这些指标最后都落在账单和响应速度上。

适配与决策：先调参数，再算ROI

模型没通过评估，不等于放弃。调节手段有四个，按费力程度从低到高排。先是系统提示工程，再是模型推理设置，然后调上下文工程——改的是模型外部框架。最后才动权重，做微调或蒸馏。

技术问题解决后，还要过决策关。向利益相关者说清楚：迁移要花多少力气，风险在哪里，投资回报率是多少。

开源模型的成本优势很直接：部分客户切换后，成本最高降了70%。风险跟采用任何新技术差不多，要处理的有合规、规模承受力、持续迁移、团队对工具的熟悉度，以及对下游服务的影响。

生产：10%流量先试水

上线推荐金丝雀部署：先让10%的流量跑开源模型，确认没问题再逐步扩大。客户用它做生产用例验证，效果很好。切换本身有时简单到只改API端点。Together提供的togetherlink，安装一次就能把开源模型接入主流框架。

具体选哪个开源模型、降本案例来自哪个行业，这套流程没有给标准答案。