《华盛顿邮报》AI响应从10秒缩至2秒，自己掌控模型

《华盛顿邮报》去年11月上线了“Ask The Post AI”，后台用的是Together AI的推理平台。这个平台每天处理几千次查询，响应时间从超过10秒降到了平均2秒。

有意思的是，报社选了一条不一样的路：没选OpenAI这类专有模型（零控制、定价不可预测），也没选超大规模云或自托管（GPU不够用、运维成本高），而是选了Together AI。后者给了专用端点、开源模型、微调能力、混合部署，还有工程师直接对接。

“Together AI在为我们新闻用例创建定制配置上的灵活性，对我们的成功至关重要，”报社首席AI官Sam Han说。

结果有两个好处。一是成本可预测——Together AI按月收固定费用，不是按token算，用户多了也不会突然涨钱。二是模型自主权——报社自己拥有和控制Llama和Mistral模型，不用再依赖第三方API。

目前“Ask The Post AI”每月处理17.9亿个输入token。用户搜完会触发答案扩展点击和来源文章点击。换句话说，AI回答附带原始报道链接，读者可以自己核实——这是传统AI问答没有的透明度。

现在还不清楚Together AI的具体定价是多少，也不确定报社会不会把AI功能扩展到评论或个性化推荐。但至少眼下，这是一家新闻机构在AI上的选择：自己控制模型和数据，而不是交给外部公司。