半数公司AI客服内部测试全过，上线后却在客户面前翻车

过去一年，50%的企业在部署AI客服或LLM功能时，遇到过这种情况：内部评估全部通过，上线后却在客户面前失败。其中24%的企业不止一次。这不是个别案例，而是行业普遍现象。

问题出在哪里？内部测试和真实世界的差距太大。29%的企业认为，评估结果与实际表现不一致是目前最大的限制，也是所有痛点里最集中的一项。只有5%的企业完全信任自动化评估，剩下95%都多多少少存疑。

评估工具本身也一般。企业对当前工具的总体满意度只有3.8分（5分制），没有明显的高分项。工具市场散，缺标准：17%的企业用OpenAI原生评估工具，同样比例的企业根本没有专用工具。Confident AI的DeepEval是目前正在评估的平台中最受欢迎的（20%），其次是OpenAI（13%）和Braintrust（9%）。

再说监控。多数公司对AI的监控很表面。51%的企业只盯着基础设施是否正常——响应时间、错误率、成本——完全不管AI回答的质量。只有23%的企业在生产环境里跑实时质量断言，也就是及时检查输出正不正确。换句话说，AI可能一直在自信地输出错误答案，但公司压根不知道。

成本是选评估供应商时最看重的因素，28%的企业靠这个做决定。评估一致性是36%企业的首要成功指标。矛盾在于：企业最在意评估的一致性，但最不满意的是评估结果和实际情况对不上。

令人注意的是，在评估不可靠、监控不充分、信任度不高的背景下，企业却在加速让AI自己上线。66%的企业已经允许或正在搭零人工干预的自动化部署管道——其中34%已经允许低风险AI自主上线，33%打算在12个月内实现。大型企业（2500人以上）比中小企业更激进：70%已经走在零人工审查的路上，而中小企业是64%。同时，大企业更频繁地遭遇评估通过但客户失败的情况：54%对48%。规模越大，看到的问题越多，但冲自动化的速度反而更快。

未来一年，企业开始补救。30%计划增加生产可观测性工具投资，26%计划增加人工审查工作流。这是增长最快的两个方向。整个评估平台市场即将洗牌：64%的企业计划在12个月内换新平台、追加工具，或直接换掉现有的。当前的主流工具——OpenAI原生评估，17%的使用率——可能被取代。

调查样本覆盖157家100人以上企业，其中技术/软件行业占比最大（23%），其次是零售/消费者（15%）、医疗/生命科学（12%）和制造（10%）。受访者里38%是AI采购的最终决策者，34%是推荐者或影响者。评估工具市场正在洗牌：谁能帮企业把内部测试和真实表现对齐，谁的机会就来了。