Salesforce发布首个推理模型Koa,你的客服AI不再只能路由给Claude或ChatGPT
Salesforce本周在Dreamforce大会上发布Koa。这是公司第一个推理模型。它基于Nvidia的开放权重模型Nemotron构建。两家公司合作后训练,让它擅长销售、营销和客户支持任务。Koa走的是开放权重路线,是封闭前沿模型的企业替代品。
这个位置,Salesforce之前一直坐着等别人。
Jayesh Govindarajan是Salesforce的AI执行副总裁。他说,Agentforce里已经有多个小型任务专用语言模型。推理一直靠前沿模型供应商,直到现在。Koa出现之前,长任务的提示词会经AI网关路由给Claude或ChatGPT。
Salesforce想训练自己的企业级前沿模型不是一天两天。卡住的环节是缺一个预训练基础模型。“在Nemotron之前,没有一个可用的、主权属美国的预训练模型,同时满足最先进和有清晰数据来源两个条件。”Govindarajan还提到,被排除的候选包括阿里的Qwen。“我们完全不知道Qwen用什么数据训练。”
Koa的训练刻意回避了Salesforce客户数据。两家公司用合成数据模拟客户服务环境。场景里有打进客服电话的愤怒顾客,也有试图成交的销售。这样训练出来的模型不接触实际客户数据,也就谈不上泄露客户数据。
训练完成后,Koa用更少的token做同样的活。它瞄准的是客户想让代理干的活。这些任务上,比Claude或ChatGPT做得更好,token也更少。
Kari Ann Briski是Nvidia企业生成式AI软件副总裁。她说,Nemotron的推理架构在设计上就注重token效率。“主权AI、首次token时间、高效推理,这是你需要具备的三样东西。”
Koa将作为Agentforce平台里其他模型的替代品提供。客户的代理用来处理客服问答、预约这类日常任务。AI网关会根据需求决定是否把请求路由给Koa。Koa会遵守客户在Salesforce系统里配置的数据要求和安全设置。
Salesforce没有因此离开Anthropic和OpenAI。它刚公布与Anthropic的合作Claudeforce。企业可以把Claude当AI界面使用。数据保留在Salesforce的系统中,由Salesforce的基础设施保护。
Koa在真实环境里比Claude或ChatGPT能省多少,没有公开数字。合成数据训练出来的模型在真实场景里会不会打折扣,也还没验证。但选择权已经变了。以前这类任务只能交给Claude或ChatGPT,现在可以按任务在Koa和其他模型之间挑。AI供应链的控制点,正从少数AI实验室回到Salesforce这样的软件公司手里。