AI调度工具The Grid按任务 tier 自动选低价模型降成本
人人都在讨论AI模型,却很少有人关注实际使用AI的成本开销。现实中,很多开发团队会把所有请求都发给高成本大模型,哪怕处理的任务根本不需要该级别的模型能力。The Grid采用了完全不同的方案,不需要用户手动选择模型,只需要用户选定任务等级。三个可选任务等级分别为:处理简单任务的Standard,处理日常生产工作负载的Prime,处理复杂推理和高风险决策的Max。
在后台,The Grid会自动将请求转发给满足对应等级要求的最低价合格服务商。这可以降低使用成本,减少服务商绑定,也不用过度担心价格变动、服务中断或模型停用问题。用户仍然只需要调用单个API,现有工作流也能完整保留。
作者在自己的Windows设备上测试了Hermes Agent对接The Grid的流程,整个配置仅花了数分钟。步骤为安装Hermes Agent,选择The Grid作为自定义AI服务商,无需下载本地模型,也不需要配置GPU。代理在本地运行,所有AI请求都通过The Grid转发。
The Grid设置了三个定价 tier,分别对应不同类型的任务。Standard适合打标、分类、摘要这类简单高吞吐量任务,Prime适合智能代理、检索增强生成(RAG)、内容生成和支持工作流,Max则面向复杂推理、长上下文任务和高精度工作。
低价不代表低质量,每个 tier 都设置了最低质量要求,只有符合阈值的模型才能处理对应等级的请求。服务商在保持用户选定质量水平的前提下,以价格展开竞争。
用户不需要修改现有的OpenAI或Anthropic配置,只需要更新基础URL,将模型名称替换为text-prime即可完成接入。新注册账号可免费使用前2亿token,官网提供注册入口、实时定价查询和开发文档。