腾讯770B旗舰开放权重,普通电脑装不下
腾讯把Hy4的权重放出来了。这是原生多模态的旗舰MoE——混合专家架构,模型切成一批子专家,每次推理只走其中一部分。文件挂在Hugging Face上,另有一个GGUF版本、一份许可证和一份系统卡。GGUF给本地推理工具直接加载用。拿到这些文件,第三方可以在许可范围内自己部署,也可以重新托管,不必绕回腾讯的接口。
Hy4总参数770B,激活参数49B,上下文支持100万token。激活参数指每次真正参与计算的那部分。49B比770B小一个量级,跑起来轻不少。但下载到本地的是按770B总量存的权重,硬盘和内存的占用不会跟着缩。100万token的上下文,一次能读进很长的文档,或者一长串对话历史。
门槛就卡在这儿。评论区有人说性能不错,但对大多数本地部署环境来说体积偏大。有人问这东西能不能在Pentium上跑,帖子没回答。770B摆在那里,普通电脑的显存和内存装不下,本地部署要靠接近服务器级的配置。
帖子里一共37条讨论。有人说这是GLM5.3眼下那个位置的正合适继任者。也有人说hy4-preview表现不错,很多地方跟得上kimik3.1,值得放进模型组合。网络能力是不是像qwen4和k3.1那样被削过,有没有Engram,帖子里没人给出答案。还有人提起腾讯的hy3D,说很久没更新了。
腾讯自己说的比评论更有分量。本周Q3电话会上,管理层称Hy4已经有相当比例的使用量来自海外,想通过推理合作伙伴推到全球。更便宜的Hy4 flash定价是Hy4的二十分之一,已经是今年OpenRouter上按每日token量排得最高的模型。推理合作伙伴是谁,管理层没列出来;许可证条款只给了个链接,没展开。
把开放权重、海外用量、算力这几件事放在一起看:让别的托管方在海外把服务接过去。新的芯片规则之下,下一次训练可能拖得更久。算力紧,训练周期又长,这一版Hy4得在主力位置上撑上一阵。
关键事实
- 腾讯发布了Hy4的模型权重,这是一个原生多模态的旗舰MoE模型。
- Hy4总参数770B,激活参数49B。
- Hy4支持1M上下文长度。
- 有评论者认为Hy4对大多数本地部署环境来说体积偏大。
- 有评论者认为Hy4可能是当前GLM5.3所占据位置的完美继任者。
- 有评论者询问Hy4在网络能力方面是否像qwen4和k3.1一样被削弱。
- 有评论者指出Hy4似乎没有Engram。
- 有评论者表示hy4-preview表现不错,Hy4可能成为又一个值得加入组合的好模型,在很多方面能跟上kimik3.1。