AI Pulse
🔥 热点深度解读

腾讯半年更三个大模型,这次直接开放权重了

有人习惯了每年等一次手机系统更新,有人订阅的AI工具半年才更一次大版本。

腾讯混元团队刚在8月28日发布了新一代大语言模型Hy4 preview,并且同步开放了模型权重。
这个预览版总参数量达到770B,采用混合专家(MoE,类似把不同任务分给不同专家处理的架构)架构,实际运行时激活的参数量为49B,最多支持处理100万长度的上下文窗口——相当于一口气能读完整本30万字的书。
它定位面向实际工作,支持代码开发、文档分析、科学研究等场景。甚至这个模型还自己参与了优化,帮团队调整了自身的训练流水线,包括核心计算内核。

这次更新距离腾讯混元3.0发布,只过去了四个月。算下来,半年时间腾讯混元已经推了三个大版本,平均两个月就有一次大动作。
@Nas_tech_AI 认为:腾讯混元的迭代速度已经越来越快,这次Hy4 preview在模型规模和上下文长度上都做了重大升级。
@sophiaparkerr_ 认为:这样的更新节奏,进步速度确实让人印象深刻。

按照定价信息,Hy4 Preview的输入价格是前代Hy3的6倍,输出价格是前代的4.5倍。但腾讯在@WorkBuddy_AI平台推出了免费试用活动,接下来两周都可以免费使用。
和闭源模型不同,这次腾讯开放了模型权重,也就是说,有技术能力的团队可以把模型下载到自己的服务器上部署,针对特定需求做二次开发。
目前独立第三方对这个模型的测试还比较少,模型仍可能根据用户反馈快速调整。

腾讯正在AI领域加大投资,当下大模型市场的竞争已经越来越激烈。
当头部厂商把大模型的更新节奏从按年更改成按季度甚至按月更,最先用到新技术的,会是开发代码的工程师,还是写报告整理文档的普通人?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新