开发者发布GLM-5.3版Living Weights工具
今晚我们把@ashxhart 的 Living Weights 移植到了 GLM-5.3 上。
Living Weights 能让正在运行的模型直接把新事实学习到自身权重中。Ash 已经在针对 Nemotron 的 TensorFold 1.0.3 中发布了它,我们把它移植到了 GLM 上。(老实说,我们指的是“我和我的编码智能体”)。
完整的 GLM-5.3(753B 参数)分布在四台 M3 Ultra Mac Studio 上,只用了大约 24 秒就学会了一个事实,并且能从中生成回答,包括使用它从未被教过的表述。它的 27 万 token 上下文窗口根本没被用到。GLM-5.3-Flash(320B 参数)可以在单台 Mac 上学习。
我们教它“我喜欢蓝色”,问它“我最喜欢的颜色是什么?”,它回答“你喜欢蓝色”。
我们已经提交了两个 PR 供 Ash 审核:#574 对应 GLM-5.3-Flash,#575 对应完整 GLM-5.3。
思考模式的记忆是下一个前沿领域,但这已经是一个可用的起点,并且在真实硬件上得到了验证。我们很期待看到社区能用它打造出什么。
最重要的是,感谢@ashxhart。你是一位无私的开源天才。你大可以把这个技术卖给世界上任何实验室,但你却把它献给了我们所有人。以上所有成果都建立在你的工作之上。
我们将向 Ash 和 TensorFold 基金会捐赠 300 美元。我不会对别人怎么花这笔钱指手画脚,但对我来说,这是一笔投资。我希望其他人也能看到我在他身上看到的东西。
附言:这越来越令人激动了……开源正在取得胜利!
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖