AI Pulse

FabricPC开源库:AI模型有望免重训整合新知识

FabricPC开源库:AI模型有望免重训整合新知识

现在的 AI 学新知识,成本不低。一个大模型发布之后想吸收新信息,往往要把整个网络重头训练一遍。ASI Alliance 和 SingularityNET 的 AGI 研究里就包括这个问题:神经网络能不能持续用新信息更新,而不是反复重训整个系统。

FabricPC 就是冲着这个问题来的开源 Python 库,用来构建和训练预测编码神经网络。这种网络的各个部分,只根据局部相关信息各自学习和调整。这个库今年 6 月正式推出,此后持续更新,路线图分成三块:可访问性、可扩展性、可复现性。

FabricPC 集成了 muPC,一种把预测编码扩展到更深更宽网络的方法,并把它从顺序链结构扩展成了更灵活的图结构。它此前已支持基于状态的预测编码(sPC),本周发布的 v0.6.0 又加入了基于错误的预测编码(ePC)。

两种方式的区别在信号传递。sPC 反复调整层的内部状态来压低误差;ePC 直接跟预测误差打交道,学习信号用更少的推理步骤到达深层网络,降低了训练深度网络的算力需求。v0.6.0 还引入了可组合推理求解器,ePC 和 sPC 可以在同一次推理过程中串联;循环展开则让 ePC 也能处理循环图。

这条路线的潜力在于:模型整合新知识不必从头训练,更新成本会降下来,AI 也可能更快反映新信息。ePC 降低了训练深度网络的算力需求,更深更宽的网络可能因此变得更容易训练。

使用门槛也在降。统一训练接口把不同的训练配置整合到一个工作流里,研究者比较几种做法时,不用再反复搭建环境。路线图上还有模型检查点,实验可以从同一状态保存、恢复。预训练模型、更短的示例配置、免去本地安装的 Colab 快速入门,也都列在里面。

FabricPC 还给预测编码和主流的反向传播搭了一个比较场。同一个图架构,两种方法都能训练。实验框架支持重复试验和统计对比。计划中的基准套件会覆盖更深的网络、不同的推理方法和循环架构。文档化配置和版本化结果,加上验证工具和预训练参考模型,让已有结果可以被检查、被复现。

接下来要解决的是 ePC 在训练中的稳定性,以及大型图中的编译开销。FabricPC 完全开源,任何研究者都可以拿它跑自己的实验,也可以翻开发布计划,通过 issues 和 pull requests 参与进来。

阅读原文
📚 相关主题 开源研究

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新