AI Pulse

Heretic 2.0:一条命令让AI少说废话,也少拍马屁

Heretic 2.0 发布了。开发近五个月,是项目迄今最大的版本。GitHub 上 37k 星标,Hugging Face 上超过 8500 个模型,总下载量 8800 万次。项目给自己的定位是去除语言模型审查的领先软件。

2.0 把范围扩大了:从专门做去审查的工具,变成通用的模型修改工具。除了去掉拒绝回答,它还能抑制 slop、减少谄媚、改变情感对齐。按作者的说法,基本上你能想到的任何东西都能改。

去审查仍是主要和默认功能,效果比以前好得多。作者称 2.0 是“有史以来最先进的拒绝抑制系统”。操作方式没变,一条命令:heretic Qwen/Qwen3.5-4B。

默认方法换成了 ARA

2.0 的默认转向方法从 directional abliteration 换成了 Arbitrary-Rank Ablation(ARA),作者说这套方法是他为 Heretic 从零开发的。它比 abliteration 好得多,已经由一批测试者用了几个月。经典 abliteration 仍作为选项保留。

ARA 的依据是一个目标函数,函数编码了“要改什么”的基本属性。有害提示在残差空间里的表示应该接近无害提示,而无害提示的表示变化要尽可能小。这个目标配合 L-BFGS 优化器逐个修改矩阵。作者称之为一种微训练,在不设秩限制的情况下调整表示。

这套方法在社区里被改过:kabachuha 让它兼容 Heretic 的 LoRA 系统,varunbln 找到了明显的性能提升。作者打算之后写一篇文章详细解释 ARA。

插件把“优化什么”交出去

1.0 以来,Heretic 靠两个硬编码分数工作:拒绝计数衡量去审查强度,KL 散度衡量质量保留。2.0 把这块拆成了插件。scorer 插件定义优化目标,modifier 插件实现实际的转向方法。用户可以自己写分数,同时加载任意多个,每个分数可以最小化,也可以最大化。

插件写起来不难,能直接从简单的 Python 文件加载,API 有明确定义。scorer 插件系统是 red40maxxer 几个月的工作,和作者来回几百条消息、几十轮评审才定下来。

2.0 自带四个 scorer。关键字(拒绝)计数和 KLD 仍是默认,另外两个是基准测试 scorer 和 BERT 分类器。后者由长期贡献者 Vinay Umrethe 开发。它可以用任意 ModernBERT 类型的模型给 LLM 的响应分类,按分类器输出的标签打分。Vinay 还训练了一个拒绝分类器,实验显示它识别模型拒绝的准确率明显高于默认的关键字匹配。这个插件比关键字匹配慢,但准确性更高,能把 Heretic 导向质量更高的修改模型。仓库里另有一份用情感分类器的替代配置。

README 和代码里都有插件系统的文档。作者提到,AI 代理读完 Heretic 仓库之后,写一个插件和配套的配置文件应该不难。

门槛在机器,不在命令

2.0 可以非交互式运行,端到端测试因此成为可能,质量控制更紧。模型支持扩展到带超连接的架构,对思考模型的支持也有大幅改进。配置上有个坎:它不向后兼容 1.x 的配置文件,得按迁移指南处理。

硬件门槛没有公开说法。评论区有人问,跑 27B 模型需要什么算力。他提到自己那套 24GB 显存的 AMD 显卡加 64GB 内存,想知道会遇到什么限制。也有人直接问,这是不是需要一台强力 PC。这两条没人回答。命令行是一行,跑不跑得动取决于机器。

Reddit 上的反应有相当一部分落在 slop 上。有人想用它消除“mal-abstraction”——一种用比喻替代具体说法的 slop 变体。也有人说自己原则上只用 Heretic 处理过的模型,“我的电脑不应该拒绝我的指令”。

还有一件事被翻出来。有人贴出作者本人的说法:他看过“reaper-abliteration”的源码,确定那个包是从 Heretic 抄袭的。

关键事实

阅读原文
📚 相关主题 开源大模型工具

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新