玩家在12GB RTX 3060上流畅运行270亿参数无审查大模型

@sudoingX 在消费级游戏显卡12GB显存的RTX 3060上，以每秒50 token的速度运行一个270亿参数的无审查大模型，这个模型不会拒绝任何请求。

刚刚完成针对该模型的全套HarmBench红队测试，一共测试了200项行为，模型零拒绝。常规对齐模型的拒绝率在九成左右，而这个模型一项都没拒绝。

该模型是经过Heretic无审查处理的Ternary Bonsai 2，权重为三值量化，仅包含-1、0、+1三种数值。因此整个270亿参数模型的文件体积很小，2020年推出的这款消费级游戏显卡存放它还有充足剩余空间，它本身还是一个推理模型，会在作答前先进行思考。

能达到每秒50 token的速度，得益于嫁接了一个预测头：这是一个草稿模型，会在大模型校验之前先预测下一个token，也就是推测解码。显卡先给出预测，270亿参数模型再确认，最终速度从原来的每秒39 token提升到了50 token。

包括模型权重、预测头和128k上下文窗口在内，整个模型只占用12GB显存中的10.7GB，KV缓存采用Q4量化。没有特殊配置，仅需单张显卡、一个电源就能运行。

做无审查模型的原因很简单，这是属于用户自己的模型。不需要API密钥，没有服务条款，不会由模型来决定成年人能问什么内容。模型中残留的拒绝都是它自己选择的，而且几乎不存在拒绝。

这就是本地运行模型的核心意义：规则掌控在用户自己手里，而不是其他人那里。