Sumanth_077发布AnyJev工具

把任意大语言模型转换成 Jev 风格的决策模型！AnyJev 让你可以使用开放因果大语言模型进行分类决策，比如是/否、选择或评分，输出概率而不是自由生成文本。

有意思的是，最简单的模式不需要微调。你给模型一些状态和一个有限制的问题，AnyJev 读取模型在允许答案上的下一个 token 对数几率，将其转换为一个决策。

例如，你不需要让模型生成一段关于请求是否应该批准的长回复，你可以预先定义可能的结果，直接得到模型对每个结果给出的概率。

AnyJev 还修正了这种方法的一个重要问题：选项顺序和标签偏差。如果改变答案选项的顺序会改变模型的决策，那么这些原始概率本身就不够可靠。它的 L0 模式可以在不需要标记数据的情况下对此进行调整。

代码仓库还包含 Tacit，这是一组自蒸馏决策模型，参数范围从 17 亿到 90 亿。这些模型经过训练，能够复现原始模型经过推理后得出的决策，但只需一次前向传播就能返回决策。低置信度的案例在需要时仍然可以升级回完整推理。

主要功能：
- 无需微调即可将开放大语言模型转换为分类决策模型
- 支持是/否、选择和基于评分的决策
- 直接从模型对数几率返回概率
- 修正选项顺序和标签偏差
- 将不确定的决策升级为完整推理

因此，你既可以通过 AnyJev 直接使用现有的开放大语言模型，也可以在需要专门用于更快决策的模型时使用 Tacit 检查点。100% 开源。