LangChain:AI用不好别怪模型,缺的是公司运作知识
为了使 AI 为你的公司所用,缺失的并不是更好的模型,也不仅仅是更多的上下文——而是更好的知识。是关于你的公司如何运作、你有哪些运营标准、数据存储在哪里,以及如何访问这些数据的知识。
你最高效的员工脑中就有这种知识。他们知道该找谁谈、去哪里找到问题的答案、为什么你要以特定方式做事。这些知识往往是隐性的、默会的、分散的——有时只存在于他们的脑中,有时分散在各种文档中。
为了使 AI 为你的公司所用,你需要收集、整理并维护这些知识的表示,传递给智能体。帮助你做到这一点的系统,就是我们所说的知识工厂。
我们在 LangChain 用多种方式构建了它。我们的内部 GTM 和内容工作室智能体就由知识工厂驱动。LangSmith Engine(我们的智能体,它在 trace 上运行并提出修复建议)也为每个智能体维护着一个知识工厂。这篇博客分享我们的经验。
上下文 vs 知识
上下文是智能体在执行任务时可用的信息。
知识是我们维护的可复用理解,让它能正确完成任务:某个指标意味着什么、该信任哪个来源、某个特定情况应如何处理。有时被写下来,但往往没有。
知识工厂把分散的文档和经验转化为知识,而这些知识可以成为未来工作的上下文。
因此,知识是智能体将获得的一种上下文,但它通常不是(也不应该是)智能体获得的唯一上下文。其他类型的上下文你已经在可靠地摄入/存储,直接提供给智能体即可(参见下文“快速变化的数据”一节)。
从软件工厂到知识工厂
软件工厂的理念在过去一年半中急剧升温。其核心思想是:与其让你最优秀的工程师真的去构建软件,不如让他们构建工厂(系统),帮助公司里的每个人更高效地构建软件。软件的实际构建可以交给智能体来完成。
一般性知识工作现在正沿着类似的道路发展。智能体已经足以制作演示文稿、发布视频、做外联。对于这些任务,你应该尽可能多地利用它们。但要让它们完成这些任务,它们需要所有那些隐性的、默会的、分散的知识。
这才是你应该投入资源的地方。你需要构建这些知识,更重要的是,构建一个工厂来收集、整理和维护这些知识。正是这一点,让你可以把更多一般性知识任务外包给智能体。
知识的各个部分
通常,有几类知识是你想要维护的。
如何做事——技能。以公司期望的方式完成任务所需的流程、说明和脚本。
业务如何运转——领域知识。关于你的产品、客户、竞争对手和组织结构的定义、政策和事实。
从哪里获取当前信息——数据访问指南。应该使用哪些来源、数据存放在哪里、以及如何查询。
技能:这些是在公司内部“恰当”做事的方法。告诉你如何以公司要求的特定方式完成任务的说明和脚本。很多时候,这些内容从未被写下来(只在同事之间口口相传)。你应该努力把它们写下来。
领域知识:这类知识不会频繁过时。它通常是关于人员、产品、竞争对手的核心信息。这些信息通常曾被写下来——但由于这里的知识量实在太大,往往不完整(或不正确)。
数据访问指南:你应该有一个良好的数据策略(Snowflake、Databricks 等)。这是有用智能体的基础。如果数据的唯一事实来源已经在那里,并且完整、最新——那就没有必要维护单独的副本。相反,你需要维护的新东西,是清晰的说明:什么数据在哪里、以及如何查询它。
工厂的各个部分
要让智能体有用,所有这些信息都是必需的。不要试图手动维护——那是一项艰巨无比的工作。相反,你应该创建一个系统来维护它。通常,这个系统包含以下几部分:
- 让智能体标记缺失知识的途径:发现哪些知识缺失的最佳方式之一,是让智能体在工作中进行标记。如果它们被要求做某件事,却找不到信息,或者发现现有信息有误——它们就应该标记出来!给智能体一个工具,至少能报告哪里出了问题,也可以建议正确的更新。
- 策展智能体:一个负责更新、整理和维护这些知识的智能体。这些知识不该靠手动保持最新——工作量太大。也不该只由使用它的智能体来维护——它们很擅长标记错误或缺失之处,但修复错误需要对底层知识和其他数据来源有深入理解。让那些主要目标是完成自身任务的智能体去正确地更新和维护这些知识,只会让知识库变得混乱不堪、充满矛盾。相反,你需要一个策展智能体,在后台按一定节奏运行,更新这些知识。它应该能访问所有原始数据源(Notion、Slack 等),这些知识可能散落在那里。它应该能访问智能体 trace,从而看到人们是如何尝试使用智能体的,并将其固化为技能。它应该能访问智能体标记为错误的内容(见上文)。
- 知识的存储:从某些方面来说,这其实是最不重要的一环。你可以把这个知识以技能格式存放在 GitHub 里;作为单个文件放在 Notion 里;以 OKF 格式放在 LangSmith Context Hub 里;以知识图谱放在 Neo4j 里。策展智能体应该知道如何处理所有这些格式(这并不难)。从另一些方面来说,这是探索得最少的领域。你如何表示记忆?作为一个行业,我们已经在“程序性记忆”上收敛到技能格式。对于更多的语义记忆,未来很可能会出现不同的标准(OKF?)。现在还为时尚早,标准尚未出现——所以最好不要对这个格式的样子规定得太死,或把它搞得太复杂。
综合运用
最后,我们用一个端到端的例子收尾:智能体准备一份收入报告。
智能体需要基础上下文:原始收入数字,存储在 BigQuery 和 Salesforce 中。
然后是知识。它可能包含几种不同类型:
- 技能:如何以 LangChain 风格创建报告。这些以标准技能格式存储在 GitHub 中。
- 长期知识:我们计算 ARR 的方式。存储在公司 wiki 中。
- 如何访问快速变化的知识:如何访问 BigQuery/Salesforce 中的原始数据。这些同样作为技能存储,只不过这次是在 Context Hub 中。
智能体开始运行。也许它注意到我们在 BigQuery 中重命名了一个列。它临时找出了正确的列。它使用自己用来报告问题的工具标记了这一点,并建议了正确的列名。
在它创建报告后,我们的财务负责人与智能体同步协作,修复了几个格式问题,包括告诉它使用一个新页眉——我们现在所有 LangChain 文档都必须用这个页眉。
那天晚上,策展智能体看到了被标记的问题。它还检查了智能体的 trace,注意到它与财务负责人之间的这段来回互动。它相应地更新了相关技能(在获取数据时使用新列,在起草报告时使用新页眉)。
结论
目标不是让智能体开始工作前就把一切文档化。而是构建一个系统:做事本身会暴露哪些知识缺失,而弥合这些缺失会让未来的工作变得更好。从一个重复出现的工作流入手,观察智能体在哪里遇到困难,然后闭合这个回路。
我们在 LangChain 构建了这套系统,也正在与一些客户合作,把这套方案带到他们的(内部和外部)智能体中。如果你对此感兴趣——请联系我们,我们可以提供帮助!