为什么一条招标回答要经过四个阶段
一份请求(招标、安全问卷、尽职调查问卷、审计人员的要求)往往整体到来:几十甚至上百个问题,一个截止日期,末尾还有一个签名。人们容易想把它整个交给一个既阅读、又撰写、又校对的单一工具来处理。而这恰恰是不该做的事。
原因是有据可查的。一个语言模型在没有外部反馈的情况下重新审阅自己的输出,并不能纠正自身的推理错误,有时这种自我修正之后表现反而会下降(Huang 等,ICLR 2024)。一个自我审阅的人工智能,只会确认自己已经写下的内容。真正能够减少凭空编造陈述的,是一套独立于初稿之外的核查机制:提出并独立于最初撰写环节回答一系列核查问题(Dhuliawala 等,2023年)。核查必须来自撰写环节之外。
由此产生了这四个阶段,以及在三个角色之间的分工,这三个角色始终保持独立,不会混同。
| 阶段 | 角色 | 产出内容 | 跳过它的代价 |
|---|---|---|---|
| 理解 | 负责分析问题的智能体 | 对每个问题的意图和风险的解读 | 一个基于误读问题而给出的看似正确、实则错误的回答 |
| 撰写 | 您所在业务领域的智能体和您所在行业的智能体 | 一条依据您的知识库、标注页码的回答 | 一条看似合理却没有来源,或答非所问的回答 |
| 核查 | 第二支独立的人工智能团队 | 一个评分、差距说明、补齐建议 | 一条编造的内容原封不动地送到签署人面前 |
| 验证 | 一位指定的人工专家 | 一个可追溯的签署、一份可举证的文档 | 没有任何人承担的责任 |
阶段一(理解):人工智能软件在回答一个招标问题之前,会先对它做什么?
一个被误解的问题,即便来源准确,也会产生错误的回答。这是最常见、也最不容易被察觉的失误,因为回答表面上看起来是对的。
因此,负责分析问题的智能体,会在撰写之前,把每个问题按照五种意图类型进行分类:事实类、探索类、比较类、陷阱类、合同承诺类。它还会识别出有风险的措辞:绝对化的表述("您能保证百分之百的可用性吗?")、双重否定、隐含的承诺("请确认贵司将遵守未来任何法规变化")。检测到的风险等级,决定了后续的处理方式:事实类问题需要引用来源;陷阱类问题需要谨慎改写,并转交验证人处理;合同承诺类问题则需要在提交前经过法务审阅。
这第一个阶段,正是普通写作辅助工具几乎总会跳过的环节。它们把问题当作一条写作指令来读;而这个智能体,则把问题当作一项需要评估的风险来读。
阶段二(撰写):人工智能软件如何仅依据您自己的文档撰写一条回答?
在任何请求到来之前,一个知识管理员智能体已经通读了企业的文档(政策、流程、证书、已验证的回答、审计报告),并将其整理成一套可用的知识库。正是它,把一堆杂乱的文件转化为其他智能体可以据以生成证据的基础。
撰写工作随后交给两个共同协作的智能体:一个负责您的业务领域,一个负责您的行业。它们只依据这套知识库来撰写,不依赖其他来源。每条回答都标注其文档、页码和版本。一条无法标注来源的回答,就不算完成撰写:这个缺口会被标记出来,而不会用一句看似合理的话来填补。
专业化程度和来源同样重要。能源行业中一个关于社会责任的问题,与农业食品行业中一个关于质量的问题,所需要的回答并不相同:引用的参考框架、读者的期待和用词都各不相同。通用型人工智能会用同样的方式撰写这两条回答。而专业化的智能体,则会各自在自己所属的领域内撰写。
在发布本网站的 Optivalue.ai 平台上,这第二个阶段调动了 85 个专业智能体:72 个业务领域智能体、12 个行业智能体,以及 1 个知识管理员智能体。举例来说,一个银行合规方面的问题,会同时调动法务智能体和金融行业智能体共同处理。
阶段三(核查):第二支人工智能团队如何核查一条并非自己撰写的回答?
第二支独立于第一支的人工智能团队,会重新审阅每一条回答。它为每条回答打 0 到 100 分,核实每个被引用的来源是否真的支持所说的内容,标出陈述与证据之间的差距,并针对每个缺口提出补齐建议:在提交之前,缺少哪份文档,可以向哪位专家索取。
这种独立性不是架构上的一种便利,而是让核查真正发挥核查作用的前提条件。一支重新审阅自己工作的团队,倾向于确认自己的结论;而一支审阅另一方工作的团队,则会主动寻找错误。这套机制共有 5 层,其中包含 7 项防幻觉核查,任何一条回答只要未通过其中一项,就永远到不了验证人手中。
当证据缺失时,第二支团队不会去填补这个空白,而是把它明确指出来。而且它不会止步于沉默:一般工具只会说"我不知道",而它会进一步说明缺口所在,指定应咨询的专家,并提出补齐建议。因此,第三阶段产出两样东西:一条已打分的回答,以及一份让整份文档站得住脚所需完成的工作清单。
阶段四(验证):一位指定专家如何验证一条招标回答?
最后一个阶段由人工完成。验证人按领域分配:法务负责验证合同承诺,安全团队负责验证控制措施,财务负责验证相关条件。每条回答都带有一个审批状态,而验证是一个具名、可追溯的签署,能够在审计或诉讼中作为依据。整个处理过程都可以重新追溯:对于提交的每一句话,都能查到是谁撰写的、谁核查过、评分是多少、由谁签署。
一个机械式的签署证明不了任何东西。这就是为什么这一阶段还伴随着一项警觉性测试:故意错误的回答会被插入验证流程中,一旦其中某一条被通过,就会触发警报。插入的频率、警报的接收人以及触发的阈值,都可以按组织自行设置。这是一种衡量人工注意力的机制,而不是单纯假设人工是专注的。
厘清一切的例外情况
对于一份草稿、一份内部备注、一段没有人会签署的文字来说,走一遍流程就已足够,通用型人工智能能又快又好地完成。对于不涉及承诺的内容,这四个阶段毫无用处。
它们的存在,是为了文档离开企业、并有人要为之负责的那一刻。一份草稿不会让任何人承担责任,但您正式提交的回答会。阶段的分离,会为每个问题带来一点成本;而不做这种分离,则会为整份文档带来更大的代价:一条被高管签署的错误陈述。
三个能划出界线的问题
要判断一套机制是真的落实了这四个阶段,还是只是嘴上说说:
- 在撰写之前,是谁理解了这个问题,这一点记录在哪里? 如果意图和风险的分类结果无处可查,说明理解这个阶段根本没有发生。
- 负责核查的团队,是否就是撰写的那个团队? 如果是同一个模型在重新审阅自己的输出,那么第三个阶段就只是摆设。核查必须来自撰写环节之外的一套独立机制。
- 具名签署的是谁,整个处理过程是否可以重新追溯? 如果答案是"团队"或"工具",那就等于没有人签署。如果无法从提交的一句话追溯到撰写人、核查人和验证人,这份文档就无法作为举证依据。
常见问题
这四个阶段会拖慢应答速度吗? 它们会在单个问题上增加一些时间,却会在整份文档上节省时间。真正浪费的时间,不是撰写所花的时间,而是事后的反复往返,也就是当一条未经核实的陈述被客户或审计人员发现之后所引发的补救过程。
为什么用两支人工智能团队,而不是一个更强大的人工智能? 因为能力强大不能替代独立性。一个能力更强、却仍然自我审阅的模型,终究还是一个自我审阅的模型。角色分离是一种结构上的特性,而不是规模上的问题。
如果两支团队意见不一致,会发生什么? 分歧正是第三阶段在必要时应该产生的结果。该回答会得到一个较低的评分,差距会被明确指出,人工验证人会在同时看到两方意见的情况下做出裁定。一条不可能产生分歧的回答,其实并没有真正经过核查。
验证人是否需要审阅所有回答? 他会审阅评分和差距标记出来的内容,并对整体进行签署。警觉性测试能确保他的审阅是真实有效的:一旦一条故意设置的错误回答被通过,就会触发警报。
对于知识库无法回答的问题,会如何处理? 它不会被撰写出来,而是被标记为一个缺口,同时注明应咨询的专家以及提交前需要采取的行动。这份清单由第三阶段生成,而如何处理它则由第四阶段决定。
在您自己的文档上,见证这四个阶段的实际运作
带来一份真实的招标文件、安全问卷或 DDQ。您将看到问题的分类结果、逐页标注的来源、每条回答的评分,以及针对您文档的差距分析,而不是一场事先准备好的演示。
引用来源
- J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, « Large Language Models Cannot Self-Correct Reasoning Yet », ICLR 2024. https://arxiv.org/abs/2310.01798
- S. Dhuliawala, M. Komeili, J. Xu, R. Raileanu, X. Li, A. Celikyilmaz, J. Weston, « Chain-of-Verification Reduces Hallucination in Large Language Models », 2023. https://arxiv.org/abs/2309.11495