agentic-rfp-software.ai

理解

为什么人工智能生成的回答必须标注来源,以及如何核实

一条由人工智能生成的招标回答,必须把每一条陈述都关联到支撑它的材料:文档、页码、版本,以及撰写人、核查人和签署人分别是谁。

什么是一条可追溯的回答?

一份请求(招标、安全问卷、尽职调查问卷,也就是客户在委托一个项目之前发给您的 DDQ)会收到几十甚至上百条回答。每一条都在对您的企业作出某种陈述:一项认证、一项控制措施、一个时限、一种组织方式、一项承诺。当每一条这样的陈述,都能不经中转地关联到以下五项内容时,这条回答就是可追溯的。

  1. 文档:陈述在其中找到证明的文档,例如一份政策、一套流程、一份证书、一份审计报告,或一条已经验证过的回答。
  2. 页码:这份文档中的具体页码,因为一份很长的政策,在不知道该读哪一页之前,什么都证明不了。
  3. 版本:这份文档的版本,因为政策会发生变化,在旧版本下成立的陈述,在现行版本下可能已经不再成立。
  4. 置信度评分:由独立核查赋予这条回答的评分,以及所发现的陈述与证据之间的差距。
  5. 验证人:批准这条回答的具名人员,以及验证日期。

在这五项关联之外,还有一个整体属性:可重新追溯性。六个月之后,仍然能够还原整个处理过程,从收到的招标文件,一直到提交的回答,用的是同样的文档、同样的版本、同样的评分、同样的签署记录。

一条没有这些关联的回答,可能是准确的,但它站不住脚,因为没有人能够证明它为什么是准确的。

可追溯性有什么用,又是为了谁?

有四类人,会在不同的时刻、出于不同的原因,需要从一条陈述追溯到其证据。

谁什么时候想要什么没有可追溯性会怎样
签署人提交之前想知道自己在用企业的名义承担什么责任,并能够只审阅关键内容而不是全部只能盲签,或者全部重新审阅一遍,而当处理量超出能力时,这两者其实没有区别
采购方评审阶段想一键核实一条陈述,比较有据可查的回答,而不是仅凭陈述的回答他会把这条回答归入无法核实的一类,转而以价格来比较
审计人员数月之后想还原当初陈述了什么、依据是什么、由谁验证提交的回答变成了一条来源不明的孤立陈述:没有人再知道它从何而来
您自己下一次请求时想在重复使用一条已验证的回答时,知道其来源是否依然有效您重复使用了一条来源已经变化的回答,用一句曾经正确的话给出了错误的回答

第三种情况是最容易被忽视的,也是代价最高的。一条安全问卷的回答,会在整个合作关系存续期间使企业承担责任。当客户的审计人员或监管机构在两年后询问某条陈述的依据是什么时,一条可追溯的回答能够作答;而一条不可追溯的回答,则只能靠回忆去重建当时以为正确的内容。

一条可追溯的回答中,一个精确的来源应该说明什么:文档、页码、版本

许多工具都会显示一个来源,但很少有工具会显示页码和版本。这个区别不是一个细节问题。

没有页码的来源,只是一份文档:"参见安全政策"。要核实,就得把整份政策读一遍,而无论是签署人还是采购方,都不会去做这件事。引用存在,但核实并没有真正发生。

没有版本的来源,是一个潜在会过期的来源。一份访问管理政策,可能从第三版更新到第四版;账户吊销的时限发生了变化;而问卷中的回答却没有随之改变,因为它引用的是"访问管理政策"这个名称,而这个名称本身始终成立。于是,这条回答在没有任何人修改它的情况下,就变得不再正确。

一条可追溯的回答会标注页码和版本,因为正是这两项内容,让核实成为可能,也让过期变得可见。当被引用的版本不再是现行版本时,这条回答会在被重复使用之前被标记出来。

一条没有来源的陈述,最终会变成什么?

这个问题正是区分不同机制的关键。通用型人工智能在面对文档中没有答案的问题时,会生成一句看似合理的话:这正是它被设计来做的事。按照预先登记的研究方案,一些被宣称可靠的专业人工智能工具存在一定比例的错误(Magesh 等,《Journal of Empirical Legal Studies》,2025年),而其中最危险的错误,不是那种显而易见的荒谬内容,而是那种看似合理、却没有人去核实的陈述。

一条可追溯的回答,从构造上就不可能包含这样的陈述:一句没有文档、没有页码、没有版本的话,不算是一条回答,而是一个缺口。它会被明确标记为缺口,指定能够提供相关材料的专家,并在提交前建议采取补齐措施。提交的文档因此包含两部分内容:已经证明的回答,以及一份明确列出已补齐和仍待补齐内容的清单。这看起来不如一份毫无破绽的文档那样光鲜,但这正是一个认真的采购方所更看重的。

在发布本网站的 Optivalue.ai 平台上,每条回答都标注其文档、页码和版本,由第二支独立于第一支的人工智能团队生成 0 到 100 的置信度评分,并附有验证人具名且可追溯的签署;整个处理过程连同上下文一起导出,随时可供审计。

厘清一切的例外情况

一份草稿不需要具备可追溯性。一份内部备注、一份将被完全重写的初稿、一份写给自己看的摘要:通用型人工智能能又快又好地完成这些任务,要求每句话都标注页码和版本反而是不合理的。

可追溯性变得必要的那一刻,是文字开始让某人在另一个人面前承担责任的时候。一份草稿不会让任何人承担责任,但您正式提交的回答会。问题从来不是"要不要留痕",而是"从什么时候开始":答案是"从它离开您手中的那一刻起"。

三个能划出界线的问题

要判断一条回答,或者一款工具,是否真正具备可追溯性:

  1. 随机挑一条回答:您能否一步就打开证明它的材料,并直接定位到正确的页码? 如果来源只是一个文件名或一个文件夹,那么可追溯性就止步于文档的门口。
  2. 被引用的版本,是否就是提交当天的现行版本,如果不是,您能知道吗? 如果没有任何机制会提示被引用的文档已经发生变化,您迟早会重复使用一条已经过期的回答。
  3. 六个月后,您能否重新还原整个处理过程,找到当初是谁撰写的、谁核查的、评分是多少、由谁签署? 如果答案是"我们保留了最终文档",那您拥有的只是一段文字,而不是一条留痕。

常见问题

可追溯性会拖慢应答速度吗? 它会让撰写单句话的速度变慢,却会加快其他所有环节:校对能集中在低分回答上;采购方评审能一键核实;重复使用时能知道来源是否依然有效。时间从后端转移到了前端,而且总量在减少。

看似显而易见的回答,也需要留痕吗? 需要,因为正是这些内容最没有人去核实。总部地址、员工人数、某项认证:这些内容显而易见,直到某一天它们发生了变化,而回答本身却没有随之更新。

当一份来源文档被更新时,会发生什么? 所有引用它的回答都会被标记出来:被引用的版本已经不再是现行版本。每条回答随后会依据新版本重新核实,或者从知识库中撤下。正是这套机制,防止了一条曾经正确的回答在无声无息中变得错误。

可追溯性能在发生争议时提供保护吗? 它能够确立当初陈述了什么、依据是什么、在什么日期、由谁验证。这正是法官或审计人员会要求提供的内容。本网站不提供法律建议,但"我们能够出示证据"和"我们记得是这样"之间的区别并不难看出。

一条可追溯的回答会更长吗? 不会。指向文档、页码、版本和评分的关联,并不是添加到回答里的额外文字,而是附着在回答上的属性。读者看到的仍然是一句话,只是可以打开它的证据。

在您自己的文档上,见证可追溯的回答

带来一份真实的招标文件、安全问卷或 DDQ。您将看到逐页逐版本标注的来源、每条回答的评分,以及针对您文档的差距分析,而不是一场事先准备好的演示。

引用来源

  • V. Magesh, F. Surani, M. Dahl, M. Suzgun, C. D. Manning, D. E. Ho, « Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools », *Journal of Empirical Legal Studies*, vol. 22, 2025, p. 216-242. https://onlinelibrary.wiley.com/doi/full/10.1111/jels.12413