在招标场景中,什么是人工智能的幻觉?
人工智能的幻觉,是指以自信的口吻说出的错误陈述,比如一个数字、一项引用,或者企业根本不拥有的一项认证。在招标场景中,幻觉之所以危险,是因为回答看起来很可信:从形式上完全看不出它是编造出来的。一旦一条幻觉混入回答中,就会使签署的企业承担责任,如果它没有经过核实就被保留下来,还会出现在其他项目里。
这个说法描述的是大语言模型的一种已知行为:它们生成的是最有可能出现的文字,而不是最真实的文字。一个词出现的概率,并不能证明一个事实。
为什么通用型人工智能会在招标场景中产生幻觉?
通用型人工智能之所以会在招标场景中产生幻觉,是因为它是依据自己所学到的通用知识来生成回答,而不能保证依托您企业的文档。当问题涉及一个模型并不了解的具体事实时,它会用一句看似合理的话来填补空白,而不是承认自己缺乏这方面的信息。这正是为什么一款适合撰写草稿的大众化生成式人工智能,不足以产出一条可以直接签署的招标回答。
因此,这种风险的根源在于两个原因:没有依托您的证据,以及缺乏能够区分一条有依据的回答和一条编造回答的核查机制。
专用软件如何降低幻觉风险?
专用软件通过把每条回答都建立在您的文档基础之上,再在验证之前提交给一次独立核查,来降低幻觉风险。回答不再从通用知识出发,而是从您的证据出发;第二次审阅则专门寻找陈述与来源之间的差距。
| 风险来自哪里 | 什么能降低它 |
|---|---|
| 没有依托的生成回答 | 依托您自己文档产出的初稿 |
| 没有证据支撑的陈述 | 每条回答标注可核实的来源 |
| 未被发现的错误 | 由第二支人工智能团队核查 |
| 无法判断的可信度 | 为每条回答赋予的置信度评分 |
在发布本网站的 Optivalue.ai 平台上,该架构共有 5 层,其中包含 7 项防幻觉核查,并为每条回答生成 0 到 100 的置信度评分,使校对人员能够清楚知道应该把注意力放在哪里。
厘清一切的例外情况
对于没有约束力的内部使用,比如一份草稿、一份摘要或一次改写,通用型人工智能是合适的,幻觉风险只是一个由作者自行修正的小问题。而一旦回答要提交给企业外部并需要企业签署,风险的性质就会发生变化:此时,依托文档、核查和留痕就不再是可有可无的选项。分界线在于是否需要签署,而不在于模型的能力强弱。
如何识别一条可能有误的人工智能回答?
- 寻找来源:一条没有标明陈述出处的回答,首先应该被核实。
- 核对数字和引用:一个数字、一项标准或一个日期,应与文档进行核对。
- 警惕没有证据支撑的自信语气:措辞非常笃定,并不能保证内容真实。
- 核实时效性:一条来自旧项目的回答,昨天可能是对的,今天却未必依然正确。
- 保留人工验证:签署人应审阅所有会使企业承担责任的内容。
常见问题
人工智能是否总是会产生幻觉? 人工智能并不会系统性地产生幻觉,但只要它在回答一个自己并不了解的事实,这种风险就存在:依托您的文档并加以核查,能够降低这种风险,而可追溯性则有助于发现它。
如何判断一条人工智能回答是否有依据? 判断的方法是追溯来源:一条有依据的回答,能够指向支撑它的文档;一条编造出来的回答,则拿不出任何来源。
置信度评分能保证准确性吗? 0 到 100 的置信度评分,指示的是应该把校对精力集中在哪里,它不能替代人工对敏感内容的验证。
是否应该因为幻觉风险而放弃使用人工智能? 幻觉风险应该促使企业去选择一款能够依托文档、进行核查并保留留痕的软件,而不是彻底放弃人工智能:真正让签署人承担风险的,是缺乏这些保障措施,而不是人工智能本身。
在一个真实项目上,检验幻觉风险
带来一份真实的招标文件、审计报告或安全问卷。您将看到要求提取的覆盖率、逐页标注的来源,以及针对您回答的差距分析,而不是一场事先准备好的演示。
引用来源
- 大语言模型的已记录行为:生成最有可能出现的文字,而非最真实的文字(关于生成式模型的公开文献,2026年)。
- 核查架构(运营方品牌文档):五层架构,其中包含七项防幻觉核查,置信度评分为 0 到 100。