为什么演示应该基于您自己的项目,而不是供应商准备的项目?
这一类工具目前在表面上做的事情都大同小异:接收一个请求(招标、安全问卷、尽职调查问卷,也就是客户在委托项目前发来的 DDQ),将其与回答库进行匹配,撰写初稿,并组织校对流程。在供应商精心挑选的演示素材上,所有工具都表现出色。
真正区分它们的地方,只会在一个真实项目上显现出来:那些模糊不清的问题、您的回答库覆盖不到的要求、措辞上的陷阱。正是在这里,才能看出一款工具产出的是站得住脚的回答,还是仅仅看似合理的回答。评估的原则可以归结为一句话:带上您自己的一个项目,一边盯着屏幕,一边提出以下七个问题,而不是看宣传资料。
七个问题,以及每个问题应要求出示的证据
| 问题 | 一款写作辅助工具会怎么回答 | 一个应答智能体会怎么回答 | 应要求出示的证据 |
|---|---|---|---|
| 1. 这条回答来自哪里? | "来自知识库",仅此而已 | 每条回答旁都显示对应的文档、页码和版本 | 随机点开三条回答,打开其标注的来源 |
| 2. 当我的文档中没有答案时,它会怎么做? | 仍然会编造出一句看似合理的话 | 它会声明存在缺口,指出应咨询哪位专家,并建议在提交前补齐 | 提出一个您明知回答库中没有答案的问题 |
| 3. 由谁核查,是不是同一个撰写回答的人工智能? | 是同一个,以"校对"的名义 | 由第二支独立的人工智能团队为每条回答打 0 到 100 分,并标出差距 | 要求查看某条回答的分数及其评分依据 |
| 4. 我的文档在哪里被处理,是否会被用于训练一个共享模型? | "在一个安全的云上" | 说明所在国家和部署模式,并书面承诺您的数据不会被用于其他客户的利益,包括汇总数据,也包括模型分包商 | 合同条款,而不是官网页面 |
| 5. 由谁签署,又如何确认这个签署是真实的? | 一个"验证"按钮 | 按领域指定验证人,具名且可追溯的签署,以及一项警觉性测试,即故意在流程中插入错误回答,若被通过则发出警报 | 询问该工具如何检测机械式的走过场验证 |
| 6. 合同结束后,还有什么留在供应商那里? | "您可以导出您的数据" | 以可复用格式归还数据,标注日期地删除衍生数据(索引、向量表示、日志),包括备份和分包商处的数据,并提供可审计的证明 | 可逆条款,附带被删除内容的清单 |
| 7. 它从谁身上学习? | 从它的所有客户身上学习,包括您的竞争对手 | 从您的文档和您的修正中学习,且这些内容留在您自己的实例中 | 询问您的专家所做的一次修正会改变什么,又会为谁改变 |
对七个问题中的一个给出含糊的回答,是一条信息;对其中三个都给出含糊的回答,就是一个决定。
除了功能之外,这七个问题究竟衡量的是什么?
因为功能上的差异很容易被模仿和追平。这七个问题关注的,是无法轻易被弥补的东西:工具本身的结构。
第一个问题关乎可追溯性:如果每条回答旁边没有文档、页码和版本,那么无论是您自己,还是日后阅读回答的采购方,都无法核实任何内容。
第二个问题关乎系统的诚实程度:一款有用的人工智能懂得说出自己不知道什么。好的回答不会止步于沉默,还会进一步提出建议。
第三个问题关乎核查的独立性。一个模型在没有外部反馈的情况下重新审阅自己的输出,并不能纠正自身的错误,有时这种自我审阅之后表现反而会下降(Huang 等,ICLR 2024)。核查必须来自一个独立于撰写环节的机制。在发布本网站的 Optivalue.ai 平台上,这一机制共有 5 层,其中包含 7 项防幻觉核查,任何一条回答只要未通过其中一项,就永远到不了验证人手中。
第四个问题关乎商业秘密:您的回答库正是这样一项资产,而在中国大陆,此类信息要依据《反不正当竞争法》获得商业秘密保护,其中一项条件就取决于您自己采取的保护措施。 数据处理地点、数据用途,以及是否分包给模型供应商,都属于这类保护措施的一部分。
第五个问题关乎签署的价值。一个对什么都点头通过的验证,算不上真正的验证。要知道答案,就必须去测试它。
第六个问题关乎长期视角:一款无法体面退出的工具,其实算不上是您真正选择的工具。
第七个问题关乎您的差异化优势。一款从所有客户身上学习的工具,会让这些客户的回答彼此趋同;一款只从您身上学习的工具,则恰恰相反。
厘清一切的例外情况
如果您的需求只是更快拿到一份初稿,并且每次发送前都由您的团队从头到尾重新审读,那么一款写作辅助工具就已足够,而且成本更低。上述七个问题并不是要否定这类工具,而是准确描述它的定位。请在清楚这一点的前提下购买。
一旦回答会使企业承担责任、而又不能保证每一行都经过专家审读,这七个问题就变得至关重要:当处理量超出校对能力、当请求是一份安全问卷或 DDQ、当文档末尾的签名是一位高管的签名时。一份草稿不会让任何人承担责任,但您正式提交的回答会。
三个能划出界线的问题
如果您只有时间提出七个问题中的三个,请按以下顺序提出:
- 第二个问题,关于缺口。这是最容易测试、也最能说明问题的一个:提出一个您明知回答库中没有答案的问题,看看它给出什么结果。
- 第四个问题,关于数据处理。这是承担责任最重的一个问题,其答案存在于合同中,而不是演示里。请索要相应的条款。
- 第五个问题,关于签署。这是几乎没人会问的问题,却能区分出一款工具是由经历过审计的人设计的,还是由只顾卖出去的人设计的。
常见问题
一次认真的评估需要预留多长时间? 需要的时间,是把一个真实项目从头到尾处理完,让您的专家全程参与,直到最终提交。平台演示一次会议就能完成;而真正的评估要基于一个真实项目,时长由这个项目本身决定。
是否应该在同一个项目上比较多款工具? 如果条件允许,应该这样做。用同一个项目、同样的七个问题、要求出示同样的证据。差异会自然显现出来,而且很少体现在速度上。
供应商展示的安全认证有多大价值? 它只能回答第四个问题中的一部分,也就是托管安全性的问题。它无法回答数据处理地点、数据是否被用于训练模型,以及是否分包给模型供应商这三个问题,这三点需要在合同中查看。
一款工具能否通过所有七个问题,却仍然不合适? 可以:它或许能通过全部七个问题,却仍然不适合您的处理量、您的门户格式或您所在的行业。这七个问题排除的是不该购买的选项,但不会替您在可选项之间做最终选择。
为什么很少有人问到警觉性测试这个问题? 因为提出这个问题,等于承认人工验证也可能变成机械式的走过场。经历过审计的团队深知这一点;其他团队往往是事后才发现。
在您自己的项目上,提出这七个问题
带来一份真实的招标文件、安全问卷或 DDQ。您将看到要求提取的覆盖率、逐页标注的来源、每条回答的评分,以及针对您文档的差距分析,而不是一场事先准备好的演示。而且您可以当场提出这七个问题。
引用来源
- J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, « Large Language Models Cannot Self-Correct Reasoning Yet », ICLR 2024. https://arxiv.org/abs/2310.01798
- 中国大陆《反不正当竞争法》,关于商业秘密的保护。