简短答案
有时会,但远没有“两票对一票”那么简单。两个真正独立、能力互补并且依据不同证据路径的系统达成一致,可以增加信心;如果它们共享训练资料、模型架构、搜索结果、提示或同一个错误前提,一致只代表相关性,不代表真相。AI之间的分歧是有用的警报,而一致最多是一个信号,不能替代原始证据。
多数表决为什么在人类直觉中有效
如果几位判断者各自有一定准确率,而且错误相互独立,多数表决可以降低单个判断者偶然出错的影响。关键条件不是“人数多”,而是“独立且有能力”。五个人都抄同一份错误答案,不会获得五份证据;五个温度计使用同一个坏传感器,也不会因读数一致而更准确。
将这个直觉直接搬到语言模型会遇到问题。不同产品可能使用相似公开语料、相同基准、近似微调方法和共同的搜索网页。一个模型的多个回答更明显共享参数与盲点。表面名称不同,不保证错误来源独立。
2025年一项对350多个语言模型的研究发现,模型错误存在显著相关性;在其中一个排行榜数据集上,当两个模型都答错时,有60%的情况它们同意同一个错误答案。研究还发现,大型、更准确的模型之间也可能出现高度相关错误,并讨论了这种“算法单一化”在招聘等场景中的后果。Kim et al.: Correlated Errors in Large Language Models
同一个模型问两次,不是两位独立专家
生成具有随机性,因此同一个提示重复运行可能得到不同表述或不同答案。多次采样后选多数答案,称为一种自洽策略,在某些数学或结构清楚的任务上可能改善表现。但这些样本仍来自同一模型、同一知识与同一提示框架。
如果模型稳定地使用了错误公式、混淆了同一人物,或提示包含错误前提,十次回答可能十次一致。此时自洽测到的是模型内部稳定,不是真实世界正确。反过来,答案表述不同也未必代表事实分歧,可能只是措辞和计算路径不同。
所以先把答案标准化为可比较主张。两个模型分别说“我建议A”和“在这些条件下A成本最低”,可能结论相同但理由不同;若理由中一个依赖错误价格,一致就很脆弱。
不同供应商也可能共享信息生态
模型可能从互联网上学习相同的流行误解,又在回答时检索到排名靠前的同一批页面。多个网页重复一条未经证实的说法,会使不同系统独立搜索后仍然汇合。它们的计算过程分开,证据祖先却相同。
这在最新新闻、人物传闻、产品比较和历史轶事中常见。要判断独立性,不只是换一个聊天窗口或品牌,而要问:它是否使用不同的一手来源;是否有不同专业方法;是否能展示证据;是否针对不同失败模式设计。
例如一个模型总结法规,另一个模型也总结同一篇二手博客,并不是独立复核。一个模型总结法规,随后由人打开官方文本核对关键条款,才是新的证据路径。
分歧往往比一致更有信息量
两个系统在一个明确事实上的分歧,说明至少一个答案错误、问题含糊、资料版本不同,或系统不确定。不要立即让第三个模型投票,而要定位分歧:是日期、定义、地区、计算还是价值标准?然后寻找能够裁决该点的原始来源。
分歧也可以用来分配人工注意力。研究表明,多模型的不一致在某些任务中能够作为不确定性或需要人工标注的信号;但具体效果依赖任务和组合,不能推广成通用保证。Du et al.: Ensemble Disagreement Scores in Large Language Models
一致则不应自动通过。它可能提高优先级判断:低风险事实且证据路径真正不同,可减少额外检查;高风险决定即使一致,也应回到原始记录。分歧是“必须查”,一致只是“可能较稳定”。
先比较证据,再比较结论
让两个AI只报最终答案,无法知道它们是否独立。更有效的方式是要求各自列出承重事实、来源、假设、未知与会改变答案的条件。然后比较:它们是否引用同一来源;是否使用不同数据;是否在同一未证实前提上建立结论;是否对风险和价值使用相同默认标准。
若结论一致而证据不同,可以回查两条路径是否真正收敛。若结论一致但证据冲突,说明至少一个推理有问题。若结论不同但事实相同,差异可能来自价值权重,应该由人明确选择,而不是靠模型投票。
什么时候多模型方法比较有用
在有明确答案、可大量测试且错误成本受控的任务中,多模型或多次采样可以成为工程策略,例如分类、字段提取、代码候选或数学题。前提是先用带正确答案的代表性数据测量每个模型、组合规则和失败相关性,而不是看到一次一致就宣布可靠。
可以把分歧路由给人,把一致结果再通过确定性规则或抽样审计;也可以给模型不同角色,一个生成、一个寻找反例、一个只核对来源。但角色提示仍不能创造真正独立知识,最终要看测试数据。
对于开放式建议、伦理选择、法律或医疗判断,模型数量不能替代适用背景与专业责任。三种系统都可能给出流行但不适合个案的建议。
怎样设计更有价值的第二意见
不要把第一个答案展示给第二个系统,否则它可能被锚定。分别给出原始问题,并故意改变任务:第一个形成最佳解释;第二个寻找能够推翻结论的证据;第三个核对指定一手来源。把生成、反驳和验证分开,比让三个模型都“回答问题”更能暴露缺口。
第二意见还应使用不同证据类型。语言模型给出解释后,用数据库确认记录、用计算器重算数字、用测试运行代码、由专业人士判断边界。真正的多样性来自方法,不只是模型名单。
记录每个系统的版本与输入也很重要。若模型后来更新,过去的“独立组合”可能改变;若所有模型通过同一个搜索供应商,它们的检索多样性也可能低于预期。
一个简单的证据矩阵
为重要问题建立四列:主张、AI A依据、AI B依据、独立裁决证据。前两列用于暴露相同来源和假设,最后一列必须来自能够直接解决问题的外部记录。若没有裁决证据,将结论标记为未解决,而不是采用多数票。
还可以加一列“错误后果”。对于低后果项目,两条合理独立路径可能足够;对于高后果项目,即使三者一致,也需要正式审批或专业复核。证据门槛由后果决定,不由模型数量决定。
我的判断:把模型一致当作线索,不当作证据
我会更重视分歧,因为它明确告诉我哪里需要查;对于一致,我首先寻找共同祖先。如果两个回答使用同一个网页、同一种默认假设或同一套训练习惯,它们实际上只有一票。
最强的组合通常不是“AI加AI”,而是生成式AI加上不同性质的验证:官方记录、可重复计算、测试、原始文件和具备责任的专业判断。这些方法会在模型共同盲点处提供阻力。
检查清单
- 两个答案来自不同采样,还是不同模型与不同证据路径?
- 第二个系统是否在看到第一个答案前独立判断?
- 它们是否引用同一网页、数据库或二手说法?
- 结论一致时,理由和承重事实是否也一致且可核查?
- 结论分歧是事实、版本、定义,还是价值标准不同?
- 是否有原始记录、计算或测试可以裁决?
- 组合方法是否在代表性真实案例上测试过?
- 错误后果是否允许仅凭模型一致就采取行动?
结论
两个AI同意可以提供有限的稳定性信号,但只有在能力足够、错误近似独立、证据路径不同的条件下,才可能实质提高可信度。现实模型常共享资料、方法和误解,因而能够一致地答错。用分歧触发调查,用证据裁决问题;不要把多个相似系统的共识误认为独立事实。
相关问题
继续阅读本系列: 《AI可以相信到什么程度?》全部文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。