p值低于0.05，为什么一项研究就更容易被相信？

Geoffrey Chen

《当数字开始做决定》· 第五季“还没有发生的事”· 第十篇

一、0.049与0.051之间没有发现悬崖

设想两项规模、方法和估计效果近似的研究。一项得到p=0.049，摘要称结果“statistically significant”；另一项p=0.051，被写成“not significant”。前者更容易进入标题、新闻和后续引用，后者可能被理解为“没有效果”。

两项结果只差0.002，证据并未在0.05处发生物理跃变。真正发生跃变的是分类。一个连续统计量被接到“显著／不显著”，再被接到发表、资助、临床注意和公共信任。

American Statistical Association（ASA）的正式声明明确反对仅凭p值是否跨过某一门槛作科学或政策结论。p值不测量研究假设为真的概率，不测量效应大小或重要性，单独也不是良好证据量。

0.05为什么仍然拥有如此大的决定权？

二、p值真正回答什么

在一个指定统计模型及零假设成立的条件下，p值表示观察到当前统计结果或更极端结果的概率。这个定义包含方向：它是“假设与模型给定时，数据有多不相容”，不是“数据给定时，假设有多可能”。

p=0.03不表示零假设有3%机会为真，也不表示结果有97%机会可重复，更不表示只有3%可能由“偶然”造成。后几个问题需要先验信息、研究设计、功效、效应大小、偏差和其他研究证据。

同一p值还可以来自不同组合：样本很大而效应极小，或样本较小而效应较大。一个药物把指标改善到统计显著，临床差异可能微不足道；一个可能重要的效应在小样本中p>0.05，也不能据此证明没有效果。

因此，p值的测量对象很窄：数据与一个指定模型的相容程度。它一旦被写成“发现真假”，就越过了测量能力。

三、0.05是一项共同规则

研究共同体需要规则。若每位研究者看到结果后再选择自己喜欢的证据标准，结论会被偏好支配。预先设定alpha，例如0.05，可以在重复的决策程序中控制第一类错误：当零假设和模型条件成立时，长期错误拒绝的比例受到约束。

在确认性试验、质量控制或监管程序中，二元决定有时不可避免。药物是否进入下一阶段、研究是否达到预设主要终点，最终都需要行动。一个事前规则可以减少事后解释空间。

问题出在用途迁移。为长期错误控制设计的行动线，被当成单项研究真理线；“未达到预设标准”被写成“没有效应”；“达到标准”被写成“事实成立”。程序性门槛取得认识论权威。

0.05也不是所有科学共同使用的自然常数。不同领域、后果和多重检验结构可以采用不同标准。其合理性取决于错误代价和研究设计，而不在于小数本身。

四、门槛反过来改变研究

当发表与职业奖励偏爱p<0.05，研究者即使没有主观造假，也会受到结构诱导：尝试多个结果指标、亚组、时间点和模型，只报告跨线的结果；在数据收集过程中反复查看；把探索性分析写成预设假设。

若进行20个彼此独立、每个alpha=0.05的检验，即使所有零假设都成立，至少出现一个“显著”结果的概率也会显著高于5%。多重比较若不调整，门槛不再实现原先的错误控制。

选择性发表又让成功跨线的研究更可见。读者看到的是经过门槛筛选的文献，不是所有尝试。效应估计也可能因“赢家诅咒”而被夸大：只有随机波动向有利方向足够大时，小研究才跨过0.05。

数字原本用于约束判断，后来开始塑造被测对象。这与第二季讨论的指标反馈相连，但第五季多了一层：研究者对尚未确定的科学事实作出预测和承诺，门槛改变什么未来知识会被生产与保存。

五、0.05两边的研究应怎样比较

若一项研究p=0.049，另一项p=0.051，最合理做法不是宣布冲突，而是比较估计效应、置信区间、样本量、测量质量、预设方案和偏差。两个区间可能高度重叠，支持几乎相同的效应范围。

置信区间也不能自动解决问题，但它至少让读者看见估计精度和实际大小。临床或政策判断还需要minimal important difference、成本、伤害和外部有效性。统计显著不等于实际重要。

复制研究与证据综合比单次门槛更重要。多项独立研究若方向一致、方法不同、效果合理，即使个别p值超过0.05，整体证据仍可能有意义；一个孤立而惊人的p<0.05结果，尤其来自探索性多重分析，应保留怀疑。

“没有显著”也不等于“证明等同”。要主张两种处理足够相似，需要预设等效或非劣效范围和合适设计，而不只是普通检验失败。

六、怎样保留p值而限制它的权力

第一，确认性研究应预注册主要假设、样本量、排除标准和分析方案。探索性分析可以有价值，但必须标明，不能在结果出现后改写成预测。

第二，报告精确p值、效应量与不确定区间，不把0.049写成“有效”、0.051写成“无效”。摘要和新闻稿应避免仅以“显著”作结论。

第三，处理多重比较、缺失数据、停止规则与模型假设，并提供足够数据和代码供合理复核。透明度不是附加美德，而是让统计量可解释的条件。

第四，编辑、资助者与机构应评价研究问题和方法，不以“阳性结果”作为发表资格。否则即使研究者个人克制，奖励结构仍会生产偏差。

第五，高后果政策不能由单项p值直接触发。证据质量、效果大小、可逆性、受影响群体和替代方案必须共同进入决定。

七、维成论：科学事实也在制度选择中形成

p值不是裸数据中自动出现的事实。研究问题、零假设、测量、模型、样本和分析计划共同构成它。0.05再把结果接到期刊、机构和政策。知识在这条链中形成并获得稳定性。

现代科学需要统计接口。没有一个审稿人可以重做所有实验，科学共同体借助方法、门槛和复制分配信任。但当接口过度简化，Judgment Without Belief就会出现：数据库或编辑流程把p<0.05标为“positive”，没有人真正判断证据整体。

Commitment as the Human Remainder要求作者和使用者说出自己的结论强度。不能把“按惯例显著”当成逃避判断的盾牌。

结论：0.05可以管理程序，不能划分真理

我的判断是，p值不应被禁止。对预设假设和明确错误结构，它仍能提供有用信息；在需要二元行动的确认程序中，预先设定alpha也有正当性。

但科学文章应停止用0.05将证据分成“存在／不存在”。p值必须与效应大小、区间、设计、先验知识和复制共同报告；探索与确认要分开；政策决定不能只问是否跨线。

0.049与0.051之间没有发现悬崖。真正需要改变的，是让一条方便的程序线决定哪些未来知识值得被相信的制度习惯。

主要资料

了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。