简短答案
比较完整任务的净结果，而不是模型生成速度。计算准备输入、等待、核验、修改、返工、事故和维护所花时间，同时检查质量、产量和员工负担。AI只有在相同或更高质量下减少总资源，或用可接受成本带来明确质量提升，才算有效。最可靠方法是用一组真实任务做基线与对照，记录中位数和失败尾部，并在几周后复测。
“十秒生成”不是“十秒完成”
AI演示常把空白页变成完整草稿，速度令人印象深刻。但真实工作包括寻找资料、清理文件、写提示、核验数字与引用、调整语气、取得批准、复制到其他系统和处理后续问题。若草稿十秒生成、核验四十分钟，而人工原来三十分钟完成，生成速度没有带来效率。
把任务时间定义为从开始准备到结果达到可用或批准标准的总时间。包括人的主动时间、等待时间和下游返工。区分二者有助于排程：AI可能减少主动写作，却增加等待审批；也可能缩短总周期，却没有减少员工劳动。
不要排除“本来就需要审核”的时间。比较的是采用AI前后的完整流程，而不是AI步骤与人工全部工作的不对称比较。
先确定效率要改善什么
效率可能指更快、更便宜、更多产量、更高质量、更少积压、更稳定服务或让专业人员把时间用在高价值判断。一个流程节省分钟但增加错误，不一定更有效；一个流程用同样时间产出更完整分析，可能有价值。
为每个用例选择主指标和护栏。例如客户回复以合格解决时间为主，准确性与投诉为护栏；代码任务以通过测试的功能为主，缺陷和维护成本为护栏；研究摘要以关键主张覆盖和来源支持为主，阅读时间为成本。
没有预先定义结果，团队容易选择最能显示成功的数字，例如生成篇数、AI使用次数或接受率。这些是活动，不是价值。
建立无AI基线，而不是依赖记忆
选择一组代表真实分布的任务，包括常规、复杂、资料不全和边界情况。让适当人员按现有流程完成，记录时间、质量、返工与结果。再用AI辅助完成同类或随机分配任务。
基线要考虑人员经验。新手和专家可能得到不同收益；熟悉AI的人与刚培训的人也不同。若只有最积极的试用者使用AI，结果会受自我选择影响。尽可能随机或交叉：同一批人员在不同任务上使用两种流程。
实验不一定需要学术规模。小团队可以每类记录20到30个真实任务，先发现明显差异。但不要只选模型最擅长的案例，也不要用一个下午的印象决定长期采购。
测量总人工时间与总周期时间
将流程拆成：资料准备、提示与上传、生成等待、阅读、事实核验、编辑、批准、发布、返工和事件处理。人的分钟可以转成成本，但不同角色时间价值不同，专业审核不能按实习生费率替代。
总周期还包括排队和依赖。例如AI让草稿提前完成，却把所有任务集中到一名审核者，队列可能更长。平均单项时间下降，客户收到结果反而更晚。
观察系统维护时间：提示模板、连接器、权限、评估、模型升级、供应商管理和培训。试点阶段常忽略这些共享成本，规模化后它们会变得显著。
复核成本随错误代价和可验证性变化
写一封低风险内部邀请，审核很快；检查一份含五十个引用的法律研究，核验可能超过起草。AI越擅长生成大量貌似完整的内容，潜在核验面越大。不能把所有输出都按字数计算同样价值。
可以把主张分级：格式和文风、普通事实、决策关键事实、专业判断和不可逆行动。统计每类核验时间与漏错风险。适合AI的任务通常有清晰输入、容易验证、错误可撤销；不适合的任务可能生成快但证明慢。
验证可以抽样，但抽样强度应由风险和已知错误率决定。减少审核以制造节省，只是把成本推迟到投诉与事故。
质量必须与时间一起比较
如果AI辅助结果质量更高，用时略多也可能值得；如果更快但需要客户反复澄清，就是假节省。建立评分规则，覆盖准确、完整、相关、可操作、语气、来源和合规。
尽可能让评审不知道作品来自哪个流程，减少对AI的期待偏差。对客观任务使用测试、对账或真实后续结果；对开放任务使用多名评审与明确标准。不要让生成该答案的模型成为唯一评分者。
最终业务结果比内部文风分数更重要：客户问题是否解决，提案是否通过，缺陷是否减少，员工是否做出更好决定。结果可能滞后，需要持续观察。
平均值会隐藏最昂贵的失败
AI可能在80%的简单任务节省十分钟，却在5%的任务造成两小时返工。只报告平均值，无法看见尾部和运营波动。记录中位数、第90或95百分位、失败率和最大可信损失。
还要区分相关失败。一名员工的错误通常影响一项，自动模板错误可能影响全部输出。一次大规模返工应按实际影响纳入，不要当成异常删除。
如果系统节省稳定小额时间，却偶尔产生极高损失，自动化级别应下降，或设置限额和人工批准。效率不能脱离风险承受能力。
研究结果不能直接替代本地测量
一项对客户支持人员的研究发现，生成式AI辅助在特定环境中平均提高约14%的生产率，对经验较少或技能较低人员提升更大。这是有价值的证据，但它描述特定工具、任务、员工和组织。NBER: Generative AI at Work
另一项覆盖7,137名知识工作者和66家企业的现场实验发现，使用生成式AI的人每周少花约两小时处理邮件，但研究未检测到任务数量和构成的显著变化。这说明局部时间变化未必立刻转成组织产出。NBER: Shifting Work Patterns with Generative AI
两项结果并不冲突。它们提醒我们收益依赖工作类型、采用方式、人员和组织能否重新利用节省的时间。采购演示或外部平均值不能代替本地基线。
新手受益更大，也可能更难发现错误
AI可以把经验知识以建议形式提供给新手，缩小部分绩效差距。但经验较少的人也可能不具备发现虚构、错误术语和不适用建议的能力。更快完成不等于形成长期技能。
按经验层级分别测量时间、质量、复核请求和学习。若新手输出提升但对AI依赖增加，可设计先独立尝试、解释理由、对比范例和导师抽查。把AI当作脚手架，而不是永久替代基础判断。
团队还要观察专家时间是否只是转移。十名新手各节省一小时，却给一名专家增加十五小时审核，总体可能更差，并形成瓶颈。
接受率不是节省的可靠代理
高接受率可能表示建议好，也可能表示审核者疲劳、没有时间、界面默认接受或不知道哪里错。低接受率也不一定失败：AI草稿可能帮助人更快形成最终版本，即使文字被大量改写。
更有价值的指标包括达到批准状态所需时间、关键编辑数、错误逃逸率、返工轮次和任务结果。分析编辑类型：只是风格调整，还是纠正事实、责任和结论。后者说明复核成本与风险更高。
记录完全未使用的输出。生成但被丢弃仍消耗时间、算力和注意力，不能从效率分母中消失。
节省下来的时间去了哪里
组织若不改变目标、容量或排程，员工可能把节省时间用于更多沟通、额外完善、等待或新的任务。不存在自动从个人分钟到公司利润的转换。应该在试点前决定收益用途：缩短客户等待、减少加班、处理积压、增加分析深度或腾出培训时间。
这不是要求监控员工每一分钟。它要求在流程层面确认瓶颈是否移动、产量或质量是否改变。若草稿不再是瓶颈，批准、数据访问或客户反馈可能成为新瓶颈。
有些收益是韧性：高峰期维持服务、帮助跨语言沟通、减少空白页焦虑。这些可以纳入评价，但应具体描述和测量，避免所有无量化好处都被称为“创新”。
计算总拥有成本
除订阅或API费用，还包括集成、权限、数据治理、培训、评估、监控、人工审核、供应商审查、模型迁移、事故和退出成本。免费工具也会消耗员工时间并带来数据风险。
按月或季度分摊共享成本，再与实际合格任务数比较。若使用量很低，单位成本可能远高于标价；若规模很大，审核和事件成本可能比模型调用更重要。
同时计算不采用的机会成本。完全不用AI可能让积压和响应时间持续恶化。评价应比较可信替代方案，而不是AI与理想化零成本人工。
用分阶段指标避免新奇效应
第一周可能因为学习工具变慢，也可能因为热情和额外支持显得异常好。四到八周后，提示技巧、工作分配和审核习惯会稳定；几个月后，模型更新和维护成本才显现。
在试点开始、稳定使用和规模化三个阶段复测。记录培训时间，观察收益是否只集中在少数高手。若模板和流程成熟，把它们纳入正式操作；若每个人都需要不断手工修补，说明系统尚未产品化。
设立停止条件：质量低于基线、复核积压、敏感事件、成本超过预算或员工负担明显增加。试点的目的包括发现不该扩大，而不只是证明采用。
我的判断：把“完成且可信”作为计量单位
生成的字数、摘要数和建议数会奖励更多内容，却不关心能否使用。更好的单位是完成且达到质量门槛的客户回复、报告、代码变更或决定，并计算每单位总时间与成本。
对于重要知识工作，还应测量不确定性是否被正确处理。一个系统在资料不足时提问，表面上比立即回答慢，却减少后续错误。可靠的停止有时是真正效率。
效率评估检查表
- 是否有无AI流程的真实基线，而不是主观回忆？
- 计时是否覆盖准备、提示、核验、编辑、批准、返工和维护？
- 是否同时比较质量、业务结果、错误逃逸和风险？
- 是否按任务复杂度和人员经验分组？
- 是否报告中位数、尾部失败和相关的大规模错误？
- 节省是否只是把工作转移给专家或下游团队？
- 模型、集成、培训、治理、迁移和事件是否进入总成本？
- 是否在稳定使用后复测，并有明确扩大与停止标准？
结论
判断AI是否提高效率，必须从“生成多快”转向“可信结果完成得怎样”。建立无AI基线，测量完整流程、质量与尾部风险，观察节省时间是否真正改善产量、等待或工作负担。AI有时会带来显著收益，有时只把写作时间换成复核时间；只有本地对照和持续测量能区分两者。
相关问题
继续阅读本系列： 《AI可以相信到什么程度？》全部文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。