AI项目有没有效果,先核对四类指标

先说结论
企业评估AI项目时,最常问的是:工具买了没有?员工会不会用?
企业评估AI项目时,最常问的是:工具买了没有?员工会不会用?
这两个问题只能证明企业开始使用AI,无法证明项目已经产生业务价值。
《中国企业家人工智能应用调研报告2025》显示,中国企业使用AI的比例达到89.84%。MIT Project NANDA发布的《The GenAI Divide》2025报告指出,超过80%的企业试用过至少一款AI工具,但只有5%的定制AI试点真正进入生产阶段并产生可衡量的价值。这里的“生产阶段”,是指不再停留在测试,而是进入正式业务运行。麦肯锡《2025麦肯锡AI应用现状调研》的大中华区数据显示,只有6%的企业被列入报告所称的“高绩效赢家”。
三份报告的调查对象和统计方式不同,数字不能直接比较。但它们指向了同一个问题:企业采用AI,与企业通过AI取得业务结果,是两件事。
因此,判断一个AI项目有没有效果,不能只听“大家已经用起来了”,还要核对四类数据:产能、成本、转化和留存。
| 指标类型 | 需要核对的问题 | 常见衡量方式 | 容易出现的误判 |
|---|---|---|---|
| 产能 | 同样的工作是否做得更快、更多 | 单个任务耗时、单位时间产出量、更新频率 | 把上线初期的集中使用当成长期效果 |
| 成本 | 完成同样的工作是否花得更少 | 单个业务场景的成本、人力工时变化、投入产出比 | 漏算内部人力和培养成本 |
| 转化 | 增加的产出是否带来业务结果 | 可追踪的潜在客户、转化率和复购变化 | 把产量增加直接算成收入增加 |
| 留存 | 一段时间后是否仍在稳定使用 | 持续使用率、日常流程使用情况、内部能力保留情况 | 只看试点期,不看后续运行 |
四类指标各自解决一个问题,不能互相替代。只看产能,不看留存,短期数据可能很好,流程却无法长期运行;只看转化,不看成本,即使收入增加,也无法判断投入是否划算;只看成本,不看业务结果,也可能出现工作费用降低了,最终结果却没有改善。
正式评估前,先把试点条件写清楚
试点,是指先在较小范围内运行项目,用实际数据判断方案是否值得继续。一个可以评估的试点,需要同时满足三个条件:具体业务范围明确、指标能够量化、验证周期清楚。
先选少数核心指标
试点开始时,不必同时设置十几个考核项目。可以先选择一到两项与当前业务直接相关、能够持续记录的指标,例如完成单条内容所需的时间,或者同等人力下的月度产出量。
指标少一些,更容易看清变化是否来自当前项目。但最终判断项目效果时,仍需回到产能、成本、转化和留存四类数据,不能只凭某一项数据下结论。
同时确定基线和达标线
基线,是项目开始前的实际数据。例如,一条内容原来需要多长时间,一个月能够完成多少条,需要投入多少人力和成本。
达标线,是在规定时间内,指标达到什么水平才算试点通过。
没有基线,企业无法确认项目带来了多大变化;没有达标线,项目即使长期没有明确结果,也可能一直停留在“再观察一下”。
记录前还要统一统计范围和计算方式。上线前后如果采用不同算法,得出的“效率提升”就无法核实。
提前约定验证方式和未达标方案
AI项目可以先在小范围内验证,达到约定标准后再扩大投入。整体试点可以在3至6个月内观察结果,其间设置1至3个月的阶段性验证周期。
验证开始前,还要约定项目未达标时如何处理,例如调整方案、终止项目或采用费用抵扣机制。这些内容应写入合同条款,不能只依赖口头承诺。

产能:同样的工作,是否做得更快、更多
产能变化最容易观察,通常可以核对以下数据:
- 完成单条内容或单个任务需要多长时间;
- 同等时间内能够完成多少任务;
- 同等人力条件下,月度产出量是否发生变化;
- 原有业务的更新频率是否提高。
比较这些数据时,必须使用项目上线前的基线,并保持前后统计方式一致。
例如,原来完成一条内容需要多少时间,一个月能够产出多少条;引入AI后,在相同条件下,这两个数字分别发生了什么变化。只有这样,“效率提升”才有可以核对的依据。
产能数据还要持续观察。刚上线时,员工可能因为培训、考核或集中推动而频繁使用,短期产出不能直接代表长期效果。

成本:不能只算工具采购费
成本指标需要核对的是:完成同样的工作,现在是否花得更少。
很多企业只统计平台采购费或服务费,却忽略了内部投入。一个AI项目的总投入至少包括:
- 平台、工具或服务费用;
- 员工学习、测试和适应新流程所投入的时间;
- 培养内部人员独立操作AI流程所需的资源;
- 项目从启动到产生稳定效果之间的时间成本。
成本还要按具体业务分别核算。内容生产、客服和销售辅助等业务的投入与收益不同,不能全部合并成一个数字。
如果只算总账,一个项目的收益可能掩盖另一个项目的亏损。企业最终仍然无法判断,哪些项目值得继续投入,哪些项目需要调整或停止。

转化:产出增加,不等于业务增长
转化指标核对的是:AI增加的产出,是否进一步带来了潜在客户、成交或复购变化。
内容更多、任务完成更快,只能证明产能发生了变化。要证明项目带来了业务价值,还需要单独记录这些新增产出产生了多少可以追踪的业务结果。
因此,转化指标只统计能够追踪,并且能够确认与AI项目有关的部分。无法确认关联的收入或业务变化,不应直接计入项目收益。

留存:三个月后,项目是否还在运行
留存不是看项目刚上线时有多热闹,而是看一段时间以后,工具、流程和内部人员是否仍能正常工作。
可以核对以下内容:
- 员工是否持续使用工具;
- AI是否已经进入日常业务流程;
- 集中推动结束后,业务是否会恢复原来的做法;
- 服务方退出后,内部人员能否独立操作和维护。
还要检查相关能力是否留在企业内部。可核对的材料包括标准操作流程文档,也就是说明每一步该怎么做的SOP;供员工和AI查询使用的内部知识库;已经整理并可以重复使用的业务流程;以及内部人员的操作认证记录。
如果这些材料和能力都没有留下,即使试点期间的数据不错,项目结束后也可能无法继续运行。企业得到的只是试点期间的服务,没有形成可以独立使用的内部能力。

投资回报率要按具体业务单独计算
投资回报率通常简称ROI,用来表示项目获得的净收益相对于投入的比例。基本公式是:
(AI带来的可量化收益-总投入)÷总投入
公式并不复杂,问题通常出在收益和投入两边都存在漏算。
投入一侧,容易漏掉内部人力、人员培养和项目适应期的时间成本;收益一侧,容易把效率提升直接算成收入增长。
计算时,应先统计某个具体业务的完整投入,再计算该业务能够追踪的收益。几个项目的投入和收益不能混在一起,只看一个总体数字。
有市场分析把AI项目的典型回本周期概括为2至4年,少数项目可以在12个月内看到回报;个别使用频率较高的业务,例如制造业的预测性维护,也就是根据设备数据提前发现故障风险并安排维护,行业分析中出现过约3个月看到效果的案例。
不过,这些数字受到项目类型、企业原有业务基础和统计方式影响,不能直接作为所有企业的达标线。企业真正应该比较的,是自己的历史基线、实际投入和项目结果。
四种评估方式,看似有数据,其实不可靠
1. 把购买工具当成取得效果
采购工具,只能说明企业具备了使用条件。工具进入具体业务流程以后,还要持续记录流程变化和业务结果,才能评估实际效果。
2. 把完成培训当成形成组织能力
培训只能说明员工知道如何使用工具,不能证明他们会持续使用,也不能证明企业已经建立了稳定流程。
MIT NANDA和麦肯锡的研究都把AI项目的问题指向数据、工作流程、组织协作、人才和管理规则等多个环节。只完成培训,没有后续部署和流程跟进,不能据此判断项目已经成功。
3. 直接采用服务商宣传的效果数字
市场上一些AI陪跑服务会宣传“30天见效”“订单增长300%”等数字。这些是服务商自己的宣传口径。如果没有第三方核验,就不能把它们当作行业普遍水平,更不能直接用作企业自己的达标线。
企业的达标线应从现有业务的历史基线出发,根据具体业务和实际投入确定。
4. 只计算投资回报率,不检查能力是否留下
试点期的投资回报率只是一个阶段性结果。项目结束后,企业是否有人能够继续操作,是否保留了标准操作流程、知识库和可重复使用的业务流程,同样需要评估。
如果服务方退出以后,项目立即停止,试点期间的效果就很难持续。
AI项目最终需要回答四个问题
评估一个AI项目,最后需要核对的是:
- 同样的工作,产能变化了多少?
- 完成同样的工作,成本变化了多少?
- 这些变化带来了多少可以追踪的业务结果?
- 一段时间以后,工具、流程和内部能力是否仍然保留?
这四类指标都要有项目开始前的基线,也要有规定周期内的达标线。试点结束后,再按具体业务分别计算投入和收益。
能够回答这四个问题,AI项目的效果才有核对依据。只能说明“工具已经买了”“员工已经培训了”“大家正在使用”,还不能证明项目产生了业务价值。
企业 AI 落地
怎么识别一篇文章的AI味?看这5点
企业 AI 落地
AI文风复刻能做到几分像?看样本和边界
企业 AI 落地
AI内容同质化怎么破?先改写作前的准备