没有评测体系，AI 项目永远过不了验收

AI 项目要过验收，靠的不是演示效果，是开发前就冻好的评测集、评分口径和版本回归机制。这三样缺任何一个，项目都会停在「看着挺好」。

政策说了什么

2026 年 9 月 2 日，工业和信息化部印发《「人工智能+软件」专项行动实施方案》（工信部信发〔2026〕209 号，9 月 11 日公开）。和验收这件事直接挂钩的是第（十六）条：推动建立智能体软件成熟度分级评估标准，同时研究制定「模型即服务」「智能体即服务」相关标准，明确服务交付质量和责任边界。

第（十二）条则要求软件企业与重点行业用户结对，落地「首用真用、可复制推广」的解决方案。能被复制的前提，是效果可以被计量；计量不了的东西，只能叫经验。

发布会给出的三个转向里，有一条是软件服务由「产品交付」向「价值交付」转变。价值交付翻译成甲方语言只有一句话：按标准验收，按结果付款。既然是「按标准」，标准就不能由交付方单方面在验收会上临时解释。

（政策条款与数字以官方原文为准。）

现实卡在哪

德勤《技术趋势 2026》中文官网的口径是：仅 11% 的企业成功将智能体投入实际生产应用，点名的三类挑战是遗留系统整合、数据架构限制、治理框架不完善。

中国信通院《企业级智能体技术与应用研究报告（2026年）》的诊断方向一致：企业级智能体的规模化应用需要稳定可靠的技术底座，而在运营管理体系里，全生命周期管理与全方位评测体系被列为规模化落地的关键保障，评测维度落在任务完成度、输出质量、稳定性、安全性、业务价值五个方面。

政策在推标准，报告在喊评测，企业现场却常常是另一套流程。常见的三个具体卡点：

• 立项文档里只有功能清单，没有判定口径。 写「提升问答准确率」不算标准，因为没人说得清多少算合格、由谁判定、不合格怎么办。
• 测试集在验收前一周才凑。 从演示用例里挑几十条，等于自己给自己出题，考的是记忆不是能力。
• 版本之间没有横向对比。 改完提示词、加了知识、换了模型，效果是涨是跌没人知道，只能靠「感觉顺畅多了」。

所以很多验收会开不下去，真正的原因不是效果差，而是双方手里没有一把共同认的尺子。评审专家问一句「比上一版好在哪、有数据吗」，会议室就安静了。

韦恩的判断

一、标准有没有前置，看评测集有没有版本号，不看有没有文档。 立项书写「提升回答准确性」不叫人话标准；写在立项文档里的「第 1 版评测集 + 基线分数 + 不放行阈值」才叫标准。前者是表态，后者能在评审会上被当场复算。

二、评测体系是三件套：测试集、评分口径、回归机制。 少一件就退化回「看着挺好」。测试集解决拿什么考，评分口径解决按什么判、谁来判，回归机制解决每次改动之后还能不能过。三件套齐了，验收才是技术动作；缺一件，验收就变成表态。

三、评测集不是技术文档，是商务资产。 它同时是验收依据、争议仲裁材料和下一期项目的起点。谁定义评测集，谁在验收会上有话语权——这一点，甲方越早意识到越好。

模型决定上限，评测决定能不能交付。

现在该做什么

这五件事不需要等标准落地，从现在就能动手：

1. 把五个维度翻译成本项目的判定句。 借信通院的维度：任务完成度、输出质量、稳定性、安全性、业务价值。每维写一句能被第三人复算的话，句式固定为「维度：测试集 N 条，答对不少于 X 条，由某人判定，未达标不进入下一里程碑」。维度是通用语言，判定句才是合同语言。
2. 从工单和聊天记录里抽样建集，别从演示题里挑。 按简单、常见、长尾大约三比五比二分层，每题标注标准答案与出处段落，文件名带上版本号（如 eval-v1）。项目期间只允许新增待办，不因为「这题答不出来」而删题。
3. 定评分口径，把一票否决项单列。 哪些题必须答对，哪些按分档打分，答错和拒答分别怎么记，超纲问题是否计入分母。口径要能在验收会上当场算出来，不能事后解释。
4. 建回归机制。 每次改提示词、换模型、扩知识库，跑同一套题，出一张与基线的对比报表。分数下降不放行，这是唯一能防止「越改越差还发版」的机制。
5. 把验收指标绑到付款节点。 合同里写清里程碑、验收指标与付款比例，明确复核人和争议处理方式。政策第（十六）条讲「责任边界」，落到合同上才有约束力。

往前看两到三年

三年后回看，三条判断可以被证伪：

• 评测集的归属会写进合同。 甲方开始要求交付方移交测试集、标注与评分脚本，评测集从项目附件变成可移交的交付物。移交不了的方案，在下一轮续约时会被压价——因为对方要重新打样。
• 回归评测会流水线化。 每改一次提示词、每换一次模型都自动跑同一套题、自动出对比报表，人工只判边界 Case。如果到 2028 年，多数企业还在用表格手工填评测结论，这一条就算错。
• 评测能力会反过来筛场景。 选第一个场景时先问一句「这个场景能不能评」，不能评的先放着，哪怕它更热闹。如果三年后企业选场景仍然只看「老板关心什么」、不看「能不能评」，这一条就是错的。

常见问题

Q：AI 项目验收到底该看哪些指标？ A：按信通院口径分五维——任务完成度、输出质量、稳定性、安全性、业务价值；落到验收会上，每一维都要配一句可复算的判定句和一个签字人。

Q：评测集要做多少条才够？ A：起步 30 到 50 条真实业务问题即可，覆盖高频与长尾。关键不在数量，在于冻结、分层、有人工标注的标准答案与出处。

Q：换了模型或者改了提示词，要重跑评测吗？ A：必须重跑，且跑同一套题、与同一基线对比。没有回归对比的版本更新，等于在验收体系上开了一个后门。

---

本文是「韦恩观点 · 政策之后，企业AI怎么落地」系列第 2 篇。总论讲的是落差本身，见第 1 篇《100 个标杆与 11% 投产率：企业 AI 缺的不是模型，是验收》。韦恩-企业AI智能（天津云智通达科技有限公司）长期做企业 AI 落地的知识工程、评测体系、私有化部署与数字员工交付。政策条款与数字以官方原文为准。