外观
指标口径
这一页给出对外可引用的评测方法、指标定义与当前数字。原则只有一条：数字怎么来的说清楚，说不清的不写。
两条评测线
| 评测线 | 怎么做 | 回答什么 |
|---|---|---|
| 人工真值留出集 | 从现场真实样本里分层留出一批，由人工判定并在训练前锁定，模型不曾见过 | 模型在真实样本上判得对不对 |
| 生产影子对比 | 同一批线上最近事件，两个模型各判一次，分歧样本人工逐条看图 | 换上新模型会不会多出误报 |
留出集的真值先锁定再看模型输出。分歧只允许两种结论："人标错了"或"模型错了"，看了模型的理由再改真值是不允许的。
演示与内测环境的数据一律不进评测。评测按客户分批，一家客户的数字只用那家客户自己的样本算，不掺别家的。
指标定义
| 指标 | 定义 |
|---|---|
| 类型严格命中 | 模型给的类型与人工真值在叶子类目上完全一致 |
| 类型同族命中 | 模型给的类型与真值同属一个父类即算对。企业字典里父子混标很常见，同族口径更贴近现场实际 |
| 等级命中 | 模型给的等级与人工确认的等级一致 |
| 高等级虚判 | 真值为一般隐患，模型判成重大或更高。这是误报方向最要紧的一项 |
| 行为误判 | 正常画面被判成异常，或一种异常被判成另一种 |
| 影子一致率 | 同一批线上事件两个模型结论一致的比例 |
| 新增误报 | 影子对比里的分歧样本，人工核实后属于新模型误判的条数 |
| 单张 / 单段延迟 | 现场推理节点上含推理与结构化输出的耗时 |
评测数字
下表是沅精灵首个生产版本在留出集与生产影子对比上的结果。
| 指标 | 数值 | 说明 |
|---|---|---|
| 隐患类型同族命中 | 95.9% | 现场照片留出 73 张，类型对齐企业检查项字典 |
| 隐患类型严格命中 | 71.2% | 同一批，严格到叶子类目 |
| 高等级虚判 | 0 条 | 同一批，一般隐患没有一条被判成重大 |
| 与通用模型一致率 | 87.2% | 生产影子对比 141 条 |
| 新增误报 | 0 条 | 18 条分歧样本人工逐张核实，没有一条是沅精灵新增的误报 |
| 行为误判 | 常见错法清零 | 行为片段留出 67 段。把打架判成倒地、把正常画面判成攀爬这类错法在留出集上不再出现 |
| 单张照片判定 | 约 5 秒 | 现场推理节点 |
| 单段视频复核 | 约 8 秒 | 连续画面一次判定 |
现行版本上线前，和上一版在 417 条随手拍真实上报上逐条回测：其中人工确认过的 121 条，类型和等级没有一条倒退；新报的 48 条没有一条被判高一级；类型严格命中多对 31 条，输出格式没有一条损坏。新版本只有在回测不倒退时才替换上线。
指标随版本更新，以交付文档所载版本为准。
我们不报什么
- 不报召回的自证数字。 漏报要靠人工在现场核实，模型自己说"我没漏"没有意义。对外只报误报方向的指标与人工复核口径。
- 不报演示数据上的成绩。 演示环境的样本是造的，只用于走流程。
- 不把等级命中当主要指标。 等级受先验影响大，高等级样本少，单看命中率会被一般隐患的占比抬高。等级看的是"有没有虚判"。
人工复核流程
沅精灵给建议，人做决定。复核发生在三处：
| 环节 | 谁复核 | 复核结果去哪 |
|---|---|---|
| 随手拍上报 | 安全员在模型建议的基础上确认或修改类型、等级与描述 | 修改结果回流，作为下一版口径调整的依据 |
| 行为告警 | 判为异常的由值守人员在智悟值守台确认或驳回；判不了的、判为无事被抽检的进人工复核队列 | 裁定写回虹元，误报回流边缘节点；人工复核结论进评测台账 |
| 照片待确认 | 开了照片说明的单位，二级及以上、依据不足、置信偏低的照片进人工复核队列 | 改判的照片沉淀为误报参考 |
| 定期复盘 | 每周用留出集和最近 7 天的生产抽样各评一轮，抽出模型与人工不一致的样本逐条看原图归因 | 结果进评测台账，智悟「判定评测」页可看；归因区分口径不清与模型判错 |
复盘归因时先看原图再看模型输出，不拿模型的理由当证据。