数据质量六维校验
L0 · 按 GB/T 36344-2018 六维(规范性 / 完整性 / 准确性 / 一致性 / 时效性 / 可访问性)建立规则集,设阻断与告警两级,并作为上线卡点。
校验规则数
12条
六维全覆盖,P0 阻断 6 条
本期校验对象
159.1万行
决策表 + 库存 + 在单在途 + 主数据
阻断级失败
3条
DQ-005 合计校验、DQ-006 负库存、DQ-002 编码
告警级失败
3条
门店面积缺失、POS 延迟、在单差异
规则通过率
99.94%
目标 ≥ 99.9%
上线卡点状态
未放行
阻断项未清零,决策批次挂起
六维校验规则清单(GB/T 36344-2018)
规则可配、可停用,但"阻断级"必须经数据治理委员会评审后才能降级| 规则编号 | 维度 | 规则描述 | 校验对象 | 级别 | 失败行数 | 失败率 | 结果 | 操作 |
|---|---|---|---|---|---|---|---|---|
| DQ-001 | 规范性 | 门店编码必须匹配主数据字典 | 门店 | 阻断 | 0 | 0% | 通过 | 查看明细编辑 |
| DQ-002 | 规范性 | SKC 编号符合 年季+波段+流水号 规则 | 商品 | 阻断 | 2 | 0% | 通过 | 查看明细编辑 |
| DQ-003 | 完整性 | 决策行尺码明细不得全部为空 | 决策表 | 阻断 | 3 | 0% | 通过 | 查看明细编辑 |
| DQ-004 | 完整性 | 门店档案面积/库容/陈列容量必填 | 门店 | 告警 | 18 | 1.7% | 告警 | 查看明细编辑 |
| DQ-005 | 准确性 | 尺码明细之和 = 合计列(允许空值不算 0) | 决策表 | 阻断 | 1 | 0% | 通过 | 查看明细编辑 |
| DQ-006 | 准确性 | 库存不得为负值 | 库存 | 阻断 | 2 | 0% | 通过 | 查看明细编辑 |
| DQ-007 | 一致性 | 决策表门店编号必须存在于门店主数据 | 决策表 | 阻断 | 0 | 0% | 通过 | 查看明细编辑 |
| DQ-008 | 一致性 | 在单在途量 ≤ 单据未收数量 | 在途 | 告警 | 5 | 0.4% | 告警 | 查看明细编辑 |
| DQ-009 | 时效性 | POS 流水同步延迟 ≤ 2 小时 | 销售 | 告警 | 51 | 4.1% | 告警 | 查看明细编辑 |
| DQ-010 | 时效性 | 决策快照生成时间 = 决策日 00:00±30min | 快照 | 阻断 | 0 | 0% | 通过 | 查看明细编辑 |
| DQ-011 | 可访问性 | ERP 取数接口可用率 ≥ 99.5% | 接口 | 告警 | 0 | 0% | 通过 | 查看明细编辑 |
| DQ-012 | 可访问性 | 外部回写接口鉴权失败次数 = 0 | 接口 | 阻断 | 0 | 0% | 通过 | 查看明细编辑 |
共 12 条规则 · 六维:规范性 3 / 完整性 2 / 准确性 2 / 一致性 2 / 时效性 2 / 可访问性 2每页
!两个真实示例(来自 0507 导出实测):① 尺码明细求和 ≠ 合计列 —— 明细求和 440 件、合计列 474 件,差 34 件,根因是空值格被漏计(空 ≠ 0);② 门店面积字段缺失 —— 18 家门店面积为 NULL,直接导致陈列与库容约束无法启用(缺口 G-01/G-02)。这两条都不是"代码 bug",而是口径与主数据问题,必须靠规则固化。
六维校验结果统计
按 GB/T 36344-2018 六维,每一维必须有规则、有失败明细、有责任人| 维度 | 规则编号 | 规则数 | 校验行数 | 失败行数 | 失败率 | 维度结论 | 典型问题 |
|---|---|---|---|---|---|---|---|
| 规范性 | DQ-001 ~ DQ-003 | 3 | 128 | 0 | 0.94% | 达标 | 编码、格式、必填、枚举 |
| 完整性 | DQ-004、DQ-016 | 12 | 46 | 18 | 0.31% | 需关注 | 面积/库容字段缺失 18 家门店 |
| 准确性 | DQ-005、DQ-006 | 7 | 21 | 1 | 0.14% | 需关注 | 尺码明细求和 ≠ 合计列 1 行 |
| 一致性 | DQ-007、DQ-008 | 6 | 12 | 5 | 0.08% | 达标 | 在单在途 ≤ 未收数量 |
| 时效性 | DQ-009、DQ-010 | 4 | 58 | 51 | 0.05% | 需关注 | POS 延迟 > 2h 共 51 家门店 |
| 可访问性 | DQ-011、DQ-012 | 3 | 0 | 0 | 0.02% | 达标 | 接口可用率、鉴权失败 |
六维覆盖:规范性 / 完整性 / 准确性 / 一致性 / 时效性 / 可访问性每页
整体质量评分
评分权重可配,当前六维等权- 规范性
- 98.2 分
- 完整性
- 91.4 分
- 准确性
- 92.6 分
- 一致性
- 97.8 分
- 时效性
- 90.1 分
- 可访问性
- 99.6 分
校验失败明细(阻断优先)
失败明细必须能给到"具体哪一行、差多少、怎么修"| 规则 | 维度 | 级别 | 失败描述 | 失败对象 | 实测差异 | 处理方案 | 状态 |
|---|---|---|---|---|---|---|---|
| DQ-005 | 准确性 | 阻断 | 决策表 · 尺码明细求和 ≠ 合计列 | 24AW-3890 / 浙江杭州西湖银泰店 | 明细求和 440 ≠ 合计列 474(空值格漏计 34 件) | 以合计列为准,空值不等价于 0;导出脚本已修,待回归 | 待回归 |
| DQ-004 | 完整性 | 告警 | 门店档案面积 / 库容 / 陈列容量必填 | 18 家门店 | 面积字段为 NULL,导致陈列与库容约束无法启用 | OMS 门店能力表补录中,10-25 前完成 | 处理中 |
| DQ-009 | 时效性 | 告警 | POS 流水同步延迟 ≤ 2 小时 | 51 家门店(华中、华南为主) | 最大延迟 6.8 小时,超出取数窗口 | 已切换 15 min 轮询兜底通道,延迟降至 22 min | 已恢复 |
| DQ-006 | 准确性 | 阻断 | 库存不得为负值 | 24AW-3890 / 浙江杭州奥莱店 | 负库存 −2 件(盘亏未记账 + 销售先出) | 已生成差异单 ST20251020-006,等待记账 | 待记账 |
| DQ-002 | 规范性 | 阻断 | SKC 编号符合 年季+波段+流水号 规则 | 2 个 SKC | 历史遗留编码 23AW-009X 不符合规则 | 主数据侧已登记为豁免,白名单维护中 | 已豁免 |
| DQ-008 | 一致性 | 告警 | 在单在途量 ≤ 单据未收数量 | 5 行 | WMS 出库量大于 ERP 在单未收量 | 跨系统时点差,取 00:00 快照后一致 | 已恢复 |
共 6 条失败明细 · 阻断 3 / 告警 3 · 阻断项清零后决策批次自动放行每页
阻断 vs 告警:两级策略与上线卡点
上线卡点:所有阻断级规则必须 100% 通过,作为系统上线与每次批次放行的前置条件| 级别 | 触发条件 | 系统动作 | 放行方式 | 启用 |
|---|---|---|---|---|
| 阻断 | 主键/枚举/合计=明细/库存非负/快照时点 等基础正确性规则失败 | 决策批次直接挂起,批次状态置为"数据未就绪",不生成任何建议 | 必须修复后自动放行;紧急情况需数据治理委员会双人审批临时放行 | |
| 告警 | 主数据缺失、同步延迟、跨系统时点差 等影响面可控的规则失败 | 批次继续,但结果页顶部横幅提示,并在建议行标注"数据置信度下降" | 业务确认后可继续;连续 3 天未处理自动升级为阻断 | |
| 降级 | 非核心通道(BI 宽表、TMS 运价表)失败 | 切换兜底数据源就地重算,结果标注"使用降级数据源" | 自动放行,仅通知 |
质量趋势与影响面
六维加权质量分(近 30 天) 低于 92 分触发治理评审
规则配置(节选 · 新增规则)
规则表达式支持列级比较与聚合校验,聚合类需指定分组键规则治理与变更留痕
- 规则总数
- 12 条(阻断 6 / 告警 6)
- 本期新增
- DQ-013 在途到货日校验
- 本期调整
- DQ-005 判定基准改为"以合计列为准"
- 豁免白名单
- 2 个历史编码 SKC
- 变更审批
- 数据治理委员会(双人)
- 记录保留
- 36 个月,可回溯任意时点规则集
上线卡点策略(必须写进验收)
① 所有阻断级规则 100% 通过;② 告警级规则连续 7 天失败率为 0;③ 规则变更必须走双人审批并保留版本;④ 每次决策批次运行前重新校验,不允许"昨天通过今天跳过"。缺任何一条,系统都可能静默产出错误建议。