数据源接入与同步监控
L0 · 保证"算得对"的第一道门:把 POS / ERP / WMS / OMS / TMS / 主数据 / BI 七类数据源的通道、频率、延迟、成功率、取数窗口与失败兜底全部显性化。
接入数据源
11个
覆盖 POS/ERP/WMS/OMS/TMS/MDM/BI 七类
同步成功率(24h)
99.87%
目标 ≥ 99.5%
最大延迟
12min
在途明细(WMS 拉取)
近 24h 失败次数
24次
已重试成功 21 次
未解决阻断项
2项
门店 51 家 POS 延迟、在单差异 5 行
决策快照时点
00:00
决策日零点冻结,口径固定不可回改
数据源清单(11 个)
通道类型决定延迟下限:CDC/MQ 分钟级,文件/DB 直连为 T+1| 数据源 | 提供系统 | 通道类型 | 同步频率 | 最近同步时间 | 延迟 | 成功率 | 失败 | 兜底等级 | 日同步量 | 状态 |
|---|---|---|---|---|---|---|---|---|---|---|
| POS 销售流水 | POS 中台(自建) | MQ | 准实时(5 min) | 2025-10-21 09:35 | 8 min | 99.96% | 12 | 严重 | 2,148,320 | 待观察 |
| 库存台账(仓) | ERP · 库存模块 | CDC | 准实时(1 min) | 2025-10-21 09:42 | 1 min | 99.99% | 0 | 严重 | 386,540 | 正常 |
| 库存台账(店) | ERP · 门店库存 | CDC | 准实时(1 min) | 2025-10-21 09:42 | 2 min | 99.98% | 3 | 严重 | 1,204,860 | 待观察 |
| 在单明细 | ERP · 采购在单 | DB直连 | T+1(02:00) | 2025-10-21 02:04 | 0 min | 100.00% | 0 | 阻断 | 18,406 | 正常 |
| 在途明细 | WMS · 出库在途 | API(拉取) | 准实时(15 min) | 2025-10-21 09:30 | 12 min | 99.71% | 5 | 阻断 | 6,932 | 待观察 |
| 商品主数据 | MDM · 款色码 | API(拉取) | T+1(01:30) | 2025-10-21 01:32 | 0 min | 100.00% | 0 | 阻断 | 42,180 | 正常 |
| 门店主数据 | MDM · 门店档案 | 文件(SFTP) | T+1(01:30) | 2025-10-21 01:31 | 0 min | 100.00% | 1 | 阻断 | 1,286 | 待观察 |
| 门店库容/陈列 | OMS · 门店能力 | 文件(SFTP) | 每周一(03:00) | 2025-10-20 03:02 | 0 min | 98.60% | 1 | 告警 | 1,286 | 待观察 |
| 调拨/调出限制 | OMS · 异常保护 | API(拉取) | T+1(02:30) | 2025-10-21 02:33 | 3 min | 99.92% | 0 | 告警 | 21,940 | 正常 |
| TMS 运费与时效 | TMS · 运价表 | API(拉取) | 每周一(04:00) | 2025-10-20 04:06 | 0 min | 99.30% | 1 | 告警 | 864 | 待观察 |
| BI 报表与历史销量 | BI · 数据仓库 | DB直连 | T+1(03:00) | 2025-10-21 03:08 | 8 min | 99.85% | 0 | 降级 | 9,640,000 | 正常 |
共 11 个数据源 · 通道类型:API / MQ / 文件 / CDC / DB 直连每页
取数窗口与决策日快照时点(D2 核心口径)
决策前取数窗口固定,窗口内到的数据才算本次决策的客观事实| 数据域 | 来源 | 取数方式 | 定版时点 | 决策日快照 | 取数范围 | 延迟容忍 | 超时处理 |
|---|---|---|---|---|---|---|---|
| 销售流水 | POS / BI | T+1 日终批次 + 准实时增量 | 次日 00:20 定版 | 决策日 02:00 | 近 14 天 | ≥ 2h | 阻断 |
| 库存(仓 + 店) | ERP 台账 | CDC 增量合并 + 每日全量对账 | 决策日 00:00 快照 | 决策日 02:00 | 当前时点 | ≥ 5 min | 阻断 |
| 在单 | ERP 采购 | T+1 全量 | 决策日 00:00 快照 | 决策日 02:00 | 未收全部 | ≥ 24h | 阻断 |
| 在途 | WMS 出库 | 准实时拉取 | 决策日 00:00 快照 | 决策日 02:00 | 在途未签收 | ≥ 1h | 阻断 |
| 商品 / 门店主数据 | MDM | T+1 全量 | 决策日 00:00 快照 | 决策日 02:00 | 全量 | ≥ 24h | 阻断 |
| 门店库容 / 陈列 | OMS | 每周一全量 | 上周一 03:00 | — | 全量 | ≥ 7d | 告警 |
| TMS 运费 / 时效 | TMS | 每周一全量 | 上周一 04:00 | — | 全量 | ≥ 7d | 告警 |
!关键口径:决策日 00:00 冻结快照后,任何迟到数据都只影响下一批次,不回改本次快照。这样"同一决策日的建议"永远可复算,也是 data-ledger 快照可追溯的前提。
失败兜底与重试策略
兜底方案 = 主通道失败时的降级路径,必须业务与 IT 双方确认;不允许"静默跳过"| 通道类型 | 优先级 | 最大重试 | 重试间隔 | 退避策略 | 最终兜底方案 | 允许跳过 | 告警级别 | 启用 | 操作 |
|---|---|---|---|---|---|---|---|---|---|
| 实时通道(MQ / CDC) | P1 | 3 次 | 30s | 2 倍指数退避 | 切换 15 min 轮询拉取 | 不超过 2 次 | 严重 | 编辑删除 | |
| API 拉取 | P2 | 3 次 | 5 min | 3 倍指数退避 | SQL 快照表 → 对象存储离线备份 | 不超过 3 次 | 严重 | 编辑删除 | |
| 文件(SFTP) | P3 | 2 次 | 30 min | 固定间隔 | 跳过本轮,沿用上一版 + 页面提示"数据版本落后" | 不允许 | 告警 | 编辑删除 | |
| DB 直连 | P4 | 2 次 | 10 min | 固定间隔 | 只读从库重试;仍失败 → 取最近一次成功分区 | 不允许 | 严重 | 编辑删除 | |
| BI 宽表 | P5 | 1 次 | 2h | 固定间隔 | 降级:以 ERP 台账 + POS 流水就地重算 | 不允许 | 降级 | 编辑删除 |
一次同步的完整时间线(2025-10-21 02:00 决策取数窗口)
tl 组件复用为同步审计轨迹02:00:03 · 批次启动
调度器触发 B20251021-D01,校验前一日 00:20 POS 定版分区是否存在 → 存在
02:00:08 · 库存快照校验
读取 SNAP-20251021-0000(1,204,860 行 / 386,540 行),与台账实时值差异 0 行
02:01:20 · 在单 / 在途拉取
ERP 在单 18,406 行、WMS 在途 6,932 行;WMS 首次请求 504,第 1 次重试成功(+35s)
02:03:41 · 主数据比对
商品 42,180 行、门店 1,286 行匹配;18 家门店面积字段为 NULL → 记 DQ-004 告警(非阻断)
02:05:10 · 六维质量校验
12 条规则执行:阻断项 0 失败、告警项 2 失败 → 放行并登记
02:06:02 · 取数完成
共 4 类数据域落地为决策输入宽表,总耗时 5 分 59 秒(SLA ≤ 15 min)
02:10:00 · 交接给决策批次
进入清洗 → 预测 → 目标库存 → 约束 → 出单流程
同步量与延迟趋势(近 30 天)
同步耗时指数 归一化到 100 的相对耗时
通道凭证与连接配置(节选)
凭证统一由配置中心托管,页面不展示明文接入异常与处理建议
| 异常 | 影响 | 建议动作 |
|---|---|---|
| 门店库容 / 陈列容量缺失 | 18 家门店无法启用陈列与库容约束(G-01/G-02 缺口) | 补录中 10-25 |
| POS 流水延迟 > 6h | 华中、华南 51 家门店近 1 天销量不完整,影响预测 | 已切兜底通道 |
| 在单与 WMS 出库量 5 行不一致 | 在途口径本地对不平,跨系统时点差 | 快照后一致 |
| TMS 运价表每周才更新 | 临时调价无法当日生效,成本估算偏差 | 待评估日频 |
| BI 宽表全量同步耗时 46 min | 若 03:00 批次延迟将挤压 03:30 报表批次 | 增量改造 |
本页设计说明(缺口 G-04 / G-15 对应)
数据源页不是"连接列表",而是把通道类型 → 延迟下限 → 取数窗口 → 决策日快照 → 失败兜底串成一条可审计的链路。调研报告指出旧版原型只有约 40% 覆盖,本页补的就是这条链路的可见性:任何一个数据源出问题,都能立刻回答"影响哪个决策日、影响多少行、有没有兜底"。
i互链:库存口径见 库存多口径台账(ATP) 质量规则见 数据质量六维校验 回写与幂等见 幂等与外部回写日志