女装/数据与集成/数据源接入与同步监控
L0D1D2P0
设计稿 v2.0
‹ 成本与毛利驾驶舱库存多口径台账(ATP) ›☰ 总览功能地图
王
王运营
总部 · 商品运营

数据源接入与同步监控

L0 · 保证"算得对"的第一道门:把 POS / ERP / WMS / OMS / TMS / 主数据 / BI 七类数据源的通道、频率、延迟、成功率、取数窗口与失败兜底全部显性化。

接入数据源
11个
覆盖 POS/ERP/WMS/OMS/TMS/MDM/BI 七类
同步成功率(24h)
99.87%
目标 ≥ 99.5%
最大延迟
12min
在途明细(WMS 拉取)
近 24h 失败次数
24次
已重试成功 21 次
未解决阻断项
2项
门店 51 家 POS 延迟、在单差异 5 行
决策快照时点
00:00
决策日零点冻结,口径固定不可回改

数据源清单(11 个)

通道类型决定延迟下限:CDC/MQ 分钟级,文件/DB 直连为 T+1
数据源提供系统通道类型同步频率最近同步时间延迟成功率失败兜底等级日同步量状态
POS 销售流水POS 中台(自建)MQ准实时(5 min)2025-10-21 09:358 min99.96%12严重2,148,320待观察
库存台账(仓)ERP · 库存模块CDC准实时(1 min)2025-10-21 09:421 min99.99%0严重386,540正常
库存台账(店)ERP · 门店库存CDC准实时(1 min)2025-10-21 09:422 min99.98%3严重1,204,860待观察
在单明细ERP · 采购在单DB直连T+1(02:00)2025-10-21 02:040 min100.00%0阻断18,406正常
在途明细WMS · 出库在途API(拉取)准实时(15 min)2025-10-21 09:3012 min99.71%5阻断6,932待观察
商品主数据MDM · 款色码API(拉取)T+1(01:30)2025-10-21 01:320 min100.00%0阻断42,180正常
门店主数据MDM · 门店档案文件(SFTP)T+1(01:30)2025-10-21 01:310 min100.00%1阻断1,286待观察
门店库容/陈列OMS · 门店能力文件(SFTP)每周一(03:00)2025-10-20 03:020 min98.60%1告警1,286待观察
调拨/调出限制OMS · 异常保护API(拉取)T+1(02:30)2025-10-21 02:333 min99.92%0告警21,940正常
TMS 运费与时效TMS · 运价表API(拉取)每周一(04:00)2025-10-20 04:060 min99.30%1告警864待观察
BI 报表与历史销量BI · 数据仓库DB直连T+1(03:00)2025-10-21 03:088 min99.85%0降级9,640,000正常
共 11 个数据源 · 通道类型:API / MQ / 文件 / CDC / DB 直连
每页

取数窗口与决策日快照时点(D2 核心口径)

决策前取数窗口固定,窗口内到的数据才算本次决策的客观事实
数据域来源取数方式定版时点决策日快照取数范围延迟容忍超时处理
销售流水POS / BIT+1 日终批次 + 准实时增量次日 00:20 定版决策日 02:00近 14 天≥ 2h阻断
库存(仓 + 店)ERP 台账CDC 增量合并 + 每日全量对账决策日 00:00 快照决策日 02:00当前时点≥ 5 min阻断
在单ERP 采购T+1 全量决策日 00:00 快照决策日 02:00未收全部≥ 24h阻断
在途WMS 出库准实时拉取决策日 00:00 快照决策日 02:00在途未签收≥ 1h阻断
商品 / 门店主数据MDMT+1 全量决策日 00:00 快照决策日 02:00全量≥ 24h阻断
门店库容 / 陈列OMS每周一全量上周一 03:00—全量≥ 7d告警
TMS 运费 / 时效TMS每周一全量上周一 04:00—全量≥ 7d告警
!关键口径:决策日 00:00 冻结快照后,任何迟到数据都只影响下一批次,不回改本次快照。这样"同一决策日的建议"永远可复算,也是 data-ledger 快照可追溯的前提。

失败兜底与重试策略

兜底方案 = 主通道失败时的降级路径,必须业务与 IT 双方确认;不允许"静默跳过"
通道类型优先级最大重试重试间隔退避策略最终兜底方案允许跳过告警级别启用操作
实时通道(MQ / CDC)P13 次30s2 倍指数退避切换 15 min 轮询拉取不超过 2 次严重编辑删除
API 拉取P23 次5 min3 倍指数退避SQL 快照表 → 对象存储离线备份不超过 3 次严重编辑删除
文件(SFTP)P32 次30 min固定间隔跳过本轮,沿用上一版 + 页面提示"数据版本落后"不允许告警编辑删除
DB 直连P42 次10 min固定间隔只读从库重试;仍失败 → 取最近一次成功分区不允许严重编辑删除
BI 宽表P51 次2h固定间隔降级:以 ERP 台账 + POS 流水就地重算不允许降级编辑删除

一次同步的完整时间线(2025-10-21 02:00 决策取数窗口)

tl 组件复用为同步审计轨迹
02:00:03 · 批次启动
调度器触发 B20251021-D01,校验前一日 00:20 POS 定版分区是否存在 → 存在
02:00:08 · 库存快照校验
读取 SNAP-20251021-0000(1,204,860 行 / 386,540 行),与台账实时值差异 0 行
02:01:20 · 在单 / 在途拉取
ERP 在单 18,406 行、WMS 在途 6,932 行;WMS 首次请求 504,第 1 次重试成功(+35s)
02:03:41 · 主数据比对
商品 42,180 行、门店 1,286 行匹配;18 家门店面积字段为 NULL → 记 DQ-004 告警(非阻断)
02:05:10 · 六维质量校验
12 条规则执行:阻断项 0 失败、告警项 2 失败 → 放行并登记
02:06:02 · 取数完成
共 4 类数据域落地为决策输入宽表,总耗时 5 分 59 秒(SLA ≤ 15 min)
02:10:00 · 交接给决策批次
进入清洗 → 预测 → 目标库存 → 约束 → 出单流程

同步量与延迟趋势(近 30 天)

POSERP 库ERP 店在单在途主数据BI
同步耗时指数 归一化到 100 的相对耗时
POS 流水(214.8 万行/日)5m59s
库存台账(159.1 万行/日)4m12s
BI 宽表(964 万行/日)46m 全量

通道凭证与连接配置(节选)

凭证统一由配置中心托管,页面不展示明文

接入异常与处理建议

异常影响建议动作
门店库容 / 陈列容量缺失18 家门店无法启用陈列与库容约束(G-01/G-02 缺口)补录中 10-25
POS 流水延迟 > 6h华中、华南 51 家门店近 1 天销量不完整,影响预测已切兜底通道
在单与 WMS 出库量 5 行不一致在途口径本地对不平,跨系统时点差快照后一致
TMS 运价表每周才更新临时调价无法当日生效,成本估算偏差待评估日频
BI 宽表全量同步耗时 46 min若 03:00 批次延迟将挤压 03:30 报表批次增量改造

本页设计说明(缺口 G-04 / G-15 对应)

数据源页不是"连接列表",而是把通道类型 → 延迟下限 → 取数窗口 → 决策日快照 → 失败兜底串成一条可审计的链路。调研报告指出旧版原型只有约 40% 覆盖,本页补的就是这条链路的可见性:任何一个数据源出问题,都能立刻回答"影响哪个决策日、影响多少行、有没有兜底"。

i互链:库存口径见 库存多口径台账(ATP) 质量规则见 数据质量六维校验 回写与幂等见 幂等与外部回写日志