A/B 实验对比
门店分组对照、增量与置信区间、实验结论沉淀 —— 以及一个必须先说清楚的前提：补货很难做真 A/B，应以离线回测与仿真为主。
G8X7O12L5P2
先讲前提：补货为什么难做真 A/B
三个结构性障碍：① 不可逆——货一旦补到店里，无法"撤销"对照组，库存会在门店之间流动并相互污染；② 样本少——门店级实验单元通常只有几十个，而门店间销量方差很大，最小可检测效应（MDE）往往大于业务真实的提升幅度；③ 周期长——一个波段只有 12–16 周，跑完实验季末已过，无法在季中调整。因此本系统的定位是：以离线回测 ＋ 仿真为主（O12 / X7），A/B 只用于门店分组对照，且必须报告置信区间与 MDE。
在跑实验
3个
1 个已出结论
实验门店
48家
实验组 24 / 对照组 24
主指标增量
+6.8pp
调拨后售出率
95% 置信区间
[+1.4, +12.2]pp
下限 > 0，方向可信
最小可检测效应
±7.4pp
σ≈9pp · n=24 → MDE 偏大
结论已沉淀
2条
回写 O16 参数自动调优
STEP 1
提出假设
明确主指标与护栏指标
STEP 2
分组配对
同店级 + 面积 + 品类销量
STEP 3
离线回测
历史数据先验，成本最低
STEP 4
门店对照
同期实验组 vs 对照组
STEP 5
显著性判定
置信区间 + MDE
STEP 6
结论沉淀
回写参数与规则版本
实验设计表（在跑与已完成）
分组必须做配对，避免店级差异被误读为实验效果| 实验编号 | 假设 | 实验单元 / 分组方式 | 样本 | 主指标 | 护栏指标 | 周期 | 状态 |
|---|---|---|---|---|---|---|---|
| EXP-2025-01 | 齐码补货优先（主码约束硬校验）能提升齐码率而不伤售罄 | 门店 × SKC；同店级 + 面积 ±15% 配对 1:1 | 24 vs 24 | 齐码率（主） | 售罄率、断码率、库销比 | 2025-09-01 ~ 10-21 | 已出结论 |
| EXP-2025-02 | A 类店 TOP 款满足周数 1 周 → 1.5 周可提升售罄率 | 门店；A 类店内随机分配 | 12 vs 12 | 售罄率（主） | 库销比、周转天数、折扣率 | 2025-09-15 ~ 10-21 | 不显著 |
| EXP-2025-03 | 调拨触发阈值 30 天 → 21 天可提升调拨后售出率 | 门店；同区域配对（避免跨区污染） | 24 vs 24 | 调拨后售出率（主） | 调出店售罄率、物流成本、断码率 | 2025-10-01 ~ 10-21 | 运行中 |
| EXP-2025-04 | 放开跨区域调拨可提升整体售罄率 | 区域；华东 vs 华中（非随机，准实验） | 2 区域 | 售罄率（主） | 调拨成本占比、时效、客诉 | 2025-09-20 ~ 10-20 | 已停止 |
实验结果表（含增量与置信区间）
报告 CI 与 p 值，不报"提升了多少"就结束| 实验编号 | 指标 | 实验组 | 对照组 | 增量 | 95% 置信区间 | p 值 | 结论 |
|---|---|---|---|---|---|---|---|
| EXP-2025-01 | 齐码率（主指标） | 84.7% | 75.3% | +9.4pp | [+4.1, +14.7] | 0.001 | 显著，采纳并全量发布 |
| EXP-2025-01 | 售罄率（护栏） | 68.9% | 68.1% | +0.8pp | [−2.6, +4.2] | 0.64 | 无显著负面影响 |
| EXP-2025-02 | 售罄率（主指标） | 69.4% | 67.3% | +2.1pp | [−1.8, +6.0] | 0.29 | 不显著（CI 跨 0），延长观测 |
| EXP-2025-03 | 调拨后售出率（主指标） | 58.7% | 51.9% | +6.8pp | [+1.4, +12.2] | 0.014 | 显著为正，建议采纳 |
| EXP-2025-03 | 物流成本（护栏） | ¥4.9/件 | ¥4.1/件 | +¥0.8 | [+0.5, +1.1] | 0.002 | 成本上升但被售出率覆盖 |
| EXP-2025-04 | 售罄率（主指标） | 66.2% | 67.4% | −1.2pp | [−5.6, +3.2] | 0.58 | 无收益 + 成本上升，停止 |
| EXP-2025-04 | 调拨成本占比（护栏） | 8.4% | 7.0% | +1.4pp | [+0.6, +2.2] | 0.004 | 成本显著恶化 |
CI ＝ 增量 ± 1.96 × SE；SE ＝ √(s₁²/n₁ + s₂²/n₂)；实验组/对照组样本量均为 24 家门店（EXP-2025-04 为区域级准实验，仅作方向参考）每页
统计口径与样本量门槛
X7 算法治理 / O12 仿真沙盘承担主要验证职责- 增量
- Δ ＝ 实验组均值 − 对照组均值（本页为配对差分的均值）
- 标准误
- SE ＝ √(s₁²/n₁ ＋ s₂²/n₂)，s 为门店级指标标准差
- 95% 置信区间
- Δ ± 1.96 × SE；CI 不跨 0 视为显著（α ＝ 0.05）
- 最小可检测效应
- Δ_min ＝ 4σ ÷ √n；本页 σ ≈ 9pp、n ＝ 24 → Δ_min ≈ ±7.4pp
- 样本量反推
- n ≈ 16σ² ÷ Δ²（每组）；要把 MDE 从 7.4pp 降到 3.7pp，每组需约 96 家门店
- 不可逆性处理
- 分组一旦生效，实验期内不得把实验组商品调往对照组，否则视为污染并重算
最关键的样本量结论
在 24 家门店 / 组、门店级标准差约 9pp 的条件下，小于约 7pp 的增量在本样本量下无法与噪声区分。所以 EXP-2025-02 的 +2.1pp 不能判定为"无效"，只能判定为"没测出来"。这正是补货 A/B 的固有限制 —— 也是为什么要以离线回测与仿真为主。
估算 MDE 与所需样本量
优先选择配对设计，而不是简单随机| 每组门店数 | σ（pp） | MDE（±pp） | 能测出的最小提升 |
|---|---|---|---|
| 12 | 9 | ±10.4 | 大于 10pp 的改动 |
| 24（当前） | 9 | ±7.4 | 大于 7pp 的改动 |
| 48 | 9 | ±5.2 | 大于 5pp 的改动 |
| 96 | 9 | ±3.7 | 大于 4pp 的改动 |
| 192 | 9 | ±2.6 | 大于 3pp 的改动 |
实验结论沉淀（回写链路）
没有沉淀的实验等于没做EXP-2025-01 · 采纳
齐码补货优先写入规则版本 v3.3：主码 M/L 纳入连码硬约束；回写 M11 齐码规则配置
EXP-2025-03 · 观察中
调拨触发阈值 30 → 21 天，待 21 天窗口结束后判定；预计 11-05 出结论
EXP-2025-02 · 延长观测
样本不足，改用同店前后对照（配对设计）重跑，样本量提升至 48 家/组
EXP-2025-04 · 停止
结论：跨区域调拨放开无收益且成本显著恶化；写入 O16 参数自动调优的负样本库
回写动作
结论 → O16 参数自动调优 / sys-version 版本与发布记录 / rule-release 灰度发布
实验质量自检
建议纳入算法治理评审会| 检查项 | 要求 | 当前 | 状态 |
|---|---|---|---|
| 是否报告置信区间 | 必须 | 7 / 7 行 | 达标 |
| 是否报告 MDE | 必须 | 3 / 3 实验 | 达标 |
| 是否有护栏指标 | 至少 2 个 | 3–4 个 | 达标 |
| 实验前是否做离线回测 | 必须 | 3 / 4 实验 | 缺 1 项 |
| 是否存在污染（跨组调拨） | 必须为 0 | EXP-03 有 2 行 | 需复核 |
| 结论是否回写参数 | 必须 | 2 / 4 实验 | 进行中 |
主指标 用于判定实验成败护栏指标 用于防止"赢了指标输了生意"
护栏指标缺失是实验最常见的失控点
主验证手段的优先级（本系统定位）
本页 A/B 的定位：补充证据，不是主证据| 手段 | 适用场景 | 成本 | 可信度 | 优先级 |
|---|---|---|---|---|
| 离线回测 | 任何参数/规则变更，用历史 6–12 个月数据回放 | 低 | 中高 | P0 首选 |
| 仿真 / What-if（O12） | 多方案对比、极端场景压力测试、成本敏感度 | 低 | 中 | P0 |
| 同店前后对照 | 规则全量发布后的效果观测（无对照组） | 中 | 中（受趋势干扰） | P1 |
| 门店分组对照（本页） | 需要归因于系统改动的定量证据时 | 高 | 高（若有 CI） | P1 |
| 真随机 A/B | 不可逆 + 样本少 + 周期长，补货场景基本不适用 | 极高 | 理论最高 | P2 不推荐 |
实验流程与门槛（建议写入算法治理规范）
对应 X7 算法治理：热切换 / 灰度 / 回滚 / AB- Step 1 假设
- 一句话可证伪的假设 ＋ 主指标 ＋ ≥2 个护栏指标
- Step 2 离线回测
- 先用历史数据验证方向，方向不成立不进入门店实验
- Step 3 分组
- 配对优先（同店级 ＋ 面积 ±15% ＋ 品类销量相近），避免跨组调拨
- Step 4 观测
- 窗口与 rep-after 的售出率窗口一致（默认 21 天）
- Step 5 判定
- 报告 Δ、SE、95% CI、p 值、MDE；CI 跨 0 判为"未测出"而非"无效"
- Step 6 沉淀
- 结论回写 O16 参数自动调优 ＋ sys-version；失败实验同样入库（负样本）
- 门槛
- 每组样本 < 24 家门店不得作为采纳依据，只能作为方向参考
i设计说明：A/B 在补货场景的定位必须写在页面上，否则业务会拿一个 +2.1pp、CI 跨 0 的结果去要求全量发布。三条硬规则：① 必须报告置信区间与 MDE；② CI 跨 0 判为"未测出"而不是"无效"；③ 结论必须回写参数与规则版本，失败实验同样入库。主验证手段是离线回测与仿真（O12 / X7），A/B 只用于门店分组对照。