实验结果分析 · 数据分析师
用 AI 智能体做这件事
A/B 实验最容易在样本不均和口径不一致上翻车。实验分流规则、样本量与指标口径因数仓（Hive / ClickHouse / 自建）而异，先声明；涉及用户标识的分组数据先脱敏或只取聚合。显著性结论需人工判断。
你需要准备
- 你的数据平台 / 数仓（Hive / ClickHouse / 自建）与实验分组表来源
- 实验目的与分流规则（按用户 / 设备、分流比例）
- 两组（对照 / 实验）的样本量与核心指标数据（缺先标【待补】）
- 核心指标的定义口径（分子分母、去重规则）与显著性判定标准（如置信度）
- 实验时长、是否中途改动过分流（用于判断样本污染）
怎么做
- 先声明数据平台 / 数仓、分流规则与指标口径
- 涉及用户标识的分组数据先脱敏或只取聚合字段（按分组聚合后再贴）
- 贴两组样本量与指标数据，粘贴提示词，核对分流与显著性
- 人工复核样本量与显著性结论，确认后再定结论
一句话提示词
这是我们 A/B 实验的两组数据（实验目的、分流规则和样本量我先声明，数据来自【Hive / ClickHouse / 自建】数仓），帮我判断结果是否可信：先核对两组样本量和分流是否均匀，再计算核心指标的差异和显著性，指出有没有被辛普森悖论或样本污染影响，最后给一个明确的实验结论；数据缺失处标【待补】、口径不明处标【需确认】，不要编造数据。
它会交付什么
- 两组样本量与分流是否均匀的核对（计数需人工复核）
- 核心指标差异与显著性计算结果（计算需人工复核，属 AI 推测，需人工判断）
- 是否受辛普森悖论 / 样本污染影响的判断（属 AI 推测，需人工判断）
效果示例
输入两组各约 300 人的分流与付费率数据 → 得出差异不显著、建议延长观察；「是否中途改过分流」未给，标【待补】。（显著性与结论属 AI 推测，需人工判断）
常见问题
会不会编出显著性？
不会。样本量与指标值以你给的为准，缺的标【待补】、口径不明标【需确认】；显著性是计算与推测、需人工判断。
一次能分析几个实验？
一次 1 个实验、1 个核心指标最稳；多实验请分批，避免分组串味。
分流数据含用户标识安全吗？
涉及用户标识先脱敏或按分组聚合后再贴，别贴原始明细，这是前置步骤。
结论能直接用吗？
样本核对与显著性是计算加推测，需人工复核与人工判断后再定。