理清AB测试涉及到的业务问题 #
1. 目标 #
需要从三个层面去考虑实验的目的：公司层面、产品层面、功能层面（或者是当前优化点）
-
公司层面：我们需要知道公司的长期宗旨是什么，我们做出来的产品、新增的功能、优化的细节等都不应该偏离公司的宗旨，并且还需要与其保持一致性。
-
产品层面：我们需要详细全面地了解产品，如何全面了解一款产品，可以从下面几个出发点去考虑。
-
功能层面：针对当前想要优化的点，我们期望带来哪方面的提升？（点击率，日活量，转化率等等，附录中有一些常见的指标）
如何全面了解一款产品？
- Problem: 这款产品解决了什么问题？
- Users: 使用这款产品的用户群体有哪些？
- Onboarding: 产品的引导流程是什么样的？
- Journey: 用户从一个任务的开始到结束是怎么样的？
- Reward: 用户激励是什么？
- Retention: 如何做好留住用户的？
- Growth: 如何做到用户增长的？
2. 关键成员 #
- 业务主管（Business Leader）：制定总体业务目标
- 产品经理（Product Manager）：协调任务，制定新产品策略及思想
- 设计师（UI/UX Designer）：从视觉上完成新产品的想法
- 数据科学家（Data Scientist）：进行AB测试的人
- 工程师（Software Engineer）：新产品的实现；实验基础结构的实现
3. 产品指标 #
- Action: 点击、阅读、发帖、…
- Unit of Analysis：在什么 level 去衡量 action：用户级别、会话级别、月度级别、…
- Statistical Function：Total、Average、Count、…
4. 漏斗模型 #
4.1. AARRR 模型 #
在制定目标时，可以按照AARRR框架里的每个关键核心步骤进行拆解并制定KPI，以优化每个核心步骤为目标，提升漏斗间的每一步转化，从而达到整体增长的目的。
- 获取（Acquisition）：用户如何找到我们？例如通过搜索引擎、广告、社交媒体等渠道进入网站或应用程序的用户数量。
- 激活（Activation）：用户首次体验如何？用户首次体验产品或服务，并可能进行一些关键行为的用户数量。例如注册账户、完成设置、开始使用产品功能等。
- 留存（Retention）：用户还会回来吗？用户在一段时间内持续使用产品或服务的比例，通常以日、周或月为单位来衡量，是评估用户忠诚度和产品粘性的重要指标。
- 转化（Revenue）：如何赚到更多的钱？用户在产品或服务上的付费行为，例如购买付费订阅、购买虚拟商品或进行交易的用户数量，以及用户产生的收入。
- 推荐（Referral）：用户会推荐给其他人吗？表示用户向其他人推荐产品或服务的行为，例如通过社交分享、口碑传播、推荐链接等方式介绍新用户的数量。
4.2. RARRA 模型 #
随着互联网的发展并逐渐进入成熟阶段，AARRR模型已不再够用，因此出现了AARRR的变形 – RARRA模型
移动互联网市场趋于饱和，红利时代结束，获客也不如以往容易、便宜。互联网已经从一个增量时代来到存量时代，因此用户留存显得更加重要。
留存（Retention） -> 激活（Activation） -> 推荐（Referral） -> 转化（Revenue） -> 获取（Acquisition）
为了达到留存（Retention），需努力让用户体会产品/服务的核心价值（Activation）; 这样同时也能达到让用户自主分享（Referral），邀请身边好友一起使用该服务/产品; 最后就能顺其自然地获利（Revenue）并且获取到新的用户（Acquisition）
4.3. 其他分析框架 #
- Growth Loops
- Google Heart
- AIDA
5. 层级指标 #
5.1. 北极星指标 #
北极星指标（The North Star Metric NSM）是一个关键指标，用于衡量和驱动一个公司或产品的长期成功。这个指标能够集中反映公司的核心价值和愿景，并指引团队的工作方向，驱动公司的长期增长，就像北极星在航海中为航船导航一样。
这个指标也是公司高层及投资者最关心的指标。
每家公司都有个单一指标影响着公司内部所有部门及高层，每个部门的指标都应该与NSM朝着同一方向发展。（通过间接或直接的方式积极影响着NSM）
做AB测试时，无论选择什么驱动指标最终都需要与NSM相关（always keep NSM in mind）
特征：
- 核心价值体现：为用户提供价值。NSM 直接反映公司提供的主要客户价值
- 驱动增长：NSM 与公司增长密切相关，有助于利润
- 易于理解和传达：所有团队成员都能理解其重要性
- 长期导向：帮助公司保持战略一致性，这是一个长期的指标
例子：
- Facebook：日活跃用户
- Airbnb：预订晚数
- Spotify：每月活跃听众数量
5.2. 驱动指标 #
驱动指标（Driver Metric）是我们做AB测试时最关心的指标。产品级别或者功能级别的指标相当于一个“短期的 NSM”。
它是推动 NSM 增长的次级指标。它们揭示了具体的活动或行为，这些活动或行为对 NSM 有直接影响。
特征：
- 直接相关性：与NSM有直接的因果关系
- 可操作性：通过这些指标，可以直接影响 NSM 的增长。
例子：
- Facebook：用户邀请好友数、用户发帖数
- Airbnb：新增房源数、房源评价数
- Spotify：用户创建播放列表数、每日听歌时长
5.3. 护栏指标 #
护栏指标（Guardrail Metrics）是用来监控、权衡和限制业务操作的指标，确保在追求增长的同时不会产生负面影响或不良后果。
特征：
- 风险管理：帮助识别和管理增长过程中的潜在风险
- 平衡性：确保公司在追求NSM增长时，其他重要方面（如用户体验、安全性等）也能得到维护。
例子：
- Facebook：用户报告的内容违规次数
- Airbnb：用户投诉数量
- Spotify：用户流失率
5.4. 次要指标 #
次要指标（Secondary Metrics）是补充 NSM 和驱动指标的指标，提供更全面的业务表现视角。这些指标可能不直接驱动 NSM，但它们为理解整体业务表现提供了有价值的信息。
从横向上对NSM和驱动指标进行补充，可以帮助我们提供更多的见解。
特征：
- 补充性：提供额外的业务洞见
- 全面性：帮助全面评估业务状况
例子：
- Facebook：用户互动率、广告点击率
- Airbnb：房东响应时间、平均入住率
- Spotify：新用户注册数、歌曲跳过率
5.5. 细分市场 #
细分市场（Segmentation）是将客户或用户群体根据特定特征或行为进行分类的过程。这种分类帮助公司更好地理解不同群体的需求和行为，从而优化产品和市场策略。
对实验数据进行分组，总体可能没有显著性，但是针对一些特殊的组可能会有明显地提升（参考 辛普森悖论）
特征：
- 个性化：针对不同用户群体制定更有针对性的策略。
- 洞察力：深入了解不同细分市场的需求和行为。
示例：
- 人口统计细分：根据年龄、性别、地区等分类。
- 行为细分：根据使用频率、购买历史、用户行为模式等分类。
- 心理特征细分：根据兴趣、价值观、生活方式等分类。
5.6. 层级指标例子 #
Netflix
- Netflix NSM：每年订阅数
- AB测试：测试一个新推荐系统是否会提升参与度
- 驱动指标：平均每个用户每天消耗的时间
- 护栏指标：每日收益、每日注册量、每日退订量
- 次要指标：平均每个用户观看时长、平均每个用户搜索次数、平均每个用户浏览页面时长
- 细分市场：location（每个洲、每个国家）、设备（ios、安卓）、浏览器（Chrome、Firefox）
Amazon
- Amazon NSM：每年总销售额
- AB测试：测试一个新推荐系统是否会提升销售额
- 驱动指标：平均每天的销售额
- 护栏指标：每日订单量、每日注册量、每日退款量
- 次要指标：平均每个用户搜索次数、平均每个用户的购物车里商品的数量、平均每个用户浏览页面时长
- 细分市场：location（每个洲、每个国家）、设备（ios、安卓）、浏览器（Chrome、Firefox）
附录：常见指标 #
- ROI（Return on Investment）：投资回报率
- 对于 ROI 的计算，成本方面，每个实验组成本可以直接计算；
- 一般的ROI计算公式是 $$ 投资回报率（ROI）= \frac{年利润或年均利润}{投资总额} × 100\% $$
- 如何确定收益指标？
- 在互联网行业，比较关心日活跃用户，以一段时间内日活跃用户总和为基础去计算收益；
- 一般来讲收益等于总收入减去成本，总收入就是总活跃数，这里的成本是指没有实验的话会有多少总活跃数，两者相减可以得到通过实验带来的额外日活跃数，也就是收益。
- 所以当假设没有实验时，实验组的活跃数与实验组的流量比例应该等于对照组的活跃数占对照组的流量比例。 $$ \frac{实验组假设不做活动总活跃数}{实验组流量} = \frac{对照组总活跃数}{对照组流量} $$
- 由此可得： $$ 实验组假设不做活动总活跃数 = 对照组总活跃数 \times \frac{实验组流量}{对照组流量} $$ $$ 实验组收益 = 实验组总活跃数 - 实验组假设不做活动总活跃数 $$
- 这样就可以量化出每个方案的 ROI： $$ 投资回报率（ROI）= \frac{实验组收益}{投资总额} × 100\% $$
- DAU（Daily Active Users）：每日活跃用户
- WAU（Weekly Active Users）：周活跃用户
- MAU（Monthly Active Users）：月活跃用户
- DNU（Day New User）：日新增用户
- UV（Unique Visitor）：独立访客
- PV（Page Views）：页面浏览量
- VV（Visit View）：访问次数
- 对视频产品的数据分析中，VV(Video View)是播放类指标
- CRT（Click-Through Rate）：点击率
- CVR（Conversion Rate）：转化率
- CAC（Customer Acquisition Cost）：获客成本
- TGI（Target Group Index）：目标群体指数
- PCR（Purchase Conversion Rate）：下单转化率
- 留存率（Retention Rate）
- 次留率（Second Retention Rate）
- 人均观看时长（Average Watch Time per User）
- 基础互动率（Basic Interaction Rate）
- 注册率（Registration Rate）
- 激活率（Activation Rate）
- LTV（Customer Lifetime Value）：客户生命周期价值
- LTV = 平均用户生命周期 x 平均每用户收入 x 毛利率