麻豆传媒在2023年第三季度对其移动应用首页的推荐算法进行了一次关键的A/B测试,旨在解决新用户注册后首日内容点击率偏低的问题。测试结果显示,采用基于用户初始兴趣标签进行个性化推荐的B版本,相比原有热门内容统一分发的A版本,新用户首日平均内容点击率提升了42.7%,用户次日留存率提高了18.3个百分点。这一数据驱动的决策,直接推动了其核心用户增长指标的健康度。 这次测试的背景源于运营团队对用户行为数据的深度洞察。数据分析师发现,虽然平台拥有庞大的内容库,但新用户在首次打开应用时,面对的是千篇一律的“热门排行榜”。对于口味各异的用户而言,这种“一刀切”的推荐方式匹配效率低下,导致大量用户在注册后短时间内便流失。为此,产品团队将A/B测试作为验证解决方案的关键工具。 测试设计与核心假设 本次测试的核心假设是:为新用户提供基于其注册时选择的兴趣标签(如“剧情向”、“视觉系”、“特定题材”等)的个性化内容推荐,会比单纯展示全局热门内容,更能激发其探索欲望,从而提高初始互动率和留存率。 测试将新注册用户随机分为两组: 对照组(A组):看到的是应用原首页,即基于全站用户实时点击数据生成的“热门内容”瀑布流。 实验组(B组):看到的是新版首页,首屏核心位置是“根据您的兴趣为您推荐”,内容源自在对应兴趣标签下热度与新颖度加权后的作品集合。 测试周期严格设定为4周,以确保能覆盖不同时间周期(如工作日与周末)的用户行为差异。关键评估指标(OMTM – One Metric That Matters)明确为新用户首日内容点击率,辅助指标包括次日留存率、平均观看时长以及首次付费转化率。为确保数据纯净,团队通过技术手段排除了机器人账号和异常点击行为。 测试组别 用户样本量 首页呈现逻辑 主要观测指标 对照组 (A组) 15,240人 全局热门内容统一分发 首日点击率、留存率 实验组 (B组) 15,510人 基于初始兴趣标签的个性化推荐 首日点击率、留存率 高密度数据结果与分析 四周的测试期结束后,数据团队对收集到的超过30万条用户行为日志进行了清洗和分析,结果呈现出显著的差异性。 1. 核心指标对比: 新用户首日内容点击率:A组(对照组)的平均点击率为31.5%。B组(实验组)的平均点击率跃升至44.9%,绝对提升达13.4个百分点,相对提升幅度为42.7%。这一飞跃表明个性化推荐极大地提升了内容与用户初次见面的匹配精度。 新用户次日留存率:A组的次日留存率为41.2%。B组的次日留存率达到了59.5%,提升了18.3个百分点。这意味着,体验了个性化推荐的用户,在第二天返回应用的可能性大幅增加,用户粘性显著增强。 2. 用户深度参与度数据: 除了浅层的点击,团队还关注了更深层次的参与度。B组用户的平均单次会话时长比A组用户长了1分47秒,并且观看完整视频(完播率)的比例高出约25%。这表明,当用户看到自己真正感兴趣的内容时,他们的投入度和满意度都会更高。 3. 商业价值初步显现: 虽然本次测试的主要目标并非直接提升付费,但B组用户中完成首次付费操作的比例也比A组有轻微但正向的提升(约0.8个百分点),为未来的营收增长提供了积极的信号。 性能指标 对照组 (A组) 实验组 (B组) 提升效果 新用户首日内容点击率 31.5% 44.9% +42.7% 新用户次日留存率 41.2% 59.5% +18.3个百分点 平均会话时长 8分13秒 …
麻豆传媒A/B测试应用案例 Read More »