Trustworthy Online Controlled Experiments

Ron Kohavi, Diane Tang, Ya Xu

出版时间

2020-05-01

ISBN

9781108724265

评分

★★★★★
书籍介绍
这本书最独特的地方,在于它把A/B测试从一种'跑数据'的工具,提升为一门需要严谨设计的实践科学。三位作者来自Google、LinkedIn、Microsoft,每年各运营两万余次实验,书中大量来自真实平台的经验、陷阱与建议,不是纸上谈兵。读者反复提及的反转实验、PSM、长短期结果不一致、CUPED等话题,正是它区别于网络零散教程的价值所在。当然也有批评认为它偏入门、完整案例偏少、平台建设部分过于简略。但瑕不掩瑜,对认真做数据驱动决策的从业者而言,这仍是一本值得反复翻阅、并据此向外探索论文的奠基之作。
精彩摘录
  • "1. The randomization unit is a user. 2. We will target all users and analyze those who visit the checkout page. 3. To have 80% power to detect at least a 1% change in revenue-per-user, we will conduct a power analysis to determine size. Designing the Experiment 334. This translates into running the "
用户评论
8/10.
比较可惜,guideline偏多,完整例子较少(或许可直接看引用的论文?)。第2, 7 章还算不错,Part IV 平台建设有些太简单了,给内部平台的截图可能更好(因此甚至不如netflix等的blog);Part V 讲一些高级的统计分析方法,以后可以读. 简单来说,适合data scientist在做试验的时候翻阅,不适合没有经验的人入门、深入学习
A/B testing 从入门到精通
实验评估部分尤其好
是三位作者完整的业界实践,涵盖工程产品等方方面面,不偏统计理论。本书像字典一样,从业者在ab测试过程中遇到的很多问题都可以从书里面获得解答与启发。随着读者自身对实验的深入理解,阅读此书会有常读常新的感觉
不是入门书,但可快速了解实战case。
读完还是挺失望的,可能是已经从业了比较久的原因。整体来说,更像是一本入门的书籍,在工具和方法的介绍上比较全面,比如反转实验、PSM等等,但是比较缺乏深入的东西,实验设计和解释分析其实比较重要,实验设计一旦失败,影响是巨大的。
三百页实操干货,是企业级运用里的葵花宝典了。
结构比较全面,但要深不深,要浅不浅。想要深入学习还得看参考文献,例子也不够多。当个概览目录还行
下载
收藏