{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"课代表立正","title":"E408. AB实验，有哪些重要却不为人知的知识？｜课代表数据大师课5","html":"","width":"100%","height":180,"duration":1739,"description":"你确定自己真的理解A/B实验吗？\n\n如果我告诉你，我们从教科书里学到的很多关于假设检验的知识，在工业界大规模应用时是错的，你会怎么想？如果我告诉你，A/B实验的真正价值根本不是为了“验证”你的好想法，而是恰恰相反呢？\n\n在这期视频里，我将结合在亚马逊、Meta、腾讯的经验，以及现在作为Statsig (服务OpenAI, Notion, Figma等公司的实验平台) Evangelist的身份，为你系统性地梳理A/B实验的顶级认知。我们将彻底颠覆一些传统观念，并深入探讨那些顶尖公司能够保持高速迭代和指数级增长的秘密。\n\n你将从这个视频中学到：\n核心心法 (The Why): 为什么说实验的价值源于“惊喜” (Surprises)？为什么80%被寄予厚望的想法最后都被验证是无效甚至有害的？\n架构设计 (The How): Meta等公司是如何通过将“功能开关” (Feature Gate) 和实验系统结合，实现100%功能上线皆可实验，把实验从“项目”变成“免费的默认项”的？\n文化基石 (The Culture): 一套成熟的实验体系如何赋予工程师真正的自主权 (Agency)，用数据决策代替无休止的争论，并建立起“智识上的诚实” (Intellectual Honesty) 的文化。\n统计基石 (The What): 深入浅出地讲解CUPED方差缩减技术、贝叶斯与频率学派的真正区别，以及为什么你需要用序贯检验 (Sequential Testing) 来系统性地“惩罚”数据偷看 (Peeking) 行为，降低错误上线率。\n\n这不只是一期关于A/B实验的技术教程，更是一次关于产品开发、团队文化和数据驱动决策的深度思想交流。准备好升级你对A/B实验的认知了吗？\n\n00:00:00 - 为什么我能把A/B实验讲到顶级认知？\n00:00:54 - 第一部分：为什么要做实验？\n00:02:07 - 核心理念：实验的价值源于“惊喜”\n00:04:21 - 实现100%实验覆盖率的关键技术洞察\n00:06:24 - A/B实验如何塑造工程师文化与自主权 (Agency)\n00:09:24 - 第二部分：如何设计可规模化的实验体系？\n00:11:08 - 规模化实验的基石：可信赖的数据与指标体系\n00:13:22 - 一个危险的思维误区：数据科学家如何好心办坏事？\n00:15:03 - 第三部分：最关键的统计学知识\n00:18:14 - 颠覆认知：为什么教科书里的假设检验是错的？\n00:19:02 - 高级技术 1: 用CUPED将实验速度提升5倍\n00:20:22 - 高级技术 2: 贝叶斯 vs 频率学派，你该关心什么？\n00:23:36 - 高级技术 3: 用序贯检验系统性对抗“数据偷看”\n00:28:33 - 总结与其他更前沿的实验方法简介\n\n视频录制于2025年八月份。\n\n课程主页：ai-builders.com","thumbnail_url":"https://img.transistorcdn.com/6qJNndCuNNsETn3J2B9p3Z9vVJEgAowQiCfGrI1qgng/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9jYzZl/YWYzMjA5NzJiMDY4/MjIxOGE0ZjYwMzY0/ODQ1ZC5qcGc.webp","thumbnail_width":300,"thumbnail_height":300}