Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
大家好
这期视频我想跟大家澄清
两个看上去有点像
但是实际天差地别的概念
assumption和
hypothesis它的中文都差不多
我相不相信是假设
hypothesis是假说
但是它们一个非常大的区别就是
assumption是你直接认为
不管出于什么原因
你直接认为是这样子的
然后你接基于假设基于
assumption
你去想其他的事情
Hypothesis是一个
肯定可以被test的东西
很多时候作为数据科学家
我们工作的核心就是围绕
hypothesis进行的
大家想一下自己在学校里边受的训练
比如说你学统计
很多时候统计都是围绕
statistical
hypothesis
testing
去的是吧
你的 t test是什么
hypothesis
Null hypothesis
alternative
hypothesis对
吧
然后你的Ab testing
也都是为了test
hypothesis
如果你没有一个hypothesis
来test的话
你也比test点其实做起来
很多时候都是没有意义的
而且其实不光是用ab testing
来testhypothesis
你很多东西也都是hypothesis
然后需要我们用这个数据
科学的知识去test
如果你到现在都没有搞清楚
assumption和
hypothesis到底有什么
区别的话
你真的是有点危险了
那也是我做这个视频的原因
就是我把这两个事东西想跟
大家
比较明白的说清楚
我给大家举个简单的例子就是说
什么是assumption
什么是hypothesis
我的例子就是比如说我做了一个产品
这个产品上线肯定大受欢迎
这个东西
是 assumption
但是如果我说
这个产品我给10个人用
5个人都会去使用它
然后这5个使用它的人里边
4个都会一直使用它
这个就是一个hypothesis对吧
我可以去test
然后你可以说
我10个人到底是什么意思
其实我代表的是1个random
sampling
我应该用1个统计的方法
去把它描述得更好一点
让他有一个普遍性
你不能给10个你的亲朋好友
然后他们出于什么
面子都会去用它对吧
这个就可以有很多围绕testing
去做的设计
但是从一开始
你提这个问题是什么
assumption和hypothesis
都有巨大的区别
是不是
hypothesis有用
assumption就没有用了
其实不是。大家比如说小学都学过物理
不管你学的怎么样都学过物理
物理就是首先要有很多
assumption
最后才能推导出来真正有用的规律公式
比如说大家说真空中的球形鸡
是物理的一个假设
首先你不可能真空中有一个球形鸡对吧
但是我们有的时候是比如说为了算引力
为了说它是均匀的
为了说它是光滑的
光滑的表面绝对光滑的表面不存在
但是我们为了去把这些
不相干的不重要的
或者说我们暂时不看的东西放到一边
我们就去做一些假设
在假设的基础之上
我们去看那些重要的东西是什么
放到一个business的角度
我觉得就用上次 mock
interview的例子就好了
大家不知道还记不记得
就是上次 mock
interview
如果你没有看上期mock
interview的话
这个题大概是这个样子的
我们是个平台
平台上有商家有消费者
我们现在给商家开放了一个功能
这个功能可以让商家进行限时打折
在有限时间内进行打折的活动
一个问题就是说
我在ramp feature的时候就是
说我这个feature已经做好了
然后我开始去在商家这里看他是不是
真的被商家会受到欢迎
这个时候
一个数据科学家的工作就是我应该把
做成我的hypothesis
是不是受到欢迎
然后我应该怎么样子去设计我
的metrics是什么
怎么样子取样
然后最后怎么样子去
验证我 hypothesis
可是候选人上来以后就是说
我们来assume上家们喜欢feature
在我看来就是对于这道题本身
到底问什么的一个非常大的误解
但是我跟候选人讲了
你我问的是hypothesis
你直接做了一个assumption是不行的
候选人当时并没有反应过来
当我把这个视频传到网上以后
留言区也还有小伙伴来问
就是说在面试的时候
面试官真的会纠结assumption
和hypothesis的区别吗
是不是
你在吹毛求疵
这也就是为什么我要做这些事情的原因
就是我觉得这个东西很重要
真的很值得跟大家讲清楚
好 话说回来 我先
把这个产品分三个阶段
然后我这三个阶段分别用
assumption和hypothesis去说
一下我在这三个阶段的我的
assumption会是什么
我的
hypothesis会是什么
最后在这个就是两个当对比了以后
我再跟大家讲一下
我做assumption的目的是什么
我做hypothesis目的是什么
这样的话可能跟大家会讲清楚一点
三个阶段分别是哪三个阶段呢
第一阶段就是 feature
launch的阶段
第二个阶段是看它对商户消费者和
平台有没有一个短期的好的影响
第三个阶段是看他对
商户消费者和平台
有没有长期的好的影响
好
在第一个阶段的时候
就是那道题所在的阶段
如果是一个hypothesis是什么
我这个feature做出来了
我先要看一下商户是不是真的喜欢他
我相信是什么
就是assume商户会喜欢他
Hypothesis它会代表什么
就是如果商户喜欢他
可能我的repeat usage
就会非常高
就是商户用了一次以后会接着用
也可能他一周用一次
一个月用一次 一个季度用一次
或者说他在
打折期holiday用等等这些
我们都可以再详谈
但是起码他会经常使用它
如果商户不喜欢
绝大多数商户用一次就不用了
接着回来用的人也会慢慢不用的
就是这个产品如果我们没有
什么任何的自己的
如果我们不给他做点什么的话
这个产品自然而然就死掉了
在商户那没有人用
消费者也看不到他就自然而然死掉了
这是hypothesis
Assumption就是好
我们有些人商户会很喜欢他
所以说就有足够多的商户去真的使用它
在这种情况下
足够多的消费者就会看到他
大家看到了吗
当然你这时候你也可以
assume就没有人使用它
但是没有人使用它的话
但是不需要做的
我们不管是用hypothesis
test
他真的是被喜欢
还是我们有信用卡被喜欢
我们就可以进入到下一个问题
下一个问题是在有足够多的
商户使用它的前提之下
他是不是能给消费者
商户和平台带来足够多的短期价值
看到吗
如果说没有人用的话
当然第二个问题也没有必要了是吧
如果第二个问题
不成立的话
第三个问题也没有必要了
所以我们就真的是一步一步来的
第二个问题是
我们怎么看 如果三不诚是什么
它在短期对消费者商户和平台都有好处
我们甚至可以进一步选择
的到底好处是什么
我们hypothesis是什么
hypothesis
他可能有好处
可能没好处对吧
好处可能就是说
商户如果使用了他以后
他就会带来更多的购买
甚至说他在购买完了以后
很多消费者都会继续在这个商户订餐
因为比如说他通过打折被吸引过来了
然后发现口碑不错
他就不打折的时候也会来买
这个就是一个中短期到中长期的影响
因为他没有考虑到很多network_effect
我们可以接下来讨论
但是他考虑的 retention
一般是一个比较中长期的东西
消费者呢
消费者他打折了
然后他
来买东西更频繁了
这样的话对商户对平台都是一件好事
我们消费者的engagement
变高了
我们假设那好
现在我们
假设一个情况
一个情景就是
要么我们assume它是有好处的
要么我们test
hypothesis发现它
是有好处的
可能是通过一个ab testing
比如说我给一些商户这个feature
不给另外一些商户 feature
然后发现给商户的
在同时间
给 feature的商户
他们 engagement
revenue什么的增长都
比不给 feature的
要好
而且
他们的usage非常高
那叫
那就好
我们进入到第三个长期有没有好处
长期的海拔分析是什么
他也有很多情况
比如说我提一种情况
可能为什么短期好长期不好
你短期有各种各样的折扣
你可能一个商户打折
每两个周打一次折
但是你平台上很多商户就很多
每天都很多商户在打折
最后你就培养消费者
养成了一个习惯
就是他每天上来只找那些打折的产品
如果不打折的话他就不吃了
最后可能短期来看的话
每次打折都会带来一些
销量的增长
但是长期来看这是一个零和游戏
我们的总量没有增加
消费者的总量没有增加
或者说总量增加的不够多
然后我们又养成了一个消费者
只买打折品的习惯
最后就导致了我们平台上
商家的平均利润降低了
最后这个商家长此以往他赚不到钱
他就走了
去别的平台了
这是一个可能性是吧
这是诸多可能性之一
但是这也是一个可以test
的 hypothesis
我们就可以在围绕长期的东西
去design一些test
看一下它是不是长期真的有
不好的影响
好这一步我们其实在做这个
feature的话
一个负责任的数据科学家就应该把每一步
都去进行test
你在验证前一步的hypothesis
以后
你还要再进行去验证下一步整个你发现
大家又喜欢又有好的短期影响长期影响
这个feature才算是成功了
Hypothesis干什么用的呢
Hypothesis其实就是
我们比如说在brain
storm的时候就很有用
我们就可以brain storm说
假设我们这个东西做出来了
很多人喜欢
而且这个项目上有的时候我们也
也有不同的fidelity
就是不同的信心的
比如说我们做了user
research
然后我们可能去跟商家开大会
然后商家说请给我这个feature
我们就可能有一个很强的
预感 就是说这个东西做出来了
就有很多人使用那没问题
我们在
build这个feature之前
我们就可以去assume他做出来了
就被很多人喜欢
我们在这基础之上
我们还在进行去考虑他会不会
给商家带来短期的影响
也许我们通过一些historical
data
比如说我们一个商家每当
activity这些新用户以后
他的 retention都很好
可能这个东西很多retention
都可以被carry over到
打折activate的用户上
不一定成立
但是是一种可能性
我们就说在这个基础之上
我可能可以去考虑一下它到底会不会
在短期给商户带来成功
当然如果说能的话
我们也可以先直接assume
他短期能给商户带来成功
我们再去看看它长期到底
是不是一个好东西
说不定你我去我们前两步
然后你去看了第三步你会发现不管怎么样
第三步都没有办法给你的
平台长期带来正的影响
你就不需要做了对吧
所以说这个商品是在你去
抓住主要矛盾
抓住关键问题的时候非常有力的武器
就像大家学物理的时候
你只有assume掉了一些很多
trivial或者说次要的问题
你才有可能去做主要问题
或者说很多主要问题的情况下
你做好了assumption你最后才能发现
这个产品的成功或失败到底
是因为哪些关键的事情
关键的假设没有成立
当你在做的时候
你也可以围绕这些关键的假设
去把它变成一个
hypothesis去进行
test
以上就说了这么多
我不知道说的清楚没有
因为内容还是挺多的
而且说的也挺快
如果大家没有听听明白的话
欢迎在下面留言讨论
有什么觉得更好的方法
或者说一些不懂的其他的问题
欢迎跟我聊一下
我们下期再见