Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
Hello大家好
最近身边很多小伙伴开始跳槽了
然后很高兴大家也积累了足够多的工作经历
开始可以面Senior的职位了
可是我发现很多小伙伴在准备面试的过程中
他们会优先去准备那些确定性很高
比如说统计知识、Machine Learning、SQL、Python这些东西
但是对开放式问题准备不够
可是当你在面Senior职位的时候
恰恰是开放式问题是面试成败的关键
我觉得这里边很大的原因是大家知道怎么去准备那些硬知识
比如说你去看课本是吧
你学会了就是学会了你也知道自己学会了
所以说准备起来就非常爽
可是这种开放式问题
其实很多时候大家不知道自己在准备什么
也不知道怎么去提高
于是没有在上面放足够多的时间
因为看不到回报
我在这个频道里边我也给大家尽可能的出了一些视频
比如说那个Product Sense Mark Interview
比如说我对开放式问题的看法和我给大家提供了一个Messi的框架
包括那个Mark Interview的一个Follow-up视频
就是Hypothesis和Assumption的区别
希望在这方面多多帮助大家
那我这些视频呢我就试图给大家总结一下
我觉得这些就是Product Sense、Applied Data
它到底在考察大家什么样的能力
其实答案很简单
一个非常重要的核心就是用科学的方法去分析问题的能力
我马上就会跟大家解释一下这个能力到底是什么
然后把它拆解成三部
在这之前我先讲一下我自己的面试经历吧
我在亚马逊工作两年去面Facebook
然后面了一个Senior的职位
就是大家可能知道虽然我是PhD毕业
但是两年的工作经验很多时候给的是一个junior职位
之所以给这个senior职位呢
完全是因为面试面得好
这我也是知道肯定是因为面试面的好的
因为我一开始他们先给了我一个junior的loop
然后面完了以后他们给我加面了一个senior的loop
最后才把我给录进来了
而且我一入职呢
我当时的那个recruiter就找到我
说他说YZ你是整个Facebook上个half面试成绩最好的候选人之一
所以想请你来写一些interview的
interview经验的文章
然后我们分享给potential候选人
虽然因为有一些policy的原因
最后我们就决定还是没有写没有发这个东西
这个经历我跟大家讲出来不是为了防耳塞自己
是想跟大家说一下就是
我对面试的这个经历或者看法吧
可能还是有一些接近意义的
因为起码自己面的就还不错
那好话不多说我们就进入正题吧
刚刚说了是用这个科学方法分析解决问题的能力
好像是这样说的吧
但是反正就是用科学的方法
这个是关键词分析解决问题的能力
那这个是什么意思呢
我其实是被这本书启发的
就是这个禅与摩托车维修艺术
他这本书其实是一本非常好的哲学书
然后也是一本非常好的科学书
他这本书里面就总结了科学方法是什么
而且他用维修摩托车这件事情来举例
举例说明你是怎么样子用科学方法去找到摩托车的问题
和解决这个摩托车的问题的
你可能有的时候就平行随随便便修一下
但是就像这个程序员有bug一样
如果还记得我Gross Mindset那个学长的例子
他就是说他最佩服的人修bug的方式
很多程序员遇到bug
他可能就是网上找个方法
然后一二三试一下
然后发现有一个work就行了
很多人修摩托车也是这样修的
但是用一个scientific的方法去做这件事情
你就会坐下来
然后去把整个摩托车的脉络在你面前展开
具体这个scientific method的事情
我在下一期视频再展开讲
因为这里我觉得它其实是一个很深的问题
它涉及到了data scientist日常工作的本质
甚至说就是一个高端的analytics
他到底为什么可以叫自己是scientist
然后为什么高端的analytics就这么紧缺
为什么这么供不应求
那我下期视频再讲这些我们还是回到面试
就是我们要用一个科学的方法去分析和解决这个问题
如果我们不用一个科学的方法去分析和解决一个问题
那很多时候就是公说公有理
婆说婆有理
然后我们也不知道我们的分歧在哪里
我们的结论可能不一样
然后这是根据我们自己的经验
我们自己的想法
或者说我们一些推理有的时候
有的人是推理是对的
有的人是错的
有的人事实是对的
有的人事实是错的
有的人可能带进来自己的不同的偏见
那到最后谁的结论更正确就完全无从而知
如果我们用这样一个scientific的方式
去对这个问题进行剖析的话
那如果我们把这个整个思考过程展现在别人面前
我们最后一定会知道
如果我们结论不一样
到底是哪里不一样
就比如说我们事实不一样
还是我们对问题的定义不一样
还是我们的一些关键假设不一样
其实我自己在我的所有视频里边
给大家呈现的也希望是这个样子
就是我其实很多东西
我是可以直接跟大家说结论的
但是我一定要把我自己
怎么样子得到这个结论的过程
跟大家说清楚
这样的话希望大家自己
对这个结论的有效性进行一个判断
也明白了我为什么会得到这些结论
那好
我们就要去来说一些
就是可以具体action的
就是我把这个做这件事情分成了三步
第一步就是把这个问题
放到一个合适的分析框架中的能力
我之前那期讲Messi新法的那个那个视频
Messi就是把这个问题放到框架的一个非常非常好用的方式
因为它可以把它可以保证
你把这个问题就是覆盖全了
你不会说是漏掉什么东西
而且你把它分成不同的部分以后
你又可以对每一部分进行重点分析
所以说
按照这个Messi的原则
去为这个问题建立一个框架
而且我们在这个建立的框架中呢
一方面我们可以定义清楚我们的目标是什么
而且我们在这一步就可以把我们的框架展示给面试观看
我们会对这个框架达成共识
那之后我们所有的讨论
就是我和面试官的所有讨论
都是在这个框架以内进行的讨论
我们也非常容易知道
就是我们的讨论进行到哪了
就是你有了这样一个框架
像这样一个框架相当于你的讨论上有了一个进度条
面试官可以按照他的选
面试官可以按照他的喜好
去把这个进度条拉到他想要的部分
比如说他想重点考察你对模型的理解
或者说对统计知识的理解
或者说对A,B,Testing理解
他就是说OK
我们先略过这个框架的前面几步
我们先去看这一步
这一步是建立模型的那一步
我们去重点考察这里吧
让大家的沟通交流非常的有效
第二步
是你要根据你刚才建立的这个Framework
把你要回答的问题
建立关键的hypothesis
可能这说的有点晦涩
我用例子来举吧
就是我那个PerluxSense
Market interview的那些视频的例子
一个决定一个feature要不要launch
我的hypothesis就是说
这个feature到底对商家有没有好处
如果他对商家的好处大于坏处的话
那我们就launch
如果他对商家的好处小于坏处的话
那他就launch
这个其实就是一个关键的hypothesis
Market interview里的case
找关键的hypothesis
是一个比较简单的情况
但是有的时候找起来比较复杂
比如说我如果做电商
然后我的conversion rate比我的competitor低
这里边就有很多种可能性
可能是我的recommendation没有做好
可能是我的UI没有做好
可能是我的audience就不好
可能是我广告打的地方不对
这个时候我就需要我的common sense
我的product sense
我的business acrimate
去帮助我更好地找到
最关键的hypothesis
不过没有关系
如果你的framework建立的好
你看刚刚我说的
我把这个问题分解成了几个不同的部分
有可能是UI
有可能是recommendation等等
我用排除法
我一定可以找到最关键的假设
用排除法的方式就是你跟面试官交流
就是你先去说你最confident的东西
比如说我这个电商的历史
我就会跟面试官说
我看了我们公司的产品
我看了competitor的产品
我觉得UI这方面我们差距不大
所以我觉得最关键的问题不是出在UI上
我现在觉得我看了以后
我觉得给我推荐的这些产品
给我推荐的这些卖的东西
我都不是很喜欢
我觉得recommendation这方面可能会有一些问题
我可不可以去看一下这个recommendation
到底是好还是不好
面试官可能就会给你一些反馈
总之通过这样的方法
你就一定可以找到最关键的假设
找到最关键的假设
第三步就非常重要了
就是你如何用实验或者数据分析去验证
或者说disprove你这个关键的假设
我这说的假设都是hypothesis
不是assumption
比如说回到marking interview里边的例子
就是商家到底喜不喜欢这个feature
它是我的问题
我怎么样子用数据去measure
商家对它喜不喜欢
我这个时候就有很多种方法
我可能可以去做一个survey
然后看一下问一下商家到底喜不喜欢
我这个时候可能可以去做一个AB testing
根据AB testing去看这个feature
对商家的revenue和profit的影响
最后去看它对商家有没有好处
但是survey有问题
有问题
AB testing有的时候会受到policy的限制不能做
我可能在这个时候会去选择去看说
商家到底喜不喜欢用
我看它到底愿不愿意用
它的adoption是什么
然后它用了以后
它接下来会不会继续用下去
然后我会看它在使用了这个feature之后
它的feature retention是什么
我觉得他们如果喜欢这个feature觉得有用的话
它应该是两个周用一次
我看一下它的两周的retention
retention到底是5% 50%还是80%
所以这个operationization也是分三小步的
第一步我在诸多的方法中选择了一个
我觉得比较可行的方法
第二步我用数据去定义了我到底在measure什么
在这里边我是measure adoption
然后measure adoption之后的retention
我在measure了这两个之后
我还要回答一个问题
就是说什么才是够好
什么才是不够好
我就这个时候就要想了
比如说我可以通过一些类似的feature
他们的adoption retention是什么
去做一个比较
这个可能是一个方法
或者说我觉得retention它在不停的涨
然后它signal product market fit
而不是一直在跌
它可能也是一个考虑因素
最后可能是我会去看一下
我lunch这个feature的cost是什么
比如说它是不是占用了我们页面的一些space
占用了我们一些其他feature的空间
最后我要在benefit和cost中间做一个取舍
最后我通过这一步
最后我通过第三步
我们把它这个能力总结成叫operationalization
最后你把hypothesis可以用数据或者实验进行一个回答
然后这个回答也是通过我刚刚说的scientific method
你要把你的思路展现给面试观看
和你进行的每一个分析每一个建议
你都是要有一个数据的
其实scientific method无处不在
就是你每一句话都是一个scientific method
就是你这句话的结论
比如说我刚刚说
比如说我刚刚说这个feature够不够好
我为什么要去看adoption
因为我觉得如果用户根本就不adopt的话
这个feature就不好
如果说用户adopt的话
起码证明大家对这个东西有兴趣
这句话本来就是一个闭环的逻辑
你同样可以在这句话里边去challenge我
觉得我说的对不对
但是我这个环环相扣的逻辑链条
到最后我就可以把一个很模糊的问题
去定义成一个很清楚的问题
然后去定义一个可以用数据解决的问题
然后再用数据去解决它
然后从头到尾我的都是有逻辑链条的
你可以随时去challenge我的任何一个逻辑链条
我也愿意跟你讨论
也愿意去修改我不对的地方不够好的地方
但是我们到最后就可以通过这个方式
得到一个比较令人满意的答案
好的我这些视频就做到这里
希望去面试的小伙伴都很顺利
来到自己想要的职位
Market Interview的视频我也在考虑多做一期
我想请DSG的网红周鑫老师
去给大家展示一个模范样本
作为一个非常厉害非常高端的DS
他在面对这些interview question的时候是怎么回答的
但是周鑫老师很忙在头条大家也都懂的
所以如果你很想看的话
希望在这个视频下面多多点赞
然后在这个视频下面多多留言
告诉周鑫老师你很想看
这样的话他就更有可能会答应我的请求
给大家一起做那些视频
好我们这些视频就到这里
大家下期再见