Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
大家好 今天想跟大家聊一下
为什么大厂的很多产品越来越难用
和为什么数据科学家有责任去改变这件事情
给自己揽了一个过
但是我确实是这样想的
其实这个事情的成因很简单
就是在大厂报喜比报忧要简单很多
当一个产品已经做出来的时候
尤其是这样子的
就是你这个产品可能前期有很多调研
说它值得做是吧
然后你根据这些调研投入了对应的资源
然后去把这个东西做出来了
在这一步一个正确的做法
是我这个做出来的产品
我应该去认真地客观地测试它
看它到底是不是像我当初想的那样子
顾客真的喜欢它
并且它对顾客产生了价值
但是在很多时候的现实是
你这个PM 啊
Engineer 啊
他们的impact
他们的promotion
都是跟这个产品的成功相关的
如果你这个产品失败了
相当于最低起码
就算大家不追究责任的话
最低起码你的时间已经花进去了
你就白做了这个东西
所以说你在这个环节
你想证明这个产品是不应该浪迟的
要很难
比你证明这个产品应该浪迟要难很多
你要接受很多来自各方面的挑战
那最后就导致什么呢
就是很多这种积累的产品
就是它可能对有些用户有用
但是对大多数用户没有用
或者说对用处是有限的
可是这么多产品积累多了
就会让你的产品体验很不好
甚至有一些有害的产品
就都没有被这个及时的给砍掉
那最后就导致了这个大厂的产品
越来越庸种
最后这些没有用的东西越来越多
整个生态环境的体验
总的体验就会越变越差
有句话叫Death by a sudden cut
就是这个意思
就是说你砍一刀
砍两刀
砍三刀
可能这个产品都没事
因为你一个产品里边
本身就是有几千个几万个feature的
但是你这种没有用的东西多了以后
你砍了一千刀
你可能产品就死掉了
这是为什么很多产品越来越不好用的原因
但是为什么数据科学家在这很重要呢
因为其实数据科学家的职能
就是你要用一个科学的中立的态度
去决定一个产品好坏
就是你这个产品好坏是一个hypothesis的话
你最应该test这个hypothesis的时候
就是当你做出来一个完全的产品的时候
才去test
因为你前期的很多假设
就是user research也好
或者说你delicentist sizing也好
或者说是你这个PM的human problem也好
或者说是engineer做出来的MVP
minimal viable product也好
prototype
它只能给你一些signal
只能给你一些suggestive evidence
真正就是我们说试律自试买
拉出来溜溜
就是当你做出来这个产品了
我用一个词
就是我学来的一个词叫minimal phenomenal product
就是你不能只是停留在一个最简单的最粗糙的产品
你应该是停留在一个最小化
但是它是一个非常棒的产品的情况下
给客户来使用
你这个产品到底客户想不想使用
你客户使用了以后
它会不会是继续使用
它和你当时的所有的hypothesis假设什么是不是相符
有的时候大家就怕这一点
就是你在大厂会发现好的team
好的culture
大家会每个人在做这个东西的时候
就想着怎么测试这些东西
我觉得我现在的team就是这样子
就是Facebook虽然肯定遇到过很多这样的问题
这就是看到
大家看到很多Facebook的产品也会有越来越臃肿的问题
但是我觉得这些年就是data culture越来越强了之后
每个team尤其成熟的team
他就是会在做这些东西的时候就想到了
我的lunch criteria到底是什么
我们ABTIC的infrastructure非常强
然后data scientist在这里面起到了一个非常非常重要的作用
就是我不会说让engineer他看到了一些metrics
这个就是是positive的
他就可以lunch
我会通盘考虑
然后去说这个东西他可能在这方面是有好处的
但是我会看其他的各种各样的东西
我不会只听engineer的一面之词
因为不管是engineer也好还是pm也好
他在这个时候其实是有一点conflict of interest的
就像我刚刚说的
他的career的上升是建立在产品成功的基础之上
但是data scientist这个时候可以提供一个中立的evaluation
我就会看很多东西
然后我最后如果说engineer说这个东西是一个table stake
或者说是他有一个long term benefit
在short term metrics上体现不出来
那我们也会尽可能的把这些东西给讨论清楚
然后去建立一些所谓的signal of success
就比如说你可能说这个东西不会提高利润
但是我觉得long term会提高retention
那么就说好吧
首先我们先看看有没有足够的人用这个东西
adoption怎么样
然后我们的repeated usage怎么样
我们如果可不可以在这里边建立一个survey
或者说建立一些feature
让用户来给我们提供及时的反馈
就是有百分之多少的用户
直接两个人告诉我们这个东西不好用
当然focus group什么都很重要
可是这个过程
Delicentes是最适合做bar razor的
就是Delicentes它本身的job description
就enable你去做一些中立的判断
所以说我觉得我们要负起这个责任
然后我希望如果你在你的work里边有相应的影响力的话
你应该去主动的lead
然后建立这种culture
就是我们的项目
我们要去客观真实的去衡量它到底是好是坏
我们要去全面的去衡量它是好是坏
而不能把这个项目做完了以后
这个事就结束了
而且这个时候
另外一个点就是Delicentes的product sense
就看出来有多重要了
因为你的产品不是一个matrix可以决定它的生死
和你在这个时候要去决定一个产品的生死
那你不能只是看一些简单的matrix
去做一个简单的trade off
这没有一个固定的简单
每个产品它要试图达到的目的都是很不一样的
所以说你的product sense
到底这个产品本身是不是make sense
这个产品本身到底有没有好处
如果它有好处
它到底会用什么样的data来体现出来
我们什么样的data可以真的去validate
或者disprove我们的hypothesis
这是非常吃经验
也是吃功利的一件事
但是这也是我们一定需要做好的一件事情
因为你决定产品的生死
那你就应该有一个对产品本身更好的sense
不然的话你用一些数字去kill一个本来很好的产品
这种错误我觉得是不应该犯的
如果大家需要一个例子的话
其实我自己清楚的认识到这件事情
就是mark interview视频的那个例子
mark interview视频里边的那个题目
就是某公司它要launch一个新产品
这个新产品是新功能吧
这个新功能是让在这个公司的商家
可以给消费者提供一个现实的折扣
然后问题就是说我们这个东西要runpap
你怎么样用数据来帮我们做决定
这是这个问题
但是我想请大家一起跟我想一想
这个问题是在一个什么样的场景来提出来的
在那个视频里面
面试者和我想象的场景就完全是两个不同的场景
我后来把这个视频也给一些朋友看了
然后我发现很多朋友确实想的是面试者想的那个场景
而不是我想的这个场景
我就觉得很有趣
因为这些朋友他们是在一类公司里边
然后想到我想的这个场景的朋友们
是在另外一类公司
我把这两个场景描述一下
就是场景A你这个东西还没有做
或者说你做了一个非常小的prototype
然后你要决定这个东西值不值得做
场景B这个东西已经做出来了
现在你要来验证一下这个东西到底是好是坏
回过头来
这个问题本身是我们有这样一个feature
我们要runpap
然后你怎么样去决定
到底是这个东西已经还没有做还是已经做出来了
就是面试者和很多公司的小伙伴
他们想的就是场景A
因为在他们看来你东西已经做出来了
那这个问题还有什么意义
你做出来了就做出来了
只有在你没有做的时候
这个问题才是有意义的
就这个东西值不值得做才是有意义的
但是我的第一反应就是场景B
我的第一反应就是说
of course你这个东西做的话
我就是值不值得做
这个事本身就是很多的assumption
我当然是可以做很多user research
然后可以做很多的sizing
然后可以defin很多的human problem
就是可以做任何乱七八糟的东西
但是最后你是不是真的应该做
然后是不是比其他的东西更值得做
你还是要有assumption的
首先这个是一个two-way door decision
用亚马逊的话来说
这是一个two-way door decision
你做了以后如果不好
你是可以roll back的
但是你在做之前
你不可能百分之百的确定
这个东西就值得做
你可能很多东西告诉你
这个东西likely成功
但是你把它做出来了之后
你用一个科学的方法去看
这个是不是符合你当时的hypothesis
这个东西到底是不是真的有人在用
这才是更值得被回答的问题
这就是当时有一个挺settled difference
但是现在想起来非常有意思
因为这个所谓的settled difference
其实背后代表了公司的文化的不同
公司对数据
然后对数据科学家提供的建议的
总而言之就是公司的文化
公司的数据文化
然后公司对待产品的态度是什么样子的
我觉得前一种真的我不是很欣赏
因为这听起来就是很多人
会把自己的career放在这个产品之前
我觉得你应该去做对产品有用的东西
然后我也希望各位
不管是数据科学家也好是谁
反正大家应该push for这个
就是一个是你一个产品做出来以后
launch是easy decision
但是决定他要不要真的要launch
是一个right decision
大家应该去选那个right decision
而不应该选easy decision
好的
那这期视频大概就聊到这里
我自己的看法可能也有很片面的地方
我希望大家可以在留言区里边多多讨论
大家去讲一下自己的公司的文化是什么样子的
然后如果我有一些哪些地方讲得不好的话
也欢迎后一起探讨
谢谢大家我们下次再见