Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
就是你给他了一些data supported result
但是他不认可
他们天生在他们的成功的路线上就没有data
那你在他们成功了之后跟他说data很重要
他可能听着哦哦哦试试是
这个是一个值得投入时间解决的问题
而且在这个解决问题的过程中
你能产生很多有益的结果
是一个可以让你经验你的老板和接近你老板的老板
和所有人都对你产生的方式
一起用使用者
一个
上来吧这个
就是把我的脸打上了
算了算了
我觉得你解决到这个困扰了我好几个人的问题
大家好
我是Riley
我是今年刚研究生毕业
然后在美国
马上要去美国的一个游戏公司做monetization的PM
我之前本科毕业之后
我是先在
美国也是工作了三年
工作内容主要是data engineer加上software engineer
然后之后去读了一个研究生
然后就想转到PM的行业
你自己就是在Fortnite工作多久了
我在Fortnite就是实习
然后工作三个月了
三个月感觉怎么样
感觉很好
介绍自己的时候介绍是Fortnite而不是epic
对
为什么
好像因为
因为epic还是一个很大的eco system
什么unreal engine
epic in store
然后Fortnite算是一个
就更具体的东西吧
我知道了这张图信的人
如果他是王者的
他就只会说自己是王者的
如果是天美的他就会说是天美的
然后ieg的会说自己是ieg的
对
主要是Fortnite跟epic还是一个
就是很不一样的
投白产品
毕竟是游戏
但是你说做epic的话
大家就是你要是做unreal engine跟做Fortnite
那就是完全不一样的
然后他们自己Fortnite的那一部
就他们叫Fortnite是一个
叫epic算是一个
30年的start up
所以就是他们内部的很多东西
不像大公司这么清醒
比如说像我老板
他就会带一个data analytics的team
我不知道是不是
我目前的了解他有可能是公司
唯一一个做data analytics的team
Fortnite是DAO大概多少
DAO啊
啊我说不知道啊
就是我只能我只知道他的
就是每年的revenue
可能是几个billion这样吧
因为我觉得这是一个大游戏
但是清起来数据在这里边不是很重要
我觉得数据还是很重要的
但是就我来说就我的感觉
就是就我的experience来看的话
他们没有用数据去做很精准的用户的targeting
其实我之前跟朋友也讨论一个问题啊
就是我朋友是在呃
腾讯应该是在王者荣耀啊
sorry是在英雄联盟做
也是做我这个位置
是做梦的感觉生前的
然后他就说到其实是完全有可能
在一个公司里面存在着对data不认可的人
就是你给他了一些data supported
results但是他不认可
就是你有你有经历过这种事情吗
那当然啊天天就没有
就我自己都对data不认可啊真的吗
对啊不是就是呃
我觉得我是客观的不认可
客观的不认可在于我大概要想方设法来知道
data在整个decision里边大概占了百分之多少
因为你能观测到的东西永远是有限的
但是一个decision它是复杂的
你能观测的一些因素可能重要可能不重要
就是你要首就是我可能会
呃更aware我应该什么样的决定
用data什么样的决定不用
和如果这个决定在没有data的情况下
我们也需要有一个方式去
move forward to make decision
这样吧我再说一下就是
我觉得一个好的data data
given culture和一个不好的data given culture
在绝大多数的产品上大概有30%上下的这个作用
就是他做的好的话
他可以多加30%做的不好的话
他会叫30%
所以上60%啊
但是对有些产品可能更重要一些比如说你做推线
啊你如果不用data你不用算法的话
那你啥都别做啊
我觉得我经历的所有的这个
职业生涯中很明显facebook的数据是最好
对取而言和对那个产品本身也是最相关的
我在那里边能观察到
消费者和卖家的很多很多的事情
所以在这种情况下
确实我知道data在那里面是很重要的和
就包括一些基础的认知啊
就是这个产品用户到底感不感兴趣
我们也可以用未必实现的方式去验证一个
非常非常核心的假设
但是出来了以后我就会发现哦
绝大多数就要没有这样的数据了
也不太可能有
其实一开始可能我的想法是
我怎么样能建立这个
就是怎么说呢
pipeline或者说是 foundation
让我们能获得获得这样的数据
但是我后来发现就是他没有也是有道理的
就是他的成功和失败不依赖于这个数据
他是说不依赖于这个东西
但是如果他对他的最终结果
能有上下30%的影响
那还是很大的
是但是你需要很
就他不是free的
他不是说你看了data就30%
你知道一些很聪明的人
很好的这个就是infrastructure
然后有很好的culture
然后关键就是有好的数据科学家
和懂数据的 leadership
才能发挥这30%
但是这些因素全都凑齐
还是挺难的
但是知道怎么样子这些setup的人太少了
然后这些人就是
他能convince说大家相信这件事
就这样的人太少了
你觉得这样的人太少了
是因为这个行业比较新
还是因为什么原因
是因为没有什么data背景的人
做business做成功了呀
就是data背景的人一般都是做学术了
然后做分析了做咨询了
所以说这些decision maker他就是做
产品出生的
做设计出生的
做营销出生的
做商务出生的
对吧
靠资源出生的等等等等
他们天生在他们的成功的路径上就没有data
那你在他们成功的时候跟他说data很重要
他可能听着哦哦哦是是是
但是他大心底里是没有那个conviction了
我觉得这个事情
嗯
但是但是事情的另一面就是
我们不用太担心这件事
因为在大场里边就像我说的
大家为了
就是去justify decision making
你为了让就是在大场里面协同和convince
当然是一个很难的事情
然后让大家都该跟Border也是很难的事情
collaboration都是很难的事情
呃对所以说influence也是很难的事情
这个时候反而data是大家最容易啊
agree upon的东西
那这个时候一个哈哈哈
会讲故事和conviction能力的decentes
我觉得是很有利的
你觉得这个你觉得就是说你刚刚讲的
我也感觉好像因为我们现在
也在试图招更多的
就是具有产品sense又有这种data能力的人
就发现确实是很难招到
因为这两件事情都不是学校里能教你的
学校里能教你统计对吧
然后能教你怎么样子去用must learning去
zoom call打开go
然后能教你怎么掉包
这是所谓的data science的这个教程
但是他没有教你business
没有教你数据和business关系是什么
也没有教你数据和管理的关系是什么
那你会考虑去当一个mba的老师吗
我要当我也不知道去教mba好教mba干嘛
我是觉得这个
这个这个设置本身是一个落后于
时代的产物就是这个课程设置本身
这是我之前其实录了一期可能会发的视频
就是
商业这件事情
在商科里边是教不了的
你在真的要学到那些商业的密技
你知道在商业本身中去学和提炼
然后你想你作为一个
做商业的人你想提炼出来这个东西
你需要有一个自己的思维框架
然后这个思维框架在其他的学科里边可以建立
所以我其实不太知道mba
这样的设置它的意义何在
就是我知道它有networking的意义对吧
它有让大家在工作的时候
去花两年时间想想今天要干嘛的意义
它有让在你不想
你没有渠道去得到那些一线的商业知识的情况下
有一个相对系统的地方去教你这些东西
好的商业会会请那些很一线的人去教你一些
真正的行业认知
这些都有然后我觉得性价比不高
不光是你的学费还是你这两年的时间
就这两年的时间你真的去创业你学到的
我相信99%的情况下
会比你在mba里的学到的东西多和有用
这是mba那些事
其实我之前有一个讲我自己创业经历的
我在读博士的时候也创过业吗
然后我说就是如果你真的觉得
你的数据分析能力是有用的
你真的觉得你的数据分析能力是有用的
那就去分析一下你楼下的奶茶店
怎么样子提高30%的销量
我相信一个好的数据分析师能得到这个东西
就是他能去任何一个奶茶店然后得到这个单
除非那种就是国内已经整到天气
就是所有东西已经用化到极致的奶茶店
当然你在湾区任何一个奶茶店
我相信一个好的数据分析师
能找到销量提升30%的方式的
有道理
我觉得做了这件事以后
你可能你对工作也会更有这个信心一点
这个是一个很好的点
我之前可能在更重大的问题上
会告诉自己就是你不要去担心一些
你没有能力做到的问题
但是我觉得尤其是在这个工作上
比如说老板给了你一个目标
说你去调研一下怎么优化我们现在的数据库
好了
那这个问题他就是
这个问题就你现在你觉得应该怎么做呢
好像一个面试问题
觉得我怎么做呢
你说我现在是吗
我觉得
我现在应该先会搞就像你刚刚说的
你们那个同事给我事情
应该先搞清楚
现在的数据是什么样的
是怎么用的
出现了一些什么样的问题
然后再把这些问题排个序
说最重要的什么
就是我们可以按照一个什么样的顺序来解决
你说了一个就是搞清楚现在的数据库
但是你还没有搞清楚
大家想要的数据库是什么样子
但是问题是我觉得我老板
其实也不太清楚他想要的是什么样
你老板未必清楚
但是这个你的
就是这数据库的使用者肯定清楚
数据库的使用者就是我们
我觉得他他想要的其实就是
更好的
support decision making
就是更好的有一些data driven的
我可以给你举几个可能的例子
就是第一
可能你们现在我的数据库是一些
完全不懂数据的人写的
所以里面存在巨大的浪费和这个
巨大的这个
efficiency
所以说你要识别这些东西去解决它
有可能你们的数据定义是没有定义好的
所以说每个人对数据理解不一样
所以说大家都对这个数据没有信心
有可能你的这个数据没有建模好
所以说他这个就是该有的数据没有
没有的数据就是有的数据也没有用
啊
这可能都是在解决问题的情况下
然后才是这些问题都是存在
对啊在解决的这些问题情况下
还有一些各种样的trade off
就比如说你是要更快更多的数据
还是要这个相对便宜
然后低频使用的数据
然后你这个时候就要去看你们
使用的频率是什么样子呀
你们到底是在
这是query什么样子东西
然后这里边有没有什么加密的需求啊
等等你们要不要用语言等等
就是这不是现成的思路吗
就是可以想就
数据库不就是那些问题吗
然后那些问题
我觉得这些不是我的经验给我带来的
就是我去想一下一些数据库可能有什么问题
我觉得好像答案就在那里了
就是不准呗然后嗯
不efficient呗我觉得这个问题的难点就在于
我就是这个数据库的使用者
所以你要是问我说
你要怎么样
要你未来你是唯一的使用者吗
嗯
有几个使用者
一个
香了吧这个酷
好像不是很多
就是对我觉得我的这个问题很难的地方就在于
呃他希望我来
帮他一起建一套
data analytics的type line或者是一个
你未来想要用这些数字做什么样的因材的分析
这个都是没有人在做的
然后他说你未来要做这些
分析那我们再回头看要做什么样的优化
那我可能是会卡在我并不知道
做做这个产品我们需要
ok 那你那你要做什么样的分析你去问谁
我不知道去问谁
谁会使用你们的分析
就是哦我想一想啊
我们自己吧
就是你们总要影响一个人的decision吧
你们难道影响你们自己的decision吗
你们自己把decision做了以后就会影响谁
会影响用户的购买
谁是这个拍板人
谁是这个decision的拍板人
我老板
就他等于真的是做一个东西来支持自己的decision
我的理解是这样
我不知道他们实际是不是这样的
我现在的感觉是这样
那你就应该问一下你老板
他现在觉得他的decision有问题的地方在哪
这是一个很好的点
所以他到底他给你了这个问题
难道你不应该clearify这个问题吗
就是我还以为他会涉及到很多人
那如果就是你老板给你下了这个需求
难道你不应该问一下你老板
这个需求到底是什么
因为我可能我一收到
我来复盘一下我是怎么想的
我一收到这个任务的时候
我就假设了他想要
他想要更insightful的东西
这些是废话
就所有人都想
所有人就想告诉我
让数据直接告诉我应该做什么
对我觉得他其实
然后这个这个decision就超级无比正确
然后就是cover未来5年来所有的情况
我觉得是他想要的东西
没有但是这个东西不存在
哦是吗
不存在没有
就是decision是要人来做的
你能做的只是把信息更好的
就是我觉得好吧
那这个时候就是一个decision making
就是这个analytic system
他干的是什么
他首先要把数据尽可能好的
高质高量的给做好
然后高效的给做好
然后他的这个数据
一定是要把有容的信息给收集起来
并且summarize好
然后再接下来看analytics的功力的
就是如何找到正确的角度去看这些数据
我有一个例子就是b站的后台
就是给了我一万种方法
告诉我我根本不care的数据
我看了完全就是
他会告诉我你是这个分区的百分之几
你是那个分区百分之几
你的这个站子完全没有用
但youtube他就会告诉我
一个事情就对我来说很有用
他会按照我发布时间
然后truncate我的所有的这个视频
说你的这个视频现在已经发布了三个小时了
他在你过去十个视频里边
如果大家rank都是发布
都是看他们发布三小时
以三小时的时候的数据的话
你这个视频是排地气
所以我truncate三小时
然后这个视频发布四小时以后
都truncate到四小时
然后发布了24小时以后
我就真的能知道这个24小时
无论他是哪个时间免发的
他在我过往的十个视频里的
相对排区是什么样子的
这个信息就很有用
他告诉我我现在这个视频
是比我过去的几个视频做的好还是不好
在这个实的选择的时候也有些讲究的
就是我不care我过去的100个视频里边
这个视频排地气对吧
我care是过去十个视频里边
他排地气
但真正的排地气就是需要
按照发布的时间来的
可是你又没有办法控制你发布的那个时间点
就有的时候大家都在一个时间点开
但是起码你有用的信息是
当他发布了这么长的duration以后
他的reality performance是什么样子
我觉得这个还是
我今天跟一个朋友聊
就是我自己不是很喜欢玩游戏
但我又是做游戏的
他就说不行你要去玩动作的游戏
这是绝对不行的
这是一个产品的DS或者PM
如果不懂产品不喜欢产品的话
他不可能做的好
这个是
这个是谁跟我说otherwise我都不信
对就是一个PM和一个产品DS
如果对这个产品本身不够熟的话
他说什么都不信
确实是
但是我晕3D啊
我打风再打一下我就会有点想吐
可以吃晕船药哦
可以吃晕船药
是的还是有很多可以做的事情
我觉得还有这个剪掉啊
我觉得刚刚那个就是我们在讲
两个剪掉晕3D
就是我不喜欢玩游戏的事情
我还是会每天都强迫自己玩一下
我还是会很努力的玩游戏
需要剪掉吗不需要吧
需要吗
那你把我的脸打上吧
塞尔克
我觉得还有一个
好像就刚才那一段打上吧塞尔克
我觉得还有一个点啊
就是说因为不会不愿意透露名字的
就是还有一个还有一个就是
好像我确实还是想要一个
很完美的答案
比如说其实没有我完全
对我完全可以问他
你现在的就是
你现在的decision making的过程中
你是不是感受到了什么不顺畅的地方
所以你才想要这个问题太宽泛了
我觉得就是我会问他的方式是
我会可能拿几个选项来问他
显得我也懂数据的样子
哦就是你trust your data吧
而且这个东西你听到就是背后
很明显的你工作的重点
然后你觉得你想看的数据
我们数据库里有吗
但是比如说他第一个问题我是知道
他不trust我们的data
对那就是data quality的问题
那那比如说那我要怎么解决呢
就是首先你要serve他对吧
就是你看的数据有没有
然后你trust our data
然后你想要的data你能其实看到吗
然后你觉得你这个data就是
就是当他有了这些数据了以后
你能用正确的方式去看他们吗
你觉得这些data有insight吗
我觉得是四个层次的问题
在你不trustdata的情况下
你是不可能让data产生insight的
所以说你这个时候就在带入你的一些
专业知识去跟他说我们现在
如果说你不trustdata我
以我专业的角度来说
我觉得我就应该解决data quality的问题
对啊但是我不会解决data quality的问题
data quality的问题
所有的东西都是你们的代码产生的
只要你找到那个代码
你一定可以找到这个
最根本的数据是什么
这看你的
这看着你那是对的
就是如果说你能去跟那个产生这个数据的
那个
程序员就是他写的这行代码产生这个数据的程序员里
你一定能知道这个数据代表了什么意思
但是我们当时因为是有很多数据
所以我做的事情
其实更多的是在做一个data的health check
就在做一些
这我觉得就是表面功夫
就是你没有gettid code
就是我觉得如果说
如果当有人不trust这个data的话
你一定要想方设法的知道这个data是哪行code产生的
但是他有很多很多data
那就从最重要的那一个开始做
就那一个数据
比如说你们的收入
就是就是想方设法来找到
哪些数据怎么通过什么样的链路
产生了这个收入的这个
这这行数
这中间你会发现无数无数可以做的问题
就是他如果说
对的那你也知道你们所有数据的血缘
就是最重要数据的血缘是什么
如果说他不对的话呢
你也找到了很多就是需要fix的东西
而且你得到了code
你可以问任何argument
就是有任何的人跟你说是哪样的
你都可以show them the code
就是我这个数据就是这么来的
我是对的
我觉得就是你可能在职业室还早些
就是我所说的所所谓的
需要有靠谱的execution就这个意思
但是
哎这个问题的难点就在于我的老板可能
并不要求我去把这个code翻出来
他也会说你对自己的要求
对他就会说你就是
you don't have to get down the rabbit hole
但是我是不是就应该get down the rabbit hole
我觉得是的
不然呢不然怎么知道你
你怎么能trust这个data呢
就是除非你有很多cross check的方式
但是每一行就是所有的cross check的数据
都不值得信任的话
这件事没那么难
就是get to the code没这么难
我觉得这是一个一周的活
除非你找不到人
就是如果能找到人的话
这是一个一周的活
我觉得现在还有一个问题就是
就是你这个数就是一个sql产生的
然后这个sql会
你指向一个数据库
然后那个数据库是有人做出来的
它也是一个ETL产生的
然后你去看那个ETL
那个ETL最后就会指向一堆login data
然后这个login data是有人去做出来的
然后你就去看怎么产生的这个login data
一个周就搞定了
只要你能找到正确的答案
好吧我想了想就觉得
这很复杂
就比如说
我可能花了一个周的时间才搞清楚
这个database里面的东西
不然你会花一年的时间
还不知道正确答案是什么
这一周绝对值得花
你说我觉得但是可能这个工作量
可能要一个月吧
但是一个月也是值得的
我觉得是值得的
而且是一个月不是说你就搞清楚这件事情
是把你的这个就是linux的
data的税源给划清楚了
我觉得这个还是挺重要的
就是我老板没有对我有这么高的要求
但是确实如果这一步不搞好的话
我们就一直在做一些cross check
这是一个可以让你经验你的老板
和建议你老板的老板
和所有人都对你产生respect的方式
那你是怎么意识到这一点
不是这是这件事情的唯一正确
方式在我看来
不然呢不然什么是正确方式
我在做cross check的时候
我自己也觉得就是
bullshit
就是也不是bullshit
就是好像没有那么有说服力
但是我又要去做这件事情
然后我就会就觉得有点奇怪
就是你在拿一堆近似的东西
然后你全都不确定正确
然后去试图去verify一个东西是对的
不如直接去
就是code这件事情是不会说谎的
所以说你明明是有一个真实的情况在那里
只要花点时间就可以找到他干嘛不去找
嗯那也有道理
而且这个问题迟到是会出现的
就现在不出现他之后也会出现
你还不如在这个系统还没有完全建立之前
这是我对我们
部门数据工程同学的
最基础的要求
就是你要知道你这这个指标他是哪
他是怎么产生的
嗯
是是这是一个不合理的要求吗
我觉得这是一个我觉得这是一个很合理的要求
啊
只是
就是
他的难度还是很大
这不是那么简单
所以可能对我来说就是他的压力就会很大
好吧我现在告诉你这个是一个职责投入时间
解决的问题
而且在这个解决问题的过程中
你能产出很多有益的结果
你可以选择信或者不信
但是我信了我当然是信了
我只是哎
我觉得我觉得很对
这比如说我们还有一个问题就是
当初写这个code的人可能就已经炸了
这也是需要解决的问题
所以大家就
这是一个需要解决且可能值得解决的问题
可能值得解决是看你们culture
是什么样子的
但是在我看来这绝对是就是
既然这个人不在了
既然没有人知道
这是truth是什么
难道找到这个truth的人不是值得更多的
鼓励吗
嗯
啊当然这里边可能有一些技巧
就是你怎么样子
要让老板buy in
你这件事情的价值和难度
然后在你做这件事情的时候
老板能给你相应的时间
然后然后你真的做好这件事情
老板也能给你对应的recognition
嗯
比如说我自己我靠着我自己的experience
我其实是很难得到这个结论
比如说当我老板跟我说
你不就是你不需要get on to the code
你只要做一些cross check就好了的时候
现在像你一样的同学
看了这些视频就知道了
我是很难
因为我这个事情
多看我视频吧
对因为这个事情其实并不容易
它就是不只是说技术上难
而且是流程上也很难
就是本来这些东西就是分散在很多很多
数据库里面
有不同的人在不同的时间写进来的
但是确实大家都对这个东西是
不comfortable的
但是大家都对这些事情不comfortable
那你就去找几个最不comfortable
然后他们影响力又足够大的人
然后你去跟他们说
我现在觉得有这样这样的问题
然后你可能会找到那么一两个case
说这个问题你估计有多大
这就是我说的所谓20%对吧
你不能跟他们说你觉得有一个问题
然后说你有一个问题
这里有一些你没受到证据
然后还有一点点的问题
他已经显示这个问题很重要了
你觉得我们需不需要去解决
我觉得你解决了这个困扰了我好几个月的问题
我一直在想实习的时候
这些视频已经可以到这里了
我实习的时候就是
遇到了这个问题我想完了
我到时候回去工作
如果还让我负责这件事情
我怎么搞
啊对
但这确实是一个我懂了刚才的事情吧
就是有几个点很关键
第一个是得到recognition
就第一个这件事我觉得是对的
但是不是所有人一上来都认为他是对的
所以说你要raise awareness
然后raise awareness
就是你已经说了大家都觉得不comfortable
然后大家都觉得有问题
那你就去得到大家explicit的support
我觉得只要我有这个想法
得到recognition不是这么困难
但是这个问题就在于
我没有信心
要求这么多的resources
要求这么多的时间去做这件事情
在之前的话
我没有得到一个confirmation
你的resources是什么
是找人帮你做吗
就是一个人给你一个令牌呗
然后你拿这个令牌说
我也要我也要free up我的时间
就我要跟我老板说
你的时间真的在产生那么大的价值吗
不是就是我的老板
我要跟他说我做这件事情是有价值的
我不可以
比如说你做一个cross check
可能就是一个星期的事情
但是如果我做一个这样的东西
我可能就要去找很多engineer
然后我要不停的去联系他们说
你帮我看一下这个code从哪里来的
他们又要花他们的时间
这个问题已经讨论过了
反正我的答案就是说你在过程中
想方设法的
对对我很同意
阶段性的产出
我觉得做这件事不难产出
但是这个问题就是我在
我在想为什么我之前做不到的原因
就是因为我没有得到一个
很有力的就是你的confirmation
说这个事情必须要这么做
我频道里边很多事情都是
大家已经知道的事情
然后我重新说一遍
但是大家因为在工作中有更高的原因
不会觉得自己想的那个东西是对的
然后我告诉大家好像
就是反正起码提供一个data point
说这个事情是对的
大家就去做吧
我觉得这也是很多东西的意义
嗯
我觉得今天解决了一个问题
就比如说就解决了我的问题
就是我要怎么样improve
这个data quality的问题
如果我以后工作中还遇到这样的事情
就比如说我不知道应该从什么地方下手
然后我老板给我的direction
其实我也没有那么comfortable
但是我又没有足够来确认
正确的做法是什么的时候
那那我在这个情况下
就来看我的视频就对了
就来看你的视频
在我频道下面请问