Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
Hello 大家好 欢迎回到科代表立正
我是你们的科代表
今天我们继续科代表聊数据的系列节目
我今天想聊的一个话题就是
这里不要依赖模型做决策
大概就是这个过度依赖模型做决策的这件事情
其实在Facebook的时候
我觉得有一门特别特别好的课叫Better Decisions
我5月份会参加DataFind的一个论坛
我在那里边也会讲
到时候参加完那个论坛
我也会把我的材料给大家
在我的频道里面讲一遍
就是如何用数据提高战略决策的质量
我觉得做好数据以后
是能很大程度的提高
你不管是战略决策战术决策
总是你能很好的提高决策质量的
但是危险就是很多人会依赖模型做决策
我先把这个观点放在前面
就是很多人依赖模型做决策
其实就是他自己不敢担责任
就是他们或者不是不一定是他不敢
总之就是试图把人做决策的责任
给放到模型上
因为你做了一个非常复杂的模型
最后你依赖这个模型去做了一个决策
哪怕这个决策的结果是错的
大家只能说OK
它是允许性错误的或者怎么样
大家很难去怪罪一个模型做出了错误的决策
但是大家会怪罪一个人做出了错误的决策
所以说在这个大厂的管理中
只要你不小心这件事情
你最后的企业一定会犯这个错误
就是大家在明明该用人做决策的情况下
去用了模型做决策
接下来我就讲一下第一
就是什么是依赖模型做决策
就是它的表现形式是什么样子的
然后第二
我讲一下就是为什么模型做决策
是个不靠谱的事情在很多情况下
第三个就是know how的重要性
就是我们如果不去依赖这个模型做决策
大家其实在这个做决策的时候
缺的是什么能力
在我看来很多时候是真正know how的能力
对一个行业know how的能力
那么就分开说
第一个就是什么样子叫做依赖模型做决策
有的地方是做indexing
当然它也叫不同的名字
所谓indexing就是我做决策
我是需要最后有一个yes or no
或者做一二三的决策对吧
我可能是要根据一个
打分是吧
根据一个index或者根据一个数
这个数高于多少我就做A
然后在什么区间我就做B
然后低于多少我就做C
大概是这样子
我接下来会有一堆跟决策有关的因素
我如果做indexing
就是我把这些因素全都去
想办想方设法的去算出来一个权重
然后把它加全到这个数字
然后好
比如说我的利润率超过多少
而且我的销售额超过多少
反正经过一系列复杂计算
那我就应该做什么
如果不用indexing做呢
我们也可以用各种各样的模型去做
但是其实模型最后所做的事情
也就是把你的各种各样的factor
跟你的行动结合起来
其实干的类似一个事情
只不过右边的这些factor
和左边的这个decision
它的关系未必是线性的
也似乎看起来有了一个更科学的
过程
但是很不幸的是
在绝大多数的场合下
这个都是不成立的
那就是第二个问题了
就是为什么这样子做
大多数情况下不靠谱
我觉得不靠谱的最主要的原因
就是我们所知太少了
那这就是第二段
就是你模型其实能capture的东西
或者说你这个右边的这些factor
你能measure
你能用数据
你能作为模型input所展示的那些信息
很有可能是你这个问题所需要信息的一个
非常小的subset
可能它是10% 20% 50%的信息
但是总之
它不能帮你真的去做好这个决策
或者换句话说
假设你真的
大家都能看到这些东西的话
那这个决策本身就非常好做对吧
如果这样一个非常好做的东西
你其实也不需要模型
只需要一个规则就行了
就是说大家非常生搬硬套的
如果发生了什么情况
我们就去做什么
这个东西其实也不太需要一个模型
很多时候之所以大家会去说一个模型
就是因为你根据这个有限的
能观察到的信息
很难直接得到那个
指引你行动的结果
所以说大家想用模型去弥补这个
是弥补不了的
但是信息的差
就是如果大家对信息这件事一定了解
任何模型都不能产生新信息
任何模型都是把你的现有信息进行一些组合
如果说你的信息只占了你这个决策
所需要信息的20%
你通过模型是不可能产生80%的信息含量的
你商业的本质是什么
或者说是这个商业决策的本质是什么
就是你要对这个80%没有的信息里边
你要通过你的Inference也好
你要通过你的Sense也好
你要通过你的Business Accrement也好
你要通过你的Dominion knowledge也好
你要通过你的Experience也好
去用你的认知
尽可能的符合真实世界的情况
然后通过你的认知
去在这么多不确定性的情况下
去做出一个你觉得最符合未来的决策
或者说最有利的决策
这个是商业的本质
你想试图用模型去取代这个商业的本质
不好意思 是做不到的
然后人为什么要做
就像我一开始投诉的那样子
因为人们怕担责任
因为你要在有80%不确定信息的情况下
去做一个会影响未来的决策
这个时候做错了
当然是有很大的责任的
有的时候人们管理层面
就是在大厂里面都会有Agency problem
就是做决定的这些人
他未必想担这个责任
他就会把这个事情交给模型
好 为什么模型不能做出一个好决策的原因
就是如果你需要用模型做决策的这种问题
大多数的情况下
模型所intake的这些information是不够的
第三点就是你这个时候想要做好这些决定
你最需要的能力是什么
据我观察
就是有一个东西是很难被measure
但是又很欠缺的
就是know how的能力
比如说我们会经常吐槽
就是大厂做不出好内容 对吧
然后一些我们
腾讯经常被吐槽做不出好游戏
这个时候是什么
就是有一些人像宫崎英高这样的
非常牛逼的制作人
他有很强的know how的能力
我记得之前好像有人说过
就是想开发一款好游戏需要什么
他们说其实就是需要一个牛逼的制作人
但是世界上真正牛逼的制作人
可能也就不超过5个
你知道这些人是谁
但是有绝大多数的人
他有这个know how的能力
但是这个东西没有办法去衡量
所以说他就没有办法出头
组织也很难去给这些人一个出头的机会
因为你想要识别一个人有know how的能力
你首先要有薄乐 对吧
你这个薄乐就是首先要知道know how
你要知道什么是好内容
比如说你要去判断一个
想要制作好内容
那你首先你这个导演和制作人
要能有这个基本的审美
知道什么是好内容
什么是不好的内容
但是非常可惜的是
在这个资本和流量的挟持下
我不想用这两个词
但是确实是这样的
就是商业的逻辑之下
真正的那些decision maker
他们很有可能是对商业这套玩得很溜
但是他们对内容
或者说是对一些事物本身缺乏这种know how
或者说是缺乏这种基于quality的判断能力
这个说的是creative的东西
那你如果说是一个operational的东西
比如说你一个工厂
你要不要添这个机器
其实真正想要做好这个决策
你就要去工厂的一线
了解所有的生产的流程
然后你要去市场的一线
去了解用户对你产品的各种各样的反应
你如果真的了解这些信息的话
你自然而然可以做出一个好的决策
但是也是很可惜
就是大家都是通过抽象的方式去管理
这个时候你所了解的世界
已经和真实的世界差很大了
这期视频我回头会单独讲
就是一线经验的重要
和从定义出发或者从抽象概念出发
去理解问题
最后会导致什么非常危险的结果
这也是我看到很多
其实很不错的产品经理
或者说很不错的leadership
他们会陷入的一个误区
从而犯的错误
好的
稍稍总结我今天的话题
就是不要依赖模型做决策这件事情
我刚讲的就是
第一什么是用模型做决策
就是你把一堆你能看到的这些factor
试图用不管什么样的模型
是吧
去自动化的去link到一些action上
然后这件事情
第二它大概率是不靠谱的
因为你所知的信息
其实是你需要做决策的信息的
很少的一部分
然后第三这里边缺的那个很大的一部分
我觉得know how的能力
或者说一线的精力是非常重要的
大家应该去想方设法的
去补足这里的精力
就是想方设法的去
给培养自己的感觉
然后这里边如果有什么东西
可以沉淀成数据
当然最好是吧
只要沉淀出来的数据
肯定是对你的决策有用
肯定是你对你的operation
也是很有用的
但是哪怕不能沉淀出这个数据的情况下
大家也不要看到
看到一个虚无缥缈的东西
然后就不去理解它
然后只定个数字去看
就是你要去培养你对一些虚无缥缈
但是对结果非常重要的这些东西的一个sense
起码你要能培养出识别出专家
并且给专家足够话语权的这样的能力
最后就是大家一定要小心这件事情
因为agency problem
因为人们想摆脱责任
因为人们会想用模型决策去取代人的决策
从而让自己不担责任
所以说只要你不小心
这件事情就一定会发生的
好的
希望我这次把这件事情讲清楚了
那我们下期再见
拜拜