课代表立正

回归科学本质,模型不等于科学

What is 课代表立正?

课代表立正的官方Podcast
深度访谈,有用干货,亲身验证的「真本事」
Superlinear Academy创始人,Maven Top AI Instructor
前Statsig布道师(OpenAI收购),腾讯副总监,Meta,Amazon;康奈尔经济学博士

社区:Superlinear.Academy
课程:ai-builders.com
个人:lizheng.ai

大家好 歡迎回到《柯代表立正》
我是你們的柯代表
今天又是在隔離酒店
如果大家看我之前的視頻也看到了
我前一段時間去了美國
我現在回到國內開始隔離
這次是期待三天
這期節目我想跟大家聊一下
我對數據科學的新的理解
其實我在之前的節目
也聊過很多這方面的內容
但是那個時候
我主要是指出來一個誤區
就是數據分析數據科學
我覺得不應該分開
而且我覺得做分析就是做科學
但是那個時候
我雖然指出來這個誤區
可是我沒有給出一個
關於數據科學的非常好的定義
我說數據科學家
不應該只去做模型
然後這些大廠也不應該去
想方設法地把做模型的數據科學家
和做分析的數據科學家分開
可是我沒有說
那數據科學家到底是什麼
這段時間我想得稍稍比較通順了
我就跟大家分享一下吧
其實這個定義也是一個
非常非常簡單的定義
就是數據科學
無非就是這四個字
但是對於科學
我會把它選擇一個
更加本質的定義
我本來想用廣義
但是我現在覺得本質可能更貼切
之前我們狹義的
或者說是表面的定義是
做模型等於科學
但是我現在覺得
我接下來要描述的做的這些事情
等於科學
那什麼是我理解的科學的本質呢
每個人想到科學這個詞
都可能會想到這一個例子
就是牛頓通過蘋果夾到腦袋上
發現了萬有引力的這個例子
但是如果說我們把它和現實的
很多科學研究去類比一下
會發現很多現實工作中的
不好的科學研究是什麼
他們是你觀測到一個蘋果掉下來了
接下來你就去看
一個橙子掉下來是什麼樣子的
一個梨掉下來是什麼樣子的
等等等等
一個桃子掉下來是什麼樣子的
可是牛頓做的呢
是他通過蘋果掉下來
這一件事情去探尋他背後的道理
最後發現了宇宙的一個
非常非常本質的規律
所以說牛頓發現萬有引力
是一個好科學
而很多很多的壞科學
或者說是沒有用的科學
就是你看了蘋果掉下來
你去研究橙子掉下來
和研究梨掉下來
我們在工作中
其實也會發現很多這樣的事情
比如說我看到一個廣告
它的消耗量是多少
它的轉化率是多少
它對應的肯定是有人群啊
素材等等
那一個不本質的理解是什麼
就是我去把其他的各種
combination全都去試一遍
然後去看看所有的這些是什麼
然後這個東西量比別的低了
那它是不是有什麼原因等等等等
可是一個真正本質的科學理解
或者說我們自己數據科學
對自己的要求是什麼
就是應該你看到了這個廣告
然後你去想它背後的
這個運行機制是什麼
你對整個市場系統用戶都有理解
然後你再去想這個轉化率
它到底意味著是什麼東西
你可能背後會發現很多其他的內容
我在工作中有一些具體例子
但是因為敏感關係
我就在這不展開了
總之好的科學是你通過表象去探尋本質
探尋規律
不好的科學就是你看到了A
然後去A1 A2 A3這樣去一個一個試
那我還想再取第二個例子
第二個例子在我之前講認知的
那些視頻裡邊也有跟大家講過
我這就把它再跟數據科學給聯繫起來
這是《禪語摩托車維修一書》
那本書裡的一個例子
書裡作者說你在維修摩托車的時候
有兩種方法
其實和我們在遇到一個bug的時候
debug的方法很像
就是第一種方法
你就去試
你就覺得123這種東西去試
然後一個一個試
然後試了試了試了試了第二種方法
然後車好了
那你就OK
車修好了
你就繼續往下就行了
很多時候大家debugging的時候也會這樣子
就是先去往上搜
出現了這樣的問題
可能是哪裡
然後去試
反正試了幾次幾個不同的東西
有一個正好恰好work了
那你就去使用這種方法就行了
可是假設你網上是找不到答案的
然後你這樣試也試不出來
到底是為什麼你遇到一個複雜問題
那這個時候你應該怎麼辦
這個時候你就會用scientific framework
去解決這個問題
什麼是scientific framework
你在腦子中會抽象出來一個關於
這個摩托車的模型
你的發動機是幹什麼的
你的離合器是幹什麼
你的煞車是幹什麼的
你的發動機的能量是怎麼傳到離合器的
你的每個零件都可以幹什麼等等
你對這個摩托車瞭解的越深入
你的知識越深
你對整個系統的整體運作越清楚
你的這個模型就越正確
有一個正確的模型是非常重要的
如果你有了這個正確的模型
你接下來面前的這個摩托車
就是你這個模型的一個現實的input
你會發現
這個地方的聲音
它應該是這樣子的
但是它不是
那可能表示這裡出現了問題
它出現了這樣的不一樣的異響
那可能代表這個零件出了什麼樣的問題
那我應該去怎麼樣子去修復它
但是你在做這些判斷
就是它的聲音正常還是不正常
是異響還是正常的聲音
但是你做的這些判斷
就是它的聲音是一個異響
還是一個正常的聲音
然後這個異響的話
它表示哪個零件出了什麼樣的問題
都是你腦子中的這個關於
摩托車的抽象模型告訴你的
而不是你眼前的這個摩托車告訴你的
你眼前的這個摩托車只是告訴你
它的不同的位置
到底是有什麼樣的input
然後你在你的腦子中
這個摩托車得到了結論說
如果這個零件出了什麼問題
我應該去怎麼修它
做完這個步驟以後
你腦子中的這個抽象摩托車模型會告訴你
修好了以後
它應該怎麼樣子去運作
你去看現實的摩托車
是不是像你腦子中那樣子
如果說不是的話
那可能說明你的這個mental model
是有問題的
但是如果說是的話
那你就把這個摩托車
給現實中的摩托車給修好了
其實我們在生活中的工作也是這樣的
你對你的顧客
你對你負責的業務
你對你的產品
你都會抽象出來一個mental model
你這個mental model越正確
那你就能做出越正確的決定
你這個產品到底應該怎麼去改
如果說你的用戶出了問題
比如說你的銷售額下降等等
你會覺得這裡更likely是哪裡出了問題
這就是數據科學家要幹的事情
我們不光要通過數據
數據是一個非常有力的武器
能告訴我們這個系統到底是什麼樣子
它很客觀
它也很全面
但是我們也要綜合很多對業務的理解
然後我們在腦子中要抽象出來
這個對產品系統和顧客的mental model
你的mental model越正確
你做的決定就越正確
你給的建議也就越正確
這個時候你到底使用一個複雜的數學model
還是用一些什麼
其實我不care
那都是一些工具
我之前在Facebook做的一件事情
我那個時候已經感覺到了
我對我們的業務已經熟悉到
會有一個差不多的mental model
就是當發生了一些產品的變化
或者是發生了一些業務的變化以後
我大概能感覺到這些變化
對於我們那些metrics的causal impact是什麼樣子
然後後來做AB實驗一般也都能發現
和我心中的這些mental model
是得到的預測是吻合的
所以現在當我接觸一個業務的時候
我會盡快的去幹兩件事
第一個是盡快的去找一線執行的經驗
就是當一些人他在一線做了很久的時候
他的體感其實是非常重要的
他是你整個mental model中
幫你calibrate你這個model對不對
一些關鍵參數對不對的
一些非常重要的impose
第二個就是把整個業務的邏輯上下游和整個系統釐清
這樣子的話你才能找到到底哪裡是關鍵點
你也能看到很多別人看不見的機會
好的 我把剛才的一大堆話總結起來的話
我覺得我們數據科學家要幹的事情
當然我們的長處是數據
我們的技能是數據
可是我們要做的最本質的事情
是用科學的方法
用這個scientific framework
去構建關於你業務產品和顧客的模型
最後從中得到正確的結論
當業務發生了不管什麼樣的變化也好
或者說你自己從中的思考
會derive出來很多值得做的事情
從而幫助你們的公司和組織做出更好的決定
好的 這是我最近的一些感互
可能有很多不對的地方
我也希望跟大家一起討論
我們這期視頻就到這裡
下期再見 拜拜