Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
大家好
今天我想跟大家聊一下
Data Scientist這個職業到底是幹什麼的
因為這算是一個比較新興的職業吧
又算是一個比較熱門的行業
那所有很多東西都會跟它扯上關係
但是數據覆蓋的範圍又很廣
所以說不同公司
或者說這個不同行業
對這裡的定義
也會非常不清楚
大家就會有
可能在行業還是業外都會有很多困惑
比如說有的人
就會覺得Data Scientist是做
Machine Learning
是做機器學習或人工智能
有的人是覺得做數據處理
有的人是覺得做商業分析
那我在今天在這
我想講的第一件事情就是
從整個數據的使用過程
把這些不同的職位
給這個梳理一下
做一個分類
第二呢我想具體講一件事情
就是說人工智能
到底是不是Data Scientist
最應該去做的事情
或者說是不是Data Scientist的
比較優勢
因為現在絕對都是Data Scientist
其實都是在往人工智能的方向轉
第三呢我想就是
基於我自己的一些經驗吧
去說一下這個Data Scientist
尤其在傳統行業
在傳統行業
尤其在傳統行業
到底有多少價值
或者說
一個Data Scientist
我們現在看到的是在這個
科技企業有很多的Data Scientist
似乎也在不停的創造價值
但是傳統行業裡邊
Data Scientist可能還不是一個
正在用起來的工種
那我最後想說
想看一下就是說
為什麼會發生這樣的現象
和未來會是什麼樣子的
就是這個職業的未來前景
是什麼樣子的
行 那就從第一個話題說起吧
就是
整個數據過程
到底都有哪些部分
和在這裡邊
到底Data Scientist能細分出來哪些工種
第一個
就是數據其實
它首先要被產生
如果說是四個階段的吧
就是產生數據
然後儲存和使用數據
第三個是分析數據
第四個可能是
第三個的一部分
或者說是現在的人工智能吧
就是決策自動化
第一部分是什麼
第一部分就是說當你產生一個行為的話
你要把數據記錄下來
有了數據才可以使用
這個時候你可能就要設計到一些
這個軟件上的買點
像你用戶
像你如果是硬的東西的話
你可能一個東西進了倉庫你要記下來
然後出了倉庫你要記下來
買了你要記下來賣了你要記下來
所有這些記錄數據的過程
它有的時候是軟件工程師的工作
有的時候是整個留生設計的工作
總之你要先把數據記錄下來
那第二部分
就是Data Engineering的範疇
Data Engineering
就是你要把這些數據給存起來
有的時候你數據多了
你就要知道怎麼樣存起來便宜
怎麼樣調取起來方便
你有的時候
有的時候就有數據壺
或者說是
大家要運到各種各樣的後端的技術
去做這個兵發之類的
去把這個數據
可以保證它能被
儲存和被高效地使用
這是Data Engineering
當你這個數據都存下來了
以及能按照你想要的
這個模式去使用下的話
接下來就是對這些數據
進行分析了
數據進行分析是
就是
它由簡單到複雜吧
簡單的話你用Excel
就是你把數據拿下來
去做一個對比
其實比較兩個平均值
有的時候就能得出來很多結論
那稍稍複雜一點
這裡說的複雜是工具上的複雜
或者說是這個方法上的複雜
就是你去
使用一些統計模型去做做預測
去做做定價
或者說去做做
去做這個Causal Analysis
總之就是
有簡單有複雜吧
數據是可以產生出來很多結論的
這些結論呢
有的時候是一些洞察
有的是一些叫
Actionable Insights
就是你可以直接使用的
那就會影響到你的商業決策
如果說你的這個數據
最後去影響到的商業決策
在這裡看來就是
這個數據產生了價值了
最後一點就是決策自動化
所謂決策自動化
就是
尤其現在Machine Learning在做的
絕大多數事情都是這樣子的
比如說我們在數據裏面看到了
一萬個產品
一萬個產品裏面有一千個假貨
那我們用這些數據去
去Train一個
Machine Learning的模型
接下來
我再給一個新的東西
這個東西是真貨還是假貨
這個就是決策自動化
從這些地方來看
其實
我之所以把這個決策自動化放到最後一個
是因為
現在在數據科學裏面
我覺得大概有一個比試鏈的
比試鏈就是
薪水最高的
是做人工智能
做機器學習
接下來可能是做
Data Engineering
工程
因為做Data Engineering
需要你對這個
就是
後端數據庫
有很深的理解
這種人才是很稀缺的
這種技術也是比較難獲得的
而且他在工作中也可以不斷
積累相關的技術
所以說也是一個比較稀缺的人才
反而這種
我們大家理解的
數據科學家
有很多人在做的
這種商業分析
產生結論影響決策
這件事情
相對來說反而在比試鏈的底端
這就導致了很多數據科學家
在職業發展的過程中
會去追求人工智能
我在這深有體會的是
尤其在傳統行業
大家說自己是
數據科學家的話
一般接下來的介紹都是會說
自己在做什麼樣的人工智能模型
在我看來這不是一個特別好的現象
但是一會兒再詳細說吧
所以說比試鏈是有這樣一個比試鏈的存在
那就直接說好了
為什麼我會覺得人工智能
不是數據科學家的歸宿
或者說不是我們特別值得追求的
我們的比較優勢
是因為
這樣子的
在絕大多數的數據科學家入門的時候
都會去開口上帶來比賽
或者說他們學習的時候
都會學一些人工智能的東西
人工智能的東西看起來
也跟數據非常相關
你先拿一堆數據
最後他預測比如說開口上非常有名的
你預測太太英科號
給你這些人的數據
你預測他的生存機率是多少
這看起來就是很數據科學的事情
但是真正在公司裏邊
現在人工智能的這些工具
都是開源的
也有非常好用的框架
80% 90%的問題
都是一個工程問題
什麼意思呢
就是它有一個已經限定好的
限定好的目標
限定好的你需要優化的東西
比如說你的position
比如說你的fm score
這些東西
在這之後你只需要
去知道調用哪個模型
去怎麼樣調參
最後怎麼樣去
把這些數據給做上去
把這些精度給做上去
就行了
這其實是一個工程問題
而不是一個科學問題
當然了就是有一些數據科學家
他是會去調查
他會去調查
有一些數據科學家
他是會要自己去
開發自己的模型
或者說給予已有的模型進行優化
但是
無一例外
能做這些事情的所謂
數據科學家
他們應該更多是數據工程師
或者在科技企業
叫machine learning engineer
這些人他們其實
無一例外工程能力都是非常強的
你在這個科技
企業也慢慢看到了
比如說在Facebook
他做machine learning的人
就叫machine learning engineer
而不是machine learning scientist
在亞馬遜是叫apply scientist
他有的時候內部也會叫
machine learning scientist
但是其實就是一個
相關專業的PhD
但是你還要過一個coding bar
就是你要有一個軟件工程的
編程能力
這樣你可以把你
寫的model
寫的這些人工證的模型
直接應用到
這個產品上
為什麼需要一個coding bar呢
其實把他產品壞的能力是一個更重要的能力
真正的這些模型很少
有自己開發主要還是去
調用網上現有的模型
加一些調參
而且我們現在看到Google的這種
AutoML, Amazon的Sichmaker
這些產品已經
把很多的東西都自動壞了
所以說你只要把你的training set
放上去
把你的目標放上去
他調參都可以幫你自動調
所以慢慢的這些工程問題
都是應該由工程師來解決
只有一小部分的人會去解決
在這裡邊的科學問題
比如說到底應該用哪些模型
或者怎麼樣去把這個模型變得更好
絕對多數的數據科學家
我不覺得未來
會是去
在這種工程問題上
比較優勢
那為什麼很多數據科學家現在還是在
做這件事呢
我覺得第一還是人才不夠
尤其是在很多這種
傳統企業它沒有那麼多的
軟件工程師的資源
數據科學家在
很大一定程度上是承擔了
軟件工程師的這個職能
在另外一方面
數據科學家確實
人工智能畢竟還是
統計模型之一吧
現在的數據科學家還是統計模型之一
那你
有一整套統計知識以後
你去理解這些
數據科學家的模型是比較
順理成章的事情
你只要在會協協買就行了
這算是我們
暫時的一個比較優勢
但是你如果想做一個大規模的
這種數據科學家的模型
我覺得最後還是工程師
最適合來做這件事情
這是我的結論
但是我不覺得數據科學家
會是數據科學家的歸宿吧
那這樣的話就說回來了
為什麼數據科學家
或者說什麼才是數據科學家
的比較優勢
或者我們的價值呢
以及為什麼感覺
大家在有的企業
尤其是在Facebook這樣的企業
數據科學
是一個非常非常非常
重要的職業
就是我自己在工作中
甚有體會
就是如果這件
大家在討論
一個決策的時候
所有的問題都是圍繞數據去展開的
你想propose
任何一個新產品
或者說你想改變任何一個strategy
大家所有的探討
都是圍繞數據來展開的
那這時候數據科學家的話語權
或者說
工作重要性也是非常強的
在很多其他的企業
包括我們在網上交流的話
也會看到大家會有這種困惑
為什麼我這個企業
沒有辦法把數據
科學很好的用
我招了一堆數據科學家
為什麼感覺他們可有可無
甚至在很多人現在覺得
在疫情爆發的時候
先採的就是數據科學家
這種矛盾是怎麼產生的
我先說前面吧
就是我覺得數據科學家的價值
到底是什麼
數據科學家的價值
如果回到剛才那個數據
從產生到被使用的全過程來說
最後是怎麼被使用的呢
最後被使用就是
它可以產生一些
actionable insights
它可以改變一個產品的方向
它可以改變一個
戰略的方向
它會make a difference
這個make a difference
有的時候是你的模型去決定的
你的定價模型說這個東西
應該是什麼樣子
你的預測模型說
你這個未來是漲還是跌
所以說我要投入多還是少
但是這遠遠不是
你的決定的全部
真正有價值的決定
一定是對這個business深刻的理解
才能做出來的
舉個例子
假設我有一個產品
這個產品它
貨課成本是一分錢
這是一個網站吧
網站的貨課成本是一分錢一個客戶
然後我的轉化率是千分之一
那我這個東西
到底能不能活下去
可能我如果說
對數據本身有了解的話
我算一算千分之一的轉化率
那我就是
一分錢那我十塊錢
十塊錢大概可以轉化一個人
那我這個東西
只要能賺十塊錢以上
我就可以活下來
那你另外一種費心思路是
你對這個行業本身就有一個比較深的了解
你知道你的競爭對手的
貨課成本是一毛錢
但是他們有50%轉化率
所以說他們的效率比你高
你沒有辦法從你跟競爭對手的長期競爭中生存下來
這是第二層的利器
那第三層就很容易打開了
就是說為什麼他們的貨課成本這麼高
為什麼你的貨課成本這麼低
為什麼他們的轉化率比你高這麼多
為什麼他們十分之一的
就是十倍的貨課成本
但是這是50倍的轉化率
在這裡邊你又可以去做很多分析
比如說是不是你的顧客的
這個targeting
你的貨課渠道
是不是你的產品本身有問題
那你就可以把這個轉化的各個環節給打開
就是有這種漏斗模型
去分析每一步
你客戶顧客流失了多少
如果你對這個行業平均的水平有一個了解的話
你也可以看到你出的問題出在哪裡
或者說可能你產品本身就不對
就是你賣的就不對
是吧
或者說是一些其他的問題
但是這些所有的問題提出來
和被解答
都是基於你的商業理解之上的
而不是任何這個模型可以告訴你的
這在我看來是數據科學家最大的價值
因為你離數據最近
你又有
對數據的一個科學的態度
如果你配上了你的這些商業理解的話
你應該是能產生出最有
你應該是能最先發現
最早發現問題的人
和這個提出最有價值建議的人
這在我看來是數據科學家真正產生價值的地方
那為什麼在很多其他的行業
或者傳統行業吧
就是數據科學家沒有辦法做這件事情
第一我覺得就是
大家很多行業並沒有REGIT
就像我剛剛說的這個數據
從記錄到被使用的過程
很多行業它沒有什麼數據
就是
或者說數據質量非常之差
比如說
我們國家的保險業之類的
就是大家不願意把數據記錄下來
或者說是因為自己的一些利益吧
那你叫上來的數據也是假的
你在一個假的數據上怎麼分析
在一個實際上怎麼分析
那你假設有了一個好的數據
和這個
就是起碼是一個信得過的數據吧
可能你的硬件又跟不上
你沒有辦法把數據很好的存起來
也沒有辦法很好的使用
那你能做的事情就少
那另外一方面是你數據的維度太低
可能你只有在你平台上發生的極限行為
你可以被記錄下來
舉個例子啊
你本來可以在網站上記錄
這個用戶留存了多久
在每一步都點了什麼東西
然後
他可能在那個
他是從什麼渠道來的
甚至你可能還想辦法獲得一些
關於用戶其他的這種特徵數據
但是可能
如果一個就是
平台做的稍差一點的呢
他就只知道我幾個人進來了
幾個人買了
我們其實可以想像一下超市
超市其實是可以產生很多很多的數據的
就是比如說
用戶在什麼時候誰進來了
然後他的購買頻率是多少
他偏好是什麼樣的產品
然後他這個
他跟季節有什麼關係
或者他的課單價
是什麼
你的產品如果放在哪裡
他的轉換率更高
這些都可以有
但是我在我想像中
現在的超市並沒有做到這一步
就是說明他是連數據的有效
有效記錄都沒有做到
更不要說有效利用了
所以
但是
但是這也是數據科學
在這些行業中的價值吧
當你
有這些數據記錄下來的話
其實你的這些很多商業行為
原來是拍腦袋進行的決策
現在都可以被數據
更科學的去引導
這樣的決策
所以我覺得這本身是數據科學
未來還有很大發展空間的
一個
一個我自己的想法吧
那最後我就是稍稍總結一下
就是
我提出一個框架來總結一下
數據科學到底他的範疇
是什麼
就是回到還是回到原來這個
問題就是數據是
數據的作用是為了輔助決策
那他輔助決策
決策有幾種吧
我把它分成三種
一種是工科的一種是理科的一種是文科的
或者說一種是工程一種是科學一種是藝術
工程就是
剛剛說的這種決策自動化
是吧
到底這個東西是假貨還是不是假貨
一般有一個確定的答案你只需要把這個答案
做得更精確就好了這是工程的決策
那藝術的決策是
就是你可能這中間沒有什麼
證據可以輔助你的決策
你必須要拍腦袋
比如說馬英決定要不要做淘寶
比如說喬布斯決定要不要做iPhone
那可能有數據你可能看到了
這個發展
但是最後你要去做這個
孤注一擲的努力的話這些數據是不足以
支持的不然每個人都去做淘寶了
每個人都去做iPhone了是吧
就是你最後這些東西肯定是一個
藝術的決策但是在
企業運行中啊
就是這中間大多數的
決策還是可以是科學的決策
的包括你哪一個
這個東西你手上
有三種活
你有三件事情可以去做
這三件事情到底哪個更
值得做哪個優先級更高
你做了以後
你最後會你最後會達到一個
什麼樣的效果如果你的數據
足夠豐富的話這些很多
問題都是可以被回答的
這就是
我覺得數據科學
就是用數據去
科學的輔助決策
或者去引導決策
就是數據科學的意義吧
這
也就是我覺得數據
科學家未來
職業發展的定位
總結一下的話就是第一
你肯定是要對這些統計
知識很瞭解
這樣的話你的包括你
這個就是你寫鞋扣
或者說你去做Python的能力
基礎能力也需要有你才
可能去調用一個比較
強大的運算能力
去調用你的數據你要能很好的
掌握你的數據你要讓數據能
很好的為你所用
第二你要那個
你要有這個基礎就是
要比較好的統計知識嘛
這樣的話你做出的決策
或者說你給出的建議你做出的分析
才有可能是科學的才有可能
是這個被大家信任的
第三我覺得就是
真正是最重要的事情
是你要對這個商業
有好奇心
要不斷地去理解商業
這樣的話你才可以
讓你的數據
在你的手中發揮出最大的價值
和讓你給出
最有影響力的建議
好的
今天就講這麼多
謝謝大家哦對我這是在
西雅圖的
美國西雅圖的Green Lake
今天天氣也不錯就出來邊散步
邊跟大家聊聊天拜拜