Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
Hello 大家好,歡迎來到課代表講數據的第一期
就像上期視頻Promise大家的那樣子
我從這些開始就會跟大家分享一下
我跟數據打交道的這麼多年
這些工作裡邊積累的心得和體會
今天的第一期
我們就從上一期視頻的留言裡邊選一個小夥伴
來講一下他感興趣的話題
是林洪山同學
他問DS有很多不一樣的方向
想聽聽是怎麼挖掘自己Focus的方向
自己的優勢
專精成某個方面的Data Expertise
這個問題其實我覺得挺有趣的
因為就是Data Science這件事情
從來沒有被準確的敵犯過
我之前在這個兩期視頻裡邊有講這件事
我今天就把它拎出來,然後再單獨講一下
因為尤其很多這個就是求職的小夥伴
他們畢業了以後發現
想去找一個DS的工作什麼都要會
就是統計概率不用說了
寫SQL
然後做Data Visualization
各種各樣的這個數據的Type plan的Tool
包括AWS的Asmium Redshift這些東西
有的時候還要會做Mesh Learning
還要會一些基礎的Coding
然後還要去學各種Product Sense
商業分析等等
還要學會各種增長框架
就是這麼多東西你去學的話是學不完的
也不可能每一樣都學得很精
所以說找到自己喜歡什麼
然後覺得找清楚自己的方向
從在學習的時候就從這個就為這個方向去努力
是很重要的
那我這些視頻
我就把數據相關的工作分成三個大類
一個是Data Engineer
一個是Data Analytics
一個是Data Scientist
當然了很多人都會用Data Scientist
來指代這些所有的東西
我會把這裡邊的Data Analytics
和Data Scientist做一個區分
那麼就從Data Engineer開始說吧
Data Engineer其實很簡單
就是你把數據工程
很多時候你在產品或者商業行為中產生的數據
然後這些數據被存儲起來了
可是要利用它的話
其實還是一個很複雜的過程
因為現在都說大數據
然後要說人工智能
你大數據就代表著數據量特別特別大
然後人工智能很多時候它的這個模型
是對速度要求是很快的
比如說你去Google搜一個東西
你都是要好秒級
或者說抖音也好
Facebook也好
或者各種各樣的廣告系統也好
它都要做到千人千面
而且是一個好秒級的推薦
個性化的推薦
這裡邊可以看到對速度的要求是很高的
大家其實就可以用這個內存和硬盤來做一個理解
內存就是相對它的存儲空間少一點
但是它的速度特別快
硬盤呢就是它的這個存儲空間大一點
但是它的速度就會慢一些
而且你機械硬盤和這個固態硬盤比的話
固態硬盤更快更小
然後機械硬盤更慢更大
所以說這些東西都是有取捨的
這樣就可以看出來
有一個好的Data Engineer
你的數據才有可能發揮威力
很多公司它的數據沒有做好
很多時候是缺乏好的Data Engineer
而不是缺乏好的Data Scientist
我之前就聽說過一個故事
就是一個著名的藥廠也賺很多錢
但是它的Leadership對Data這個事不懂
它一上來就想上那些Deep Learning這些東西
可是招了很厲害的人過來一看
發現基礎的數據都沒有都是不全的
那最後折騰了一段時間就走了
巧妙難為無米之炊嘛
所以說Data Engineer本身很重要
如果大家特別想了解的話
我們以後也可以請嘉賓來幫我們單獨講一講Data Engineer
這就不展開了
那我們就說Data Analytics和Data Scientist吧
我在這裡邊也會舉個例子
就是說什麼是好的什麼是不好的
我這裡做的區分呢
就是Data Analytics一般是不使用一些複雜的模型去解決問題
然後Data Scientist一般會要使用一個複雜的數學模型去解決問題
然後Jor其實大家有一個普遍的誤區
就是好像有一個筆實列
覺得就是做ML的看不起做DA的
我覺得並不是這樣子
就是解決問題
從解決問題的複雜程度呢
和解決問題的價值來看
兩邊都有他們很有價值的地方
也都有他們很複雜的地方
我們就從Data Scientist來說吧
就是需要用模型來解決問題的
其實之前用模型解決問題這件事情更普遍一些
尤其很多做Operation Research的
包括我們做經濟的
有Time Service Model
或者所有的Causal Inference Model
我們都是在用模型解決問題
但是現在市面上
Predominantly絕大多數的都是ML Scientist
就是用Machine Learning去解決問題
這裡邊是因為首先
ML確實發展的很快
也有很多問題確實很適合被ML解決
我在前面的那個人工智能
在大廠應用裡邊也有說
我覺得這個世界上還有很多值得被ML解決的問題
還沒有被解決
所以我很看好在這裡的應用場景
但是不可否認的是
很多地方的Leadership
他聽說這個ML
聽說AI就覺得這個東西是一個Best Word
我們也想用
有的時候這個Business未必適合
或者未必Ready去用ML解決
他們就想上ML去解決問題
我也聽說過很多這樣的應用場景
這個不光是傳統企業
我有一個數據科學群
然後我就會看到裡邊有一些大廠的同學
會問我們的上了ML的Model
效果不如Ruby's的System
那怎麼辦
在我看來你就用Ruby's的System好了
你幹嘛要上ML呀
還有我的一種例子就是說某大廠
我就不說是哪個某大廠了
他們有一整個Team去做一個非常複雜的
Time Series的Focusing
後來有一個經濟學家來了以後就說
Guys你們這個Data Point只有幾百個
又不是幾百萬個
你們用這麼複雜的Deep Learning Model去Focusing
真的能Focusing準嗎
我給你出一個方法吧
你用過去的六個Observation的中位數
這就是你們下一次的預測
後來Leadership還真的就把這兩個模型放到一起比較了
然後每次六個Observation的中位數的Prediction
都比複雜的ML的Prediction要準
所以這個故事就是想告訴大家
ML不是適合所有的商業問題的
然後大家也不要盲目ML的威力
雖然它確實有很厲害
然後確實用前景也很廣闊
那這裡就是好的例子
好的例子就是說你這個科學家
你一方面你知道ML怎麼樣子
你知道什麼樣子的問題適合被ML解決
你能把你的商業問題非常好的寫成
ML系統的Objective Function
你能去優化你的這個問題
你能去得到你需要的數據
然後去把這個問題很好地用ML去解決
更重要的是你要有工程能力
就是我們發現很多
如果不是在互聯網大廠
它沒有專門的Engineer
很多數據科學家
頂著數據科學家的Title
會說自己做ML
但是其實就是把現有的模型帶到包
這個東西就是你拍相上調個Scaler
其實你學了一下我就學會了
調個包解決一個問題
似乎在用ML解決問題
但是其實寫出來的東西是不能被工程化
不能被大規模應用的
最後也導致這個東西就淪為一個噱頭
而不是真的去解決問題
在我看來很多ML的問題
更多是工程問題
而不是科學問題
但是這就是另外一個話題了
總之我們就說數據科學家這一塊
主要是用複雜的模型
相對複雜的模型去解決問題
然後這裡邊絕大多數
現在都是用Machine Learning的Model去解決問題
Data Analytics是幹什麼的呢
Data Analytics一般不太用複雜的模型
他們會去分析一個商業
你分析一個商業的時候
比如說我在Facebook
我就是用SQL加Tablo去解決問題就好了
有的時候用PPT有的時候用Document
我在亞馬遜其實是用很多ML Model
再加Economics Model去做Causal Inference
所以主要是用Python Scaler
但是來了Facebook用Python的機會都很少
為什麼
因為其實很多問題你的價值是在於你對商業的理解
和你對一個複雜問題的理解
你是Frame這個question的能力
和把這個Frame出來的這個Business Question
轉化成一個數據的question
或者說是一個數據可以被驗證的這個hypothesis的能力
而不是你去用模型解決問題的能力
剛才說的對商業的理解
然後對複雜問題的理解能力
Frame的能力和Operationalization的能力
都是一個商業分析都是一個Data Analytics非常需要的能力
其實今天週四晚上就在我拍這個視頻的時候
我的數據科學群裡邊幾位大佬們還正在討論這件事情
包括其中有快手的宋世鈞
也算是我們數據科學界數據分析界的泰山貝德勒
他就說這個硬能力是好培養的
軟能力是很難培養的
或者大家不知道怎麼培養
所以說比如說你在看Facebook的DS Analytics的面試裡邊
他就會非常著重考察於你思考問題的能力
而不是說你SQL寫的怎麼樣
我當時去Facebook的時候我是用拍相過的那個tech面試
我都不怎麼會寫SQL
所以一個好的Data Analytics
你會使用各種各樣的工具
從簡單的到複雜去分析清楚一個商業問題
然後幫助商業進行更好的決策
這裡邊一個非常非常重要的武器就是Causal Inference
所以說除了我剛剛說的那些軟的能力以外
非常硬的一個能力就是一定要知道Causal Inference
你要能明白你做A會導致B
而不只是Selection Bias而已
這裡我到時候也會細講
但是總之就是軟能力加上Causal Inference的能力
我覺得是Analytics的核心能力
這裡邊不好的Analytics
或者說做得不是很開心的Analytics
Analytics很多時候就是淪為產品的取數工具
就是它的能力建立在寫SQL拿數據上
然後就是當你的Business Partner跟你要什麼數據
你給他提供什麼數據
也許你可以把這些數據Visualize一下
做成一個Dashboard,做成一些Pipe plan等等
但是這裡邊你沒有Ownership
這裡邊Ownership分兩點吧
一個是你用這個數據去解釋商業問題的Ownership
另外一個就是你去解釋了這個商業問題
產生Impact Ownership
總之就是你數據分析做得好的話
你應該是Decision Maker
或者是Decision Maker中的關鍵一員
而不只不過是給別人的決策提供一個參考而已
好的,這就是簡單的分析
回頭說一下DE,DA和DS
我接下來的這些視頻的分享
我也會著重的強調DS和DA的這些分享
比如說我前面幾期視頻
就會講一些我對人工智能和Machinery的理解
那我們下期再見,拜拜