Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
好 那說完GBT吧 咱們說說看你自己
剛才有看過一個小夥伴叫楊麵 他問呢
你自己平常的信息來源有沒有什麼推薦
比如說什麼書 可以推薦
看看這個問題在哪裡
我找一下
怎麼形成自己的認知體系的平常的信息來源
有什麼推薦嗎
這個問題是我們打算最後問的
但我正好看到小夥伴提問了 我們現在就問一下
具體的問題是怎麼形成認知體系的還是怎麼樣
你的認知體系 我已經上牆了 你看一下
寫作是最重要的
我覺得不不不 就是太多了
你想我讀博士的時候讀了多少論文
然後看了多少書
你讓我說一個小時總結一下 我都總結不出來
而且也不是所有的博士的思路都是一樣的
我在工作中也有很多很重要的時刻
或者說我包括讀博士的時候還去創業
對 都是很關鍵的東西
我覺得可能幾個比較重要
第一個是寫作
一定要多寫作
然後一定要找自己有強烈的觀點東西去做
要試圖把這件事情給寫清楚 而且一定要原創
不要說去寫一些抄別人的內容
就是拿著一張白紙從頭寫
就是要把一個事情從頭到尾說清楚
這個是很重要的
第二個就是一定要想方設法的從實踐中積累第一手的資料
而不要去消化別人的
就是直接去拿別人的觀點和結論
就是你能付出 你是個複讀機
那這個東西肯定是形成不了認知的
所以說你一定要去得到第一線的經驗
然後去加以自己的判斷
第三就是形成自己的認知模型
或者說是心智模型 或者說思考框架
就不要怎麼叫它
總之就是你要能對每一件事情都能形成自己的判斷
也知道它在不在你的認知範疇之內
我覺得這三點可能都很重要
那你是怎麼做的呢?
比如怎麼形成自己的思考框架呢?
就是會去通過書籍啊 跟別人聊天
這些渠道應該都會用 是不是?
思考啊 就思考
我舉一個具體的例子
你可以問我任何一個問題
然後我給你剖析一下我是怎麼想的
那就比如說剛才我們問你的問題
就是ChadGBT會在國內跟國外有多大的差距
這個問題你當時就說到我們直播間差點
大家評論就要吵起來
這個問題是怎麼想的?
就是我會去質疑這裡邊的很多大家不加質疑的觀點
比如說大家看到了什麼
科曉訊飛發了一個PR文章
然後說自己的日本母親怎麼樣了
那我第一反應就是說
去想所謂批判性思維
你先去想一下這個東西到底成不成立
那你先去看OpenAI是怎麼做到GPG4的
它是人才密度極高
然後中間走了很多彎路
然後3.5和4都是隔了一年半兩年以上的時間
然後你再去真的去看他們的第一手資料的話
你會發現中間是經歷了很多很多的困難
然後你說那科曉訊飛這麼快就做出來了
它有什麼可能導致它特別快做出來呢?
是不是因為直播是大家之前不知道這條路可行
然後OpenAI走了很多彎路
所以導致OpenAI浪費了很多時間
那這樣科曉訊飛在沒有走彎路的情況下
就可以更快的達到呢?
然後發現不是
OpenAI一開始就對他們的目標非常堅定
他們對方向也非常堅定
所以說他們沒有走太多的彎路
然後他們的這個算力啊
他們的這個方法啊
他們的工程的積累
就是比如說你要去訓練一個不屬於一個大模型
不是說一張顯卡然後跑一跑就完了
洗洗個代碼
你把幾那麼上千張卡上萬張卡串起來
然後讓他們的並行運算
那本身就是一個非常非常吃工程的事情
就是這裡面有太多坑了
所以說你就說
那科大訊飛能不能馬上就解決呢?
然後發現不是的
就是如果說你在這裡邊再往下鑽研下去的話
你會發現這在行業裡面都是一個很難的事
谷歌可能會做
但是在其他的行業
就是大家想解決
把一千張卡串到一起高效的運轉
是很難的
那科大訊飛不見得
它有這麼多卡
第二它有了也不一定能利用的好
甚至就是看這裡面最簡單的
就是文本的清洗
然後你會看
網上都有公開的資料
如果你去問這些問題的話
就是
比如說它的文本
它會發現
增加了一些文本以後
它的這個模型的效果反而會出現下降
然後他們就花了很多人
去做這個文本
然後他們去
花很多的人力去標註數據
他們在2019年的時候
跟Scale AI
就是用他們的博士來去非常
和別人用一個非常非常不一樣的方式
去標註這個人的數據
就是我們現在看的是
2012年的時候
他們在幹什麼
他們2019年做的事情
已經是和我們完全不一樣了
那行
你知道了
就是在你抱著這個問號
去了解了這麼多問題以後
你就說OK
那我覺得科大訊飛不見得
我覺得科大訊飛
說了這件事情大概率不是真的
然後你再去看他為什麼要去這麼說
然後你又說啊多潔士
這所謂的批判性思路
多問
然後多去網上去
把一個大問題
拆成一系列的小問題
然後在網上去收集信息
去回答這些小問題
要串在一起看
是不是能回答這個大問題
聽起來
你剛剛是做了很多的資料收集
閱讀各種各樣的報導
是不是
對啊
就是別的人可能聽
就是別的人可能聽到說
舉個例子,一個很小的新聞
這個小的新聞是XGPT裡面中文的語料大概佔了3%
代碼的那些眼睛就不說了,這個很有關的,先不說
然後說為什麼只佔了3%
是因為中文語料不夠多嗎?不是的
是因為他們發現把中文加多了以後,模型的質量下降了
那這就第一,背後證明了什麼?
就證明了第一,中文語料可能我們現在互聯網公開的語料效果未必很好
所以說你一個大模型想要基於純中文的語料去訓練的話
應該是很難訓練出來很好的能力的
第二,他們很明顯能得到這個結論
說明他們在這裡邊的各種組合下了很大很大的功夫
他們能知道加了減了到底是什麼
就是他們的語調一定是經過很多的不同的嘗試的
然後你知道他們進行了嘗試了
你天然就會有好奇心,就是說他們還做了什麼樣的嘗試
然後就看,他們在清洗這個數據和構成高效的數據集上也下了很多很多的功夫
那,你就通過這樣一個小新聞,知道了OpenAI到底清洗數據上需要花
就形成了一個要想訓練一個大模型,把數據給清理好
到底有多難的這麼一個基本的認知
然後你再親到了一個公司說,我三個月就可以把大模型做出來
你就會去想,他三個月能不能把該清洗的文本給清洗好
如果他連這步都做不到的話,他憑什麼說他能把這個大模型給做好
那你的信息來源主要是哪裡呢?
比如說剛才關於OpenAI數據怎麼清洗
這些都是互聯網上公開的信息嗎?
還是說你為了去回答一個問題會去找一些很多人去
你也在我那個嘉林派的群裡嗎?
那個就是我覺得我就是有點收集寶藏的感覺
就是我看到了一個人寫的文章寫得很好的話
我想方設法認識他
然後通過其他人認識他,然後把他邀請進來
這樣人類形成了一些比較高質量的集合
比如說我的第一個這樣做的人就是微博的張俊霖
我看到他在知乎上寫的一些大約模型技術經驗等等的這些文章
我覺得那是我的第一個最底層的認知來源
然後我就趕緊想方設法的確認識了他
然後我也把他的所有的前前後後寫的
就是他可能寫了三年吧
就是他這裡面真的關注了蠻久的
就是把Transformer到底是什麼
然後這個Offer就是這些東西
包括這裡面Funtune各種各樣的In-context learning等等
這裡面的所有的技術他都講得非常非常清楚
原來真的是花了很多時間把這裡面的東西講得很清楚
那就去看吧,這個文章就在那
我自己的文章裡也有引用
對,就是你得自己先想搞懂,然後你才去花這個時間
真正的那些資料沒有什麼
就是大家覺得好像是一些什麼書或者說是一些什麼秘密資料可以告訴你
不是的,就是所有東西都在那
就是Sam Altman或者說是這個OpenAI的這個科學家們
這個CTO們他們做的這個公開訪談
他們去介紹自己的工作
甚至OpenAI網站上的那些論文大家有沒有去看
就大家在這裡抱怨說就是不知道自己叫什麼
好像似乎,其實就好像似乎有一些特殊渠道能得到一些信息就怎麼樣了
但是其實真正我家的東西還是在這個公開信息裡邊
公開的免費的信息都有的
大家真的去看了嗎?就是有多少人看了OpenAI的這些論文呢?
對,我覺得很多人可能就是等著別人把這個結論告訴他
但是很少會花時間
然後又不知道對自己有什麼用
然後可能就不會去花這個時間
然後就可能等著一個信息告訴他面前
告訴他這個結論
包括有小夥伴問我的孩子應該怎麼樣怎麼樣
我的孩子應該做什麼專業,找什麼工作
其實很多時候也是自己也沒有去了解太多
然後等著別人給一個自己的答案
大家想要的是聰明藥,大家想要的是一個小藥丸
然後吃了這個我就全懂了,沒有這個藥丸的
大家真的要有這樣的好奇心
我昨天早上想起來我今天早上剛發的一篇公眾號的文章
就是Paul Graham最近新發表的文章
叫做《如何成就偉大的事業》
那裡面他提到好奇心這個詞提到好多遍
就是你要用好奇心去引導自己去做出一個偉大的事業
不要等著別人給你答案
然後你要找方向的話就沿著自己的好奇心
那我覺得可能除了在事業這個方面要有好奇心
包括我們生活中遇到問題也是像賀代表這樣
多去問為什麼,然後多去挖
因為你不知道你的這個問題會把你帶到什麼樣的地方
說不定你發現了什麼別人沒有發現的東西
然後發現了你自己的這個寶藏
我覺得別人沒有發現的東西都是都不重要
就是你能形成自己的思維
你能得到一個真正的結論
就是哪怕這個結論再小但是是你自己的
對,我覺得如果是創業的話
可能你要發現別人沒發現的機會還是會贏
當然最重要的不是說我要找到一個別人沒有找到的機會
但最重要的還是幫助自己
建立自己的這個認知還有思維體系
就是你聽了別人說一件事情你可以去嘗試一天
但是當你發現這個東西行不通的時候
你有沒有信心去嘗試一百天
如果是你得到的機會
你大概就知道他為什麼第一天做不了
第十天可能也不行
然後你要堅持一百天才行
但是我現在告訴你你只要做這件事
做一百天你就能賺錢
你真的能堅持一百天嗎
我覺得大多數人堅持不了的
這不是你的結論
這是別人告訴你的你大腦就不相信這件事