Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
拆GPT的出现对我来说无疑是狗
突然会说人话
而且这件事情是New Bin已经做到的
拆GPT只是没有把它开放出来
如果你的算力和你的信息
明显会不如拆GPT
你的态度
然后你的eGo
然后你的这个心地
你的理性都不如拆GPT
你的判断力和你的思维能力
再不如拆GPT的话
那你还剩下什么呢
大家好 欢迎回到KW正
今天我们聊拆GPT
已经有很多小伙伴
呼吁我去聊拆GPT了
其实我写了一个文档
这个文档我一直更新
现在我上次看的时候
已经有18000次了
把我对拆GPT的各种各样的理解
尤其是对技术的理解
它到底是什么
能颠覆什么
怎么应用等等
全都写在了那个文档里边
我在这里把这个文档的二人来放在这儿
欢迎大家去看
也欢迎大家去收藏
那个文档我会提出非常非常强烈的观点
我不会说那些正确的废话
我其实说的是非常非常强烈的观点
它到底有什么不一样的能力
和之前的人工真的有什么不一样
它到底能颠覆什么
为什么能颠覆这些东西
国产探模型到底有没有前途
我也会有一个非常非常明确的结论
但是正因为有这些非常强烈的观点
我非常清楚这些观点的来源
所以说当我遇到了一个
我没有见过的东西
或者说当我知道我中间的一个factor
被改变的时候
这些观点都很有可能是变化的
这就叫所谓的strong opinions weakly held
总之
那个是我推荐大家去看的
我觉得聊拆GPT是一个很长的话题
所以说我们今天就简单上一下结论
如果你是一个结论党的话
到这就可以结束了
但是我聊完这些结论以后
我会马上去讲一下
为什么做一个结论党
对于自己的认知是没有帮助的
那好 我们直接就上结论吧
第一 拆GPT和过去的machine learning
是有一个极大的范式不同的
过去的machine learning
只能寻找对应关系
而拆GPT能理解
如果用一个例子的话
是2017年朱宗纯教授
讲人工智能与智能的关系的时候
提出来的一个鹦鹉和乌鸦的例子
鹦鹉只会模仿人说话
但是它其实是在模仿这些话
它根本就不知道这些话是什么意思
但是乌鸦是对这个世界有理解有思考的
这其实是一个很神奇的比喻
而且在那篇五年前的文章里边
现在可能快六年前的文章里边
朱宗纯教授就说
我们所有的人工智能学者
应该以乌鸦为图腾
去寻找乌鸦的智能
今天拆GPT出来了
它就是具备了乌鸦的智能
这在我看来是非常非常颠覆
和非常非常不可想象的
因为我之前的工作
跟Mush Learning是太相关了
我自己的频道还有那么多视频
去讲Mush Learning
尤其是讲Mush Learning
在这里边的Limitation
因为它只能做寻找对应关系这件事
所以拆GPT的出现对我来说
无疑是狗突然会说人话了
就是我真的我看到拆GPT
我就觉得人工智能有理解能力
就好像狗会说人话一样
但是我觉得我们的人类就是这样子
今天听到狗说人话
可能三天后也觉得
这是一件稀疑为常的事情了
不就是
它是一个非常非常颠覆的事情
我回头会专门出文章去讲这些
我今天就只把结论放上来
大家不用着急
当然最好是看我的那个文章
好
第二就是拆GPT它会颠覆什么样的工作
它会颠覆所有搬砖类的工作
除了真正的搬砖它不能颠覆
但是如果说你是一个在电脑前面
你形容你的工作是搬砖
那拆GPT大概率是会取代你的工作的
取代这样的搬砖类的工作
可能有一个好处
就是它可以极大的减少内卷
什么意思
因为你搬砖这个东西就很明显
很容易被其他人取代
那大家在搬砖类的工作上就只能内卷
只能拼996
那你现在拼996肯定是拼不过拆GPT的
那大家会努力的去思考
如果我不内卷还可以干嘛
所以说它取代搬砖
减少内卷
这是它会对人类工作的颠覆
就是它不是颠覆一类工作
只要你是搬砖类
它几乎都可以颠覆的
那第三个是
这个讲到了刚才拆GPT的颠覆
那接下来我们就讲它怎么颠覆
或者说OpenAI开放了什么是最重要的
OpenAI很明显是对这里边非常谨慎小心
这
它现在不开放很重要的能力
在我看来不是因为它不能做
它们的工程能力是非常强的
它想做到这样的开放
可能一晚上就可以做到了
但是它是担心这样的开放
对人类社会所造成的冲击而没有开放
但是迟早也会开放的
它开放的就是Prompting的长度
尤其是记忆你Prompting的长度
以及它调用其他工具的接口
什么意思呢
大家其实要知道
就是NewBeam它并不是什么拆GPT背后的模型
去有什么更改
而是GPT 3.5放在那儿
模型参数从来不变
你的这些东西也从来没有进到
GPT 3.5的这个参数里边
然后我们在这拆GPT的基础之上
给它搜索的能力
然后再给了它一堆instruction
给了它一堆Instruct Prompting
去教它怎么去使用搜索
然后你的搜索什么是好的搜索
什么是不好的搜索的情况下
拆GPT学会了使用搜索
然后就变成了NewBeam
大家要搞清楚这种关系
所以说它只要把这块
NewBeam和拆GPT之间的这些东西开放出来
我可以去教它一堆话
让它记住
并且让它可以调用数据
或者调用搜索
调用其他的能力
尤其是使用自然语言的方式去调用的情况下
它就已经可以百分之百的
颠覆很多很多的东西了
我举一个例子吧
假设你是一个非常厉害的程序员
你现在看拆GPT编出来的东西
还有很多问题
但是已经有一些地方可以用了
这个时候你给拆GPT开放了所有的代码
让它可以去搜索这里的所有代码
然后你让拆GPT能记住你一万句话
且这一万句话的权容可调
就你可以去教拆GPT一万句话
那你想想这一万句话教出来的拆GPT
它的编程能力会有多强
你想想你用一万句话
如果去教一个人的话
那个人会变成什么样子
拆GPT又有理性又有理解
然后又有强大的算力和无尽的知识
然后它去学真的去听
你只要教的什么它就学什么
这一万句话之后
它会变成一个有多么强大的程序员
而且这件事情是NewBean已经做到的
拆GPT只是没有把它开放出来而已
讲完它的开放
我们就要回归它的本质
它到底是一个什么东西
拆GPT是一个人类调用算力和数据
接近最完美的形态
我再重复一遍
拆GPT是人类调用算力和数据
接近最完美的形态
其实这个观点一点都不新鲜
就是很多人说拆GPT是自然语言编程机
或者自然语言计算机
我们的计算机发展史
其实是算力在进步
数据在增加和进步
就不断的被生产
比如说你在抖音上刷视频的数据
视频本身是数据
你刷的这个行为也是数据
我们积累了很多数据以后
就对这个世界了解的越来越多
算力越来越多
我们就可以更好地去利用这些
更好地去算很多东西
之前的编程
零和一机器
汇编这些东西
我都不说了
到了高级语言
但是其实在网上还有
比如说虚拟机是对硬件的抽象
云服务是对整个Inflat的抽象
APN又是对背后的Inflat
加上很多computing和存储的抽象
其实我们用API已经可以解决很多
尤其Serverless的API
已经可以解决很多东西了
接下来拆JPT
也就是对所有的计算的过程
调用IT的过程的终极抽象
你就跟拆JPT
你现在还有很多步骤
你跟他说我要写一段这个
你告诉我那个公式是什么样子
他已经可以很好的帮助你这一点了
但是到最后
如果拆JPT真的去理解这个系统
理解这个数据库
你就可以跟他直接要一个结果
他可以给你一个结果
像我们这个所谓很让我们难受的
这些Sqlmonkey取树的工作
拆JPT真的可以很好就完成它
所以说记住拆JPT
是人类调用算力和存储的最终极形态
最后一个问题就是拆JPT有多难模仿
其实这个问题是两个问题
我觉得拆JPT我们一定要理解
JPT 3.5是拥有理解能力的大语言模型
它是最难模仿的
它具有的理解能力
是我们现在很多人都不知道怎么发生
但是它就发生了的东西
文章里有一些猜想
这里就不展开了
接下来比较难的东西是什么
是把这个大模型
调校成人类喜欢的模式
那就是他做的这个
Reinforced Learning with Human Feedback RLHF
的这件事情
当然就是这个Instruct范式
然后几步到了拆JPT
拆JPT这个对话形式是很容易实现的
所以说我们可以看到
市面上已经有很多人
可以用一个不管是开源的
还是自己人的
还是怎样的大语言模型
做一个生成式的任务
套上这个对话机器人的形式
就可以去跟您进行对话
当然大家就觉得
对出来这个话非常奇怪
它背后是没有鸭的能力的
我在未来的视频也会展开吧
就是如何去判定
一个跟你对话的机器人
到底有没有乌鸦的能力
也会是一个非常重要的事情
我今天的录制时间是3月12号
我争取在3月16号文信一天出来之前
把这个发出来
文信一言我全心全意地相信
它可以做到一个对话
然后它这个对话也会让你觉得
有的地方make sense
有的地方不make sense
但是其实就是一个真正的智者
和一个智障
在一开始
几句话是很难发现区别的
可是背后的智能
是很难很难做出来的
我不是说文信一言是智障
一定是智障
但是我觉得它很有可能是一个智障
但是模仿出来可以对话的样子
好的我们回来继续讲这里边的复刻
第一就是有可能
已经能复刻出来了
其他的代理人模型也具备理解能力了
这个就没得可说
第二种可能性
而且我觉得它是我默认的可能性
它非常非常可能
就是它很难复刻
它是有一个强工程能力门槛的事情
举一个例子
比如说我们国家的材料科学
芯片和飞机引擎
都是受限于材料科学
那为什么材料科学这件事情就很难模仿
因为它是一个很吃工程能力的
我之前一年多前采访
那个在英特尔工作的芯片工程师
他的工作就是要从结晶的晶体上
去做下一代的芯片
但是结晶的这个晶体
你这一步差了0.1%的杂质
那一步可能就差10%20%的产出
这么多步骤结合到一起的时候
你最后可能你的良品
也就是它的10%1%
那你的成本就完全不可接受
所以说工程能力是一个很重要很重要的东西
而且很难被复制
不幸的是OpenAI就是有一个
强工程能力壁垒的这样的一个机构
它里边的人才密度是非常高的
在碰撞的过程中
他们解决了很多很多的工程瓶颈
而且大鱼的模型
本来就是一个非常吃工程能力的东西
我们现在有无数的人去讨论
怎么怎么样子去用ALP
怎么怎么样子用大鱼模型
这里边的原理是什么
我们应该怎么做出来
但是有几个人真的能向OpenAI
做好文本清理那一步
大家真的能把真正的世界的这个文本
很好的清理到一个数据集
去为给大鱼模型
我觉得真正能做好这一步的人
反而是非常非常少的
以及我没有听到谁很认真地去讨论这一步
如果大家真的很认真地要去复刻Chash Petit
起码先把第一步做好吧
那在这种情况下
叠加Leadership是缺乏技术判断力的
叠加我们的工程师
尤其有原理性思考的工程师的人才密度是不够的
再叠加我们的商业社会
或者说我们这样一个很复杂的环境
和我们的人的思考模式
大家一定要认真严肃对待Chash Petit
是很难复刻的这一现实
如果观众里有一些不懂的同学
他们会说过去的ML我们都复制的不是很好吗
中国的AI不是很领先吗
其实不是这样子的
过去的AI的绝大多数的日本人都是开源的
模型都是开源的
因为它的真正的竞争力
在数据和对商业的结合上
但是Chash Petit再说一遍
它是一个强工程门槛的东西
它的训练它的模型是必源的
它的训练也是一个很难很难的
它也不会开源给你死里找尸
它哪怕把Chash Petit的原理全都给你了
你要想拿Chash Petit去重新复刻一遍
就像我给你一个材料的recipe
我们每个人都能买到飞机引擎
不是每个人都能买到吧
但是我们都能买到飞机引擎
我们知道这个东西的原理和它的成型的样子
但是你没有办法做出来
大概就是这样一件事情
好的 以上就是我的几个主要结论
但是你知道这些结论
不知道这些结论是怎么来的
意义其实不大
因为你换到另外一个人说另外一个结论
你就没有办法比较了
你只会说这个人开胃大
那个人开胃大
或者怎么样怎么样
这个人听着和我的想法比较一致
我就选择相信这个人
你是很难形成这里的判断力的
真正的我的思辨过程
我对技术的理解
我对技术的总结
和为什么这些技术的总结
叠加这些东西
可以让我得到这样的结论
我都在我的文档里面说了
大家有兴趣的话可以去看
但是总之呢
我的建议就是不要去做结论党
不要去做省流党
你真正有价值的结论没价值
你真的就是
你只是在寻找一个和你听着有点关系的东西
但是它怎么得到这个的
才是你最应该关心的
游戏在这个Chapjipty马上就要取代
绝大多数判断力公司的一个年代了
你如果还停留在找结论的话
那你的思维能力一定是不如Chapjipty的
如果你的算力和你的信息
明显会不如Chapjipty
你的态度
然后你的Ego
然后你的这个心地
你的理性都不如Chapjipty
你的判断力和你的思维能力
再不如Chapjipty的话
那你还剩下什么呢
好的 灌输焦虑就灌输到这吧
我反正是一点就不焦虑
我特别希望Chapjipty的到来
我迫不及待等待它赶紧到来的那一天
那这期视频就到这里
我们下期再见
拜拜