Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
LinkedIn 的一个同学
他们是做 AI generation 的嘛
他们去年的时候
跟 leadership 去讲要用 MCP
然后今年呢
他们觉得啊 MCP 很多地方是不好用的
要用 skills
这个时候呢
leadership 终于听懂了啊我要用 MCP
今年3月份的时候跟所有人说
你们所有的东西全都要做成 MCP
然后他们就觉得wow～
这个东西实在是太无语了
这就是你只关注名词的时候
就是会犯的问题
你不关注结果
你关注的是那个零件
你关注的是那些 fancy 的概念
它本质上是非常 counterproductive 的
最近我一直在想一个问题
为什么很多人学 AI 越学越焦虑
而且他们的水平其实
被限制在了一个地方
很难提高
看上去这个人懂很多东西
但是实际他在工作中使用 AI 的时候
非常的不靠谱
很多东西他是做不好的
但是你问他的话
什么新概念他都知道
他都能给你讲出来道理
fine-tune, RAG
各种 Framework、LangChain
包括 Harness Engineering
他全都能给你讲
而且这些人啊
他可能看了很多个 AI 工作流
看到了很多大佬是怎么样子 prompt 的
他在做一些任务的时候呢
他偶尔也能把 AI 用得很好
写个文案
写个代码
都能感觉到
哦 AI 好像确实是很厉害的
但是进入到真实工作的时候
他们就抓瞎了
因为在真实工作中
你的工作不是这样的一个一个片段
你是一个非常连续的
要不断推进的东西
你的代码仓库里边
可能有很多历史的包袱
然后你的上下文可能是不全的
然后你的模型针对
不同的新出来的任务呢
都需要针对这些任务本身去设计答案
而不是复制一个现成的别人的方法就可以把问题解决的
然后你还会发现
在这个使用的过程中呢
别人给你展示的是一个 happy path
但是在你的使用中
它会偷懒、会忘
然后会答非所问
会给你 hallucinate
然后会在一个你以为不会犯错的地方
突然给你犯个错
那这个时候很多人的第一反应就是
我是不是这个工具没有学好啊
是不是我的 prompt 没有学好啊
是不是我还有很多新的
这个 fancy 的 technique 我没有学会
他们就说我是不是应该换个模型
换个工具
然后是不是应该去把那些
概念再重新再学习一下
于是呢他们就去继续学习下一个名词
而离把这个任务真的做完越来越远
因为这些人 AI 能力卡住
问题恰恰出在他们去追逐名词
而真正决定一个人 AI 用得好不好的
是那些动词
RAG 是名词
agent 是名词
Harness Engineering 是名词
它们当然有价值
然后也值得我们去了解
但是其实这些东西真的要去学的话
5分钟你跟 AI 就都能学会了
真正厉害的人
和普通使用者之间的差距
不是在于这些真正厉害的人多学了一些名词
多知道一些新东西
而是在于他处理任务
的方式完全不一样
比如说他知道
什么时候该给 AI 更多上下文
什么时候应该减少上下文
比如说一个复杂任务
应该怎么样子拆给 AI
比如说哪些环节应该交给 AI
哪些环节必须要有人来判断
比如说针对这个任务本身的
evaluation 到底我们应该怎么看
以及 AI 怎么样子才能保证
它去非常好的 follow instruction
非常好的不偷懒不出错
比如说你是让 AI 直接的去看一下结果
还是你应该让 AI 先写一个脚本
然后对着这个脚本一个一个的去 check
而且他们知道当整个任务出错了以后
他们能 debug
他们知道任务(问题)出(在)了哪里
到底是 AI 能力的限制
还是因为你的上下文没有给够
还是因为你中间的 routing 等等出了一些点
他们能 identify 这些 root cause
并且把它解决
这些东西呢
听起来就没有那么技术了
就听起来不像 MCP, LangChain 这样的东西
一听就是一个技术
而且他们没有 GitHub 仓库
除了我们的课
基本上网上也没有人去教这些东西
他甚至也不能 pip install 变成一个 package
变成一个 library
而且这些东西你学了以后
你真的变强了
你还很难把它写到你的简历的技能栏里边
所以大家不重视
但是最终决定你 AI 能力的
恰恰就是这些动作
是这些动词
那这就是这期视频的主题了
我我在这期视频里边就会用
非常详细的例子去跟大家讲清楚
名词和动词的差距是什么
那这些动词我帮大家
打开去看到这些动作到底都是什么
以及我们如果要学习的话
应该用什么有效的方式去学习
和当我们学会了以后
我们应该怎么向别人展示
我们是有这些能力的
那我们要讲清楚这一点呢
我们就要先讲清楚名词
为什么容易让大家上瘾
为什么大家去学
一眼就去看名词
明明动词是更有用的东西
但是大家都要去学名词
我先说一下
我不是反对去学这些工具
我觉得那些名词都是重要的
都是应该学的
但问题是啊
因为名词是有边界的
你学了 RAG 你就以为
可以解决这些问题了
然后你学了 agent
你就知道怎么样子
模型可以调用工具了
然后你就可以怎么样子让它自己去解决问题了
你学了 fine-tune 你就说
我有一个小的数据
然后我想让这个模型
更适配我的这个小样本的数据
我就可以去做一个针对
我的任务的专有模型了
它给你错误的进步的感觉
让你觉得前后的差距特别明显
而且它还有一个好处
就是它可以被证明就是
我学了 RAG
我做过 RAG
我就可以直接写到简历了
然后这个 checklist 打上了以后
你就不用再继续学下去了
因为你简历上已经有了
所以说我们的脑子里边啊
就会有两个货架
第一个货架是 RAG
agent、Harness Engineering
第二个货架上面是上下文管理
任务拆解、人机协同、结果确定性
第一个货架上的东西看起来很硬
第二个货架上的东西看起来很软
然后大家更愿意去投入第一个货架
这是我们为什么会被名词吸引
第二个货架上的东西呢
大家会点头
但是大家会觉得这个东西没什么好急的
然后我迟早会会的
或者说嗯...我不知道它到底有没有用
它能帮我解决问题吗
看起来很软
所以说大家可能会觉得要学
但是大家不会急着去学
那我们就打开 RAG 这一个词去看一下
到底什么东西是真的该学的那个点
然后什么东西是一个伪装成重要
但是实际不重要的点
比如说啊
很多人学 RAG 的方式是从 pipeline 开始的
文档切分
做 embedding
存进向量数据库
然后用户检索的时候呢
去找一下 top-k
把召回内容呢
塞进 prompt
再让模型生成答案
听起来就是一个非常完整的
让人一听就觉得很心安的这么一个流程
学到这呢
很多人就有一个危险的错觉
就是自己会做 RAG 了
可是到了真实的应用场景呢
我们就会发现这个流程狗屁都不是
根本就没有用
而且非常的 counterproductive
比如说你一开始的切分
到底你应该固定一个 size
还是应该让模型自己去决定
比如说 embedding 这一步到底是必要的吗
比如说我是为什么要把它
放到一个向量数据库里边
我是不是有一个更好的检索方式
去存我的信息
比如说我为什么要使用 top-k 去进行召回
那我这些东西假设我全都有答案
然后我全都做好了
新来一个模型
所有的东西又要打破重来
而真正的在企业工作中需要解决的问题
这儿又全都没有说
用户问的问题到底应该召回哪些资料
你怎么样子去 resolve
你应该召回5段的内容
还是应该召回20段的内容
或者同样的内容
你应该分5段去召回
还是应该分20段去召回
那你 chunk 太大了以后呢
答案会被无关的信息掩没
chunk 太小呢
你又很可能把一个答案给切分开了
那用户换一种说法去问同样一个问题
你的检索命中率下降了
这个 recall 下降了怎么办
文档过期了
系统还在返回旧内容怎么办
不同的部门有不同的权限
那这个权限管理又怎么办
答案的引用到底准不准
什么才是 ground truth
你这次的回答是错了
那到底是你的检索错了
生成错了
prompt 错了
流程错了
还是用户的意图理解错了
就是你在企业中真实的会面(对)到这些问题
然后跟你那些 pipeline 其实啥关系都没有
你想用这些 pipeline 去解决这些问题
完全是南辕北辙的
而这些东西呢
其实是你在工作中真实面对的
和真正懂行的面试官
会重点考察你的内容
所以用名词的方式去学 RAG
你关心的是这个 pipeline 里边有哪些零件
你用动词的方式去学 RAG
关心的是这个系统
怎么样子在一个工作环境中稳定的工作
可以说啊
就是关注名词的那些人
他们本质其实是 counterproductive 的
因为他们学了这个名词
他们就想把这个名词给用好
就是第一呢他只知道这些名词
他不去关注那些动词
他很难去关注真正的结果的稳定
第二呢当他学了这些东西以后
他又想要去 show off 这些东西
就是我学了 Harness Engineering
你说我要怎么样子去
好好使用 Harness Engineering
我去学了 RAG
那我就应该怎么样子
用我学到的 RAG 这一套去解决我的问题
而他们不去关注那些
真正值得被解决的问题
我前几天在做企业培训的时候
还跟 LinkedIn 的一个同学
他们是做 AI generation 的嘛
然后就非常的无语
就是他们去年的时候
跟 leadership 去讲要用 MCP
然后今年呢
他们觉得啊 MCP 很多地方是不好用的
要用 skills
然后这个时候呢
leadership 终于听懂了啊我要用 MCP
然后 leadership 开始
在今年3月份的时候跟所有人说
你们所有的东西全都要做成 MCP
然后他们就觉得wow～
这个东西实在是太无语了
但是你看嘛
这就是你只关注名词的时候
就是会犯的问题
你不关注结果
你关注的是那个零件
你关注的是那些 fancy 的概念
它本质上是非常 counterproductive 的
那我在这具体给大家展示一下
名词关心的点和动词关心的点
我就不展开说了
感兴趣的同学欢迎截个图就行
当你看到了这个动词的这些东西
你就会发现 RAG 这个概念是不够用的
你面临的动作是
权限控制、监控、诊断、上下文工程
工作流设计、评估
那刚刚说的这些点
我们背后也出了一篇文章
并且提出了一个判断啊
就是这些基础的 RAG 的 pipeline
其实有用的东西早就被平台吸收了
那企业愿意付出溢价的东西
反而正好是这个 pipeline 之上的能力
所以说你学这些名词
不光是 counterproductive 的
而且它其实会越来越不值钱
真正的值钱的东西是这些动词
无论是在面试在工作
还是你去做创业
真正值钱的也都是这些动词
因为我们有这个文章啊
所以说我在视频里边就不过度展开了
我把 RAG 这一个概念所对应的
6个动词能力跟大家提一下
然后每一个呢
我都会把它具体的细节都放在这里边
把它展开了以后
大家就能看到这里边
到底对应的是多么深
多么多的内容
第一个动词是上下文管理
第二个动词是切分
而且这里的切分不只是 chunking
第三个动词是判断
第四个动词是评估
第五个动词是诊断
第六个动词是编排
所以希望这个例子就给大家讲清楚了
名词和动词差距到底有多大
那我们从 RAG 这个具体的案例
回到我们相对抽象的主线
RAG 只是一个例子
你换成 agent
换成 Harness Engineering
甚至换成 AI 编程、AI 写作、AI 知识库
都是一样的
初学者关心的是我该学哪个工具
高手关心的是这个任务该如何组织
初学者关心的是我怎么样子
写一个更好用的 prompt
高手关心的是这个任务
需要什么样的上下文结构
初学者关心的是哪个模型最强
高手关心你这个任务是什么
哪个模型
哪个工具
哪个流程是更适合你这个任务的
初学者问为什么 AI 又错了
高手就问到底哪里出错了
所以你会看到啊
像我们刚才 RAG 的那个例子一样
高手的动作也是围绕这几个名词的
管理、拆解、判断、路由、诊断、沉淀
那我在这也是给大家展示出来
欢迎去截屏
我就不一一描述了
那最后就会导致大家
其实用的是同样的模型
同样的工具
最后质量的差距就会特别特别的大
有的人呢可以用 AI 写点小东西
有的人可以用 AI 推进
非常复杂非常稳定的项目
像 Claude Code 基本上就是用 AI 写出来的
所以说很多程序员在这抱怨
说你的 AI 不好用
很多时候就是你自己太菜了
以为你会用 AI 了
然后你停留在那些非常浅的名词里边
你不光没有去做好这些动词
你甚至根本就不知道它们的存在
你自然就会觉得自己水平已经很高了
因为这些名词你都懂了嘛
但是看不出来你跟高手之间真正的差距
这个观念上的差距
其实就造就了一个特别大的分水岭
你如果只盯着名词的话
你的水平就是有天花板的
没有办法提高的
因为你看不到这里嘛
但是你看到这里了
知道他们的存在
你就有希望的去不断提高
你就会变成一个越来越厉害的人
好希望把这个点给讲清了
那我们再说一下背后
的一些机制和原因
为什么会发生这样的事啊
第一个原因就是
工具的进步很容易被看见
但是动作的进步(不)容易被看见
你打高尔夫买了一个新球杆
所有人都能看见
但是你这个动作变好一点啊
其实你知道
教练知道
别的人很难看出来的
第二呢
就是人只能看到自己当下的瓶颈
那些名词呢
你可以看到
但是那些动词的瓶颈你是看不到的
很神奇哈
就是你真的把这些东西全都做完了
你真的克服了这些瓶颈
然后把这个动作变得很强了以后
你才有可能看到这些动作的重要
你在一开始啥都不知道的时候
你根本就不知道这些动作的存在
你只会看到高手也是一个刺拳
然后你也是一个刺拳
然后你不知道你和高手这个刺拳
到底其中的差距是多少
只有一个高手才能真的告诉你
那这就是为什么
鸭哥这么稀缺和这么有价值了
因为他不光完全的走过了这些路
他不光能看到这么多东西
而且他还能很好的
把这些东西给教出来
他能把这些东西给具象化
他能告诉大家这个东西差距是什么
和怎么样子去弥补这个差距
有很多人是自己会
但是他不会教
鸭哥就是非常稀缺的
自己又非常厉害
然后又很会教
然后他还能层层设计
把这些东西变得
深入浅出的这么一个人
所以大家在社区里边多向鸭哥学习
很多人啊
他都是学了一段时间
当时看可能没什么
但是过了两三个月
自己开始做东西的时候
再回来一看才说哇
原来当时的这个设计是如此的精巧
当时的这个选型是如此的用心良苦
然后我真的不知不觉中
就学会了非常重要的原理
在这呢还可以稍稍联系到
我之前讲手艺的那期视频
我就不过多度展开了
总之手艺对应着背后都是那些动作
不管是高尔夫也好啊
还是打拳也好啊
还是学 AI
还是普通的编程、写作等等
都是手艺
所以说在手艺里边
我们抱着学科学习的错误思维方式
才觉得我们应该去学概念
学那些知识
而不是应该去学动作
我们如果用对待手艺的心态去看 AI
我们就很容易发现
这个就叫做用 AI 做事的手艺
那给大家总结一下
回到最一开始的问题
为什么你学了很多 AI
然后越来越焦虑
但是却一直没有办法把 AI 用好
那就是大家一直看到了上面这条线
没有看到下面这一面
上面这条线就是各种各样的名词
下面这个面是真正的动词
和动词展开所对应的你要做好的那些事
真正的入门不是你去追逐
最新的上面的这些概念
而是你开始看到下面的这些动作
开始去提高你下面的这些动作
那个时候你就不是一个
追着 AI 新名词跑的人了
而是真的开始用 AI 做事的人
那你自然而然也就不会焦虑了
工具会变
模型会变
框架会变
这些名词天天都会变
但是反而这些动作是不怎么变的
我们的课程到现在12期
每期都在更新
但是70%这里边的动作
其实我们发现是不变的
而且随着模型变强
他们是会越来越有复利的
就比如说管理好上下文
你管理好上下文了以后
你的新模型出来了以后
不是说新模型的 context window 更多
你就不需要了
你就会发现模型可以
做更厉害的东西了
你这里边管理上下文反而就变得更重要
以及你有更多的手段
去有效的管理上下文了
这些沉淀的经验
和认知都是会有长期价值
长期复利的
因为这些本质
就是我们 AI 时代的工作手艺
好的这期视频就到这
下一次当你觉得你自己学了很多 AI
但是没有入门的话
先问一下自己
我看没看到这个手艺
背后对应的那些动词
我去哪可以学习到这样更多的动词
我去哪可以提高我这些动词
这可能才是真正的入口
那希望这期视频对大家有用
我们下期再见拜拜