Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
因为我们刚开始也是非常ideal的学的
我们做了很多有意思的research
大家都觉得这个很有用
我们做了一个research demo
大家都很喜欢
这一定会有实际的工业上的应用
但慢慢我们会发现
其实人的系统是不一样的
当你是一个research的时候
你就会发现
你刚开始去做powder的时候
你做的特别的烂
而且你还不相信人家powder
可是为什么呢
有一个巨大的gap
也许你去market你的方式会变的
但是你觉得你去做这件事情
做的这个方法
和别人的
不同的核心的technical insight是什么
你跟我对agent的理解完全是不同的
哈哈哈哈
今天给大家带来两集
跟哥伦比亚大学渝州教授的访谈
大家知道我平时不专门做嘉宾介绍
但是因为渝州教授
在我的这个访谈里面
做的自我介绍太低调了
我觉得没有办法表现出来他多厉害
所以说我就专门去做了一下research
然后去讲一下渝州教授的这个履历
到底是什么样子
希望这个例子也可以帮助大家
稍稍多理解一下一个厉害的学者
他的履历是什么样子的
以及这样大家看视频的时候就知道了
渝州教授是多么的谦虚和低调
我在这里边简单讲两个点
一个是渝州教授的学术影响力
一个是他的业界影响力
渝州教授的学术影响力
是他的论文引用是8600次
人体指数高达47
8600次引用虽然很高
但是不是一个特别天文的数字
但是我们要知道渝州教授
是2017年开始做教授的
而且他的这个大部分引用
大概近8000次都是来自于2020年之后
这表明了他的这个研究方向
是高度契合当前AI领域的热点
所以说也是被广泛应用的
而且他的实验室也非常厉害
在2024年一年内
就获得了ACL和NAACL的两个杰出伦文奖
这是自然语言处理领域的两个顶会
获得一个顶会已经很难得了
在一年内同时获得两个顶会的这种成就
更是奉献到领奖
也就证明了他这个实验室
研究的质量有多高
那除了引用和奖项以外
在业界余教授还在2018年的时候
就入选了福布斯杂志科学领域的
30位30岁以下先一把
注意就是美国的福布斯是有含鸡量的
不是国内的那个30&30
然后在2018年的时候
他带领团队赢得了亚马逊竞争系列的
Alexa Prize的挑战赛
他们开发的社交聊天机器人
也获得了千万级别的用户
余教授还得到了很多公司
比如说IBM 索尼 沃尔玛 腾讯等等的
研究奖或者教职奖
也代表了业界对他工作的认可和追逐
而且这段时间余教授一直在创业
他现在创业的这个项目叫Arklex AI
是致力于将前年的AI agents的技术
运用在各个场景
比如说AI销售
所以说我们频道上业界大佬聊得很多
但是像这种横跨学术和业界的人聊得不多
总而言之余教授是一个不可多得的
在学术界非常有影响力
然后在业界也有很多成就的人
而且他还去做创业公司
我们的两集视频上集聊学术下集聊应用
尤其上集的问题就是自然语言
余教授已经在这里边学了这么久了
他被大语言模型是怎么颠覆的
然后AI研究对AI应用到底有什么意义
什么才是一个好的AI研究
比如说Deep Six是一个好的AI研究
那下一部分就讲余教授在做AI应用的时候
然后他哪怕有这么强的学术背景
有这么多的创业经历
而且跟很多大公司合作过了
他现在在创立Archilex AI的过程中
又遇到了什么样的挑战
那如果像这么厉害的人都遇到这些挑战的话
那我们每个人也应该都humble一点
对创业这件事情多一些敬畏之心
还有一个点就是余教授跟我聊的时候
我当时都没有注意到
就是我知道他怀孕
但是我不知道他已经离生产这么近
在我们访谈结束之后的一个周之内
余教授就去生二胎
然后生完二胎以后马上又投入工作了
这个访谈也是非常有意义的一个时间点
好这里就给大家带来哥伦比亚大学的余教授
接下来就是关于研究这方面
你还有什么想聊的东西
从我来讲来讲
就是说研究和实际的落地是有很大的差异的
就是我们做了很多Blue Sky Research
可能在现实生活中
你要把它落地跟公司做这种合作
让它做implementation的时候
有很多你想象不到的这个friction和challenges
这是我在做公司之前没有想到过的
然后我们做了这个公司有两三年以后
就重新让我的research philosophy有所改变
让我觉得什么是重要的
什么是novel的
这些东西有了一些重新的shifting
我觉得每个人都会慢慢随着自己的经验
以及自己的兴趣会formulate自己的taste
其实不管是research或者是工程
你对什么是重要的
什么是有意义的
是完全不同的概念
这个东西本身每个人都是不同的
随着你的经验会改变
对我来说我是一个更practical的人
所以说我更愿意听取工业界人
他的real concern
去了解我在做optimization的时候
哪些东西是需要考虑的
我觉得很多我会跟不同的researcher聊天
也会跟industry不同的那种ceo的人聊天
我觉得就有巨大的gap
就是有很多人做了这个东西应该都不关心
也有很多人做了实际的应用
他完全这个东西可以用一个非常新
就是最近的这个东西
就已经可以把你取代了
但还有人很笨笨的去做
就是他之间有一个巨大的gap
这个两个group的人don't talk to each other
我觉得对这个问题是值得专门聊一下的
首先你们的公司是做什么的
然后你这两年大概是对做了一些什么事情
对我们的公司其实也配备过好几次
因为也是随着我的认知的改变
我们的公司也在改变
包括我们团队的认知的改变
因为我们刚开始也是非常idealist觉得
我们做了很多有意思的research
大家都觉得这个很有用
我们做了一个research demo
大家都很喜欢
这一定会有实际的工业上的应用
然后我们会发现其实人的需求是不一样的
然后这个市场的market是不一样的
可不可以稍稍specific一点
就是当时是比如说一个什么样的东西
你们觉得特别好
然后拿出来以后发现了什么
对我们当时是在large language model之前
我们就是开始做这个公司了对吧
然后我们是因为刚开始得了一个Amazon Alexa的奖
我们当时做了一个chatbot
deploy在Amazon Alexa上
大概有10 million user来用我们这个东西
然后给我们打分是最高的
然后得了很多奖金
然后就我们build一个非常好的东西
这个infrastructure非常robust
我们可以做1 million user的product
然后我们应该想一个specific angle
把这个东西推向consumer product
然后我们这个想法刚开始比较难
已经是consumer products了
这是已经有1 million user了
这是
但这个是Alexa给我们的
不是我们自己做的
是不是
它是一个partnership
但是我们是想说
我们怎么可以做一个真正有意义的consumer application
然后大家会有真的想要用它的过程
而不是简单的聊天或者什么
这样对人生有意义的
所以说我们做了一个非常有意思的东西
就是language learning
你可以跟Alexa这样子
或者是各种各样的internet device聊天
来practice你的语言
比如说学英语对吧
然后practice你的语言以后
我们还会给你做feedback
然后因为我以前在ETS工作过
我们当时是写了第1个
就是neural network based
的这个automatic assessment system
和language
然后我们觉得这个是非常unique的一些东西
可以给你很多feedback
可以从各个dimension给你feedback
比如说你的pronunciation
哪里做错了
你应该怎么去改正
你的syntax哪里错了
revel哪里错了
你的sentence之间的connection可以做得更好
对吧
然后我们就有个想法说
我手机上有这样一个app
对对对
就就有很多很多的科技
是做这个language learning
但是我们觉得我们有最好的technology
由于我们这个model
跟进benchmark跑了以后
是最接近老师的这个评分的
然后我们这个chatbot特别有意思
就是可以maintain longer conversation
然后说我们这肯定会是一个killer application
然后我们就开始去做了
然后就发现说
这个世界上原来有这么多人
都在做同一件事情
而且你的这个model
我们确实做得很好
但是跟人家的差别很小
就是说就是你看到这个on the paper
there is 10%
但是真人在用的时候
它没什么感觉
然后就打击了
就是我们发现其实user experience
跟你这个paper上的matter人
是totally different thing
而且比如说学英语这个想法
对吧
需要motivation
不是说这个东西免费的
我就会去学
从这个人的角度来讲
它是一个后来学了很多东西
才知道原来有formal learning
和informal learning
formal learning
就比如说是为了考试考证的
然后informal learning是会
就是用motivation的
对吧
它就是根据人的这个需求
为什么要做这个事情
它的behaviour
behaviour会不一样
那就需要不同的去
方法去design这个product
所以说
成technology的product
and itself是一个非常难的过程
然后当你是一个researcher的时候
你就会发现
你刚开始去做product的时候
你做的特别的烂
而且你还不相信人家product
可是为什么烂
所以说有一个巨大的gap
很多人不能理解
当然我们也是过了很久
才慢慢的理解
要怎么去更好的
用我们的technology
去做对的事情
做你应该做的事情
而不是去做product
matter这种事情
最后所以说我们就经常做
to be的这个
我们这个product还是有
但是我们就会卖给
我们做成一个API
会卖给新东方这样的大厂
因为它很在乎quality
因为它非常在意这一些
这样的话它就会
对这些人对我们来说是非常重要的
它真的在乎我们这个quality
和别人跟quality的差别
但是同样的market
to be的话
它就不会特别大
它不像consumer product一样
它是可以做到scapable
in certain sense
因为只有特别大的企业
你才值得去做比例
小型你不止说去做比例
你这cost不能justify
你的bd的cost不能justify
你的这个
b2b的市场也可以很大
但是
但是这个market
比如说语言学习
b2b的市场market就不是特别大
语言学习本身是
但是你们的模型也不止做语言学习
对吧
你们其实是背后是一套
但是我们当初是specialize
语言学习
因为你这个模型的效果好
你要specialize
比如说我们就是为托福做的
我们就是为iles做的
需要做这种specialization
jazz效果才会好的
不是你general model都能做
对吧
general model都能做
很就prompt这个精明的一环了
对
那接下来就想请你介绍一下
你公司现在做的东西是什么
它是这个agent force organization
对吧
对我们叫archilex
就是idea还是非常相似的
就是说我们还是做一个
interactive的system
只不过我们现在的system不只是可以说话
而且是可以做action的
而且我们是一个general framework
就是不同的人可以用我们这个framework
去搭建他自己的agent
可以承担不同的职能
就比如说有人可能用我们的
orchestration layer去自己搭了一个
分析股票的
有的人拿我们做hr的workflow
有的人拿我们做customer service的flow
都是可以的
然后我们提供的就是说
我们有不同的tool
你可以做integration
你可以去call
然后我们有一些planning algorithm
就已经给你做好了
这样子的话就更efficient in planning
就是很多东西你就不需要从头去写
是一个就是帮助developer
更快的build的一些东西
就是faster time to market
然后我们后台就如果你是enterprise的话
我们有一个enterprise version
比如说optimization
后台的这个redundancy load balancing
然后比如说optimize towards GPU usage
都给你做好了
这样子的话你就不需要做这一些
非常繁琐
非常困难的这一些
这个efficiency和robust那些东西
这样子总的来说是我们希望
所有的agent可以更容易
大家都能用上这个agent
然后这样子你的work efficiency会提高了
那你这个主要是2C还是2B的东西
其实还是2B
因为是企业会买我们enterprise version
这样子的话它可以更快的去deploy
但是同样我们有open source version
就是developer它可以用它为free
你觉得你的市场上的竞争对手是谁
因为我觉得好像这里边做orchestrator的
有好多类似的工程
比如说longchain
Core AI
或者Lama index等等
他们都是做open source的orchestration layer
我们只是一个不同的orchestration layer
比如说我们是把各家的重点放在一起
就比如说我们有task graph
其实跟line graph比较相似
但是我们又有自己的autonomous
deploying这个部分就跟autogen比较相似
然后我们也有一个非常好用的
这个visualization layer
可以叫drag and drop
这个又跟core AI比较相似
其实是一个就是把东西放在一起的部分
然后我们又有自己一些独特的unique的特点
就比如说我们有很多是
比如说有一些continuous learning的component
有更好的一个simulation和evaluation module
它其实说实际上tooling就是说
是adapted to different use cases
你可以自己选择
这样的话你会有更多的
capability enable不同人的需求
你会不会遇到一个问题
就是当你给用户这么多选择的情况下
用户不知道怎么选和他在使用你产品的
复杂度就一下子上升了
因为你理解你的产品你知道怎么用它吗
但是用户一看到这些东西的话
所以说我们就会有各种样子的tutorial
就是我们其实已经给你build out的一些templates
你只需要在templates上改一改
接进去你自己的database就可以做了
就比如说我们有一个非常好的
大家非常喜欢用的这种sales agent template
就比如说我们已经跟你的shopify
全部都结在一起了
你只需要把这个东西deploy
在你自己的shopify网站上就可以了
它的过程是比较简单的
我可以把这个东西理解成一个
agent模式的ZAPER吗
ZAPER
ZAPAPIER
其实我们其实是希望取代这样子的
这个RPA system
就是说因为它就很多东西需要hard-coded
我们这种agentic的workflow
它很多可以自己做planar adaption
对你可以这样想
因为其实说实在其实就是取代这些RPA图
好
我还没有提出来我的trade-off
但是我觉得可能那个trade-off不重要了
因为你是2b的
我还是稍微说一下
之前我们会把agentic AI的system
分成大概三个组成框架
第一个是大圆模型
就是在里边去做各种东西
第二个是工具及调运工具的particle
这样的话你就可以不断的去接不同的工具
然后去调用不同的东西
第三个是orchestrator
然后orchestrator是帮助不同的agents
和agents与人之间的interface
这样的话就是你不管是multiagent
singleagent 人和要用
这个orchestrator都起到这个部分的作用的
然后当时我们觉得
orchestrator在这里边
并不是一个特别重要的事情
因为第一似乎在现在很多
真正agentic AI要发挥作用的地方
orchestrator并不是一个瓶颈
在这里边就是
你如果前面两个东西做好了
就是logic model和particle做好了以后
你在orchestrator这边做一个unconstrained optimization
比做一个constrained optimization效果会更好
我举一个更具体的例子吧
就是比如说我们在design multiagents的情况下
我们一般会design两个role
然后一个role是planner
一个role是executor
然后我们觉得multiagents的核心作用其实是两个
一个是隔离context window
一个是不同的复杂度的任务
去调用不同能力的模型
但是市面上绝大多数做multiagents
他们其实不是这样考虑问题的
他们会去定义一个agents去做developer
一个agents做pm
一个agents去做analyst
这就是给他在不必要的diamension上
加了更多的constrained
我不知道这个例子有没有很清楚
对你跟我对agents的理解完全是不同的
我可以简单讲一下
这个我觉得也是大家很多
很多人会有不同的理解
从我的来看的话
就是说agents或者worker之类的
它是分不同种的
对吧
我们就假设我们用大家比较常用的
languages来说
对吧
就是说或者是我们常用的叫ai-workful
举一个非常具体的例子
就是customer serviceagents
对吧
那customer serviceagents
就是如果我是一个做customer service的人
对吧
那我一共要实现不同的functionality
比如说我要处理return
我要处理refund
我要处理tracking
对吧
这些是我要做的事情
这是我的工作的skill
对吧
这些skill是我做一个customer service agent
我要做学会的
就通常形成一下最早的时候
我们做conversational agents
workflow等等
那我就是把skill定义成一个非常determinist的
一个graph
对吧
如果这个事发生了
我应该能不能return
过了12天了以后
我就不能return了
对吧
才是有一个非常
就是我们称之为determinist的workflow
这个就是在last generation的
这一个conversational agents
里面非常流行的
那我每一个skill是不是都可以写成一个
这样子的task graph
然后在这个过程中
有的时候不是简简单单的问问题
对吧
我还得查我的database
有时候我这个inventory我得查一下
我到底有几件衣服是不是
如果你要replace
我没有衣服
我没法跟你replace
对吧
那这个部分它就是需要有一个action
它有一个sequence等等
对吧
那它最后
比如说它要issue这个replace
那我这个database的sequence
我要给它改掉
是吧
那它就本身它就是一个action
reprocessing
那以前都是人做这个事的吗
对吧
人根据这个diagram去把这个事做完了
那现在我们说
很多人就说
我们就用这个agent起来做
这个事情是吧
它也可以integrate with database
它也可以改database或者怎么样等等
那这个就是我们每build的一个skill
它是不是就成就于一个service
是吧
就是我是有好几个service
然后我是在上面还有一层
我就像一个user来了
我先知道它要return
还要replace
它要tracking
对吧
那就变成了有这样一个
hierarchical的这种workflow
那问题就是来了
就说这些workflow就是有很多
是吧
它就是非常难管理
那可能比如说我的return policy突然换掉了
那我怎么办呢
那我得人工去给它改这个workflow
是吧
万一它之间还有这个conflict我怎么办
那这就是原来的我们成就为这种system
management的这个困难
那如果我们agentic system来了以后
很多事情就是比如说这个determined
的graph我们可能不可以自动给它修改
根据它的natural language的这个onstructure的input
它自己可以去改这些
然后或者说这个我们知道人他是非常sporadic的
对吧
那很有可能就是一个corner cases
这个graph都不cover
那我该怎么办
对吧
那像这种情况下以前就是transfer给人工
对吧
那现在就是说我们是不是可以用一种free
的planning的方式去让agent自己去explore
它说不定它自己explore
experience一种解决方法
就是人之前没有给你定义好的
那这个东西我们可以further incorporate
在我们这个workflow里面
那它是不是就是自己学会一种新的东西
下次来的时候它就可以做这个了
对吧
所以说我们更多的这个octrination layer
像我们做的就是这个过程
就是怎么把以前static的workflow变得更dynamic
然后更适应不同的情况
不需要自己hardcode这些
根据natural language的onstructure的input
可以自动生产这些东西
明白了
对确实我们对这件事情的定义是不一样的
就是从我们的角度来讲说
怎么样更自动化的去处理这些事情
然后不需要太多的人工定义
就是生产力的additional input
我现在听懂了你的定义方式
然后感受到这两个定义方式是有重合
但是又不是在一个维度上去定义agents的
然后我在想怎么样子去reconcile
反正这是我的课题
你没有必要reconcile
就是你的服务是一个
其实我觉得大多数人应该是用你的方式思考的
包括看anthropic他讲的怎么样
所以我当时特别不理解anthropic
为什么要这么强调workflow
然后现在听了这个我觉得更理解了
就是他为什么要强调workflow
因为他是workflow
重点是说我这个是要control的
比如说我是一个customer service agent
我是一个customer facing的东西
我得要告诉大家我这个是有100% accuracy的
不然我得罪了我的大客户
我就怎么想
对不对
然后我怎么过security的release retining
对吧
比如说我就是一个bank的AI
万一我这个东西造成了客户的loss
我这个是永远也deploy不了的
是
但是就自我看来更多都是evaluation的问题
而不是workflow的问题
但这个就是说你的workflow怎么去做更好的security
比如说你要接触database对不对
你要有security比如说concurrency
这些东西都要有保护
不然我们好几个agent同样的去改database
那怎么办
是
我听懂了你的说法了以后
你做的那些事情都make sense更多了
因为在你看来
agents要干的事情是去学习更多的skill
然后去完成更多的task
然后去更灵活的去ultimate
各种现在的机器和人结架起来的workflow
在这里边建立一个infrastructure是非常有必要的
我再想请你介绍一下
就第一个就是你的technical insight是什么
也许你去market你的方式会变的
但是你觉得你去做这件事情和你做的方法
和别人的不同的核心的technical insight是什么
我们的核心的technical insight就说我们这个flow
是deterministic的
它是robustness
就是说你做multiple time它是有同样的结果
然后其次是它是continuously learn的
它是会做一个self expansion
所以说它又deterministic又是growing over time
它就是会continuously learn to be smarter
这样子的话就是说你又是一个稳定的东西
而且它随着时间的变化会越来越聪明
就是一个trade off
就是说它是既flexible又control
比如说你有哪个兰克之model也无所谓了
然后同样的就是说有不同的model
你都可以接进来
你可以不同的model做不同的衔接也可以
同样比如说我们做很多argorithm
我们自己的research做了以后
也会push in这个open source的这个东西
然后当然就是我们还有一个additional的东西
就是我们的有一些enterprise的offering
这里面有很多module
就是scalability什么东西都给你做好了
对于叫真实deploy很多人同时用这个agent
让同时的agent在不同的computer上有一些guarantee
如果是developer你可以用obstruct自己去build
然后你可以contribute这样子的话
别人也可以用你build的agent去做别的事情
我另外一个想问的问题就是
把这个公司做大对你来说重要吗
因为你是一个教授对吧
然后这是另外的一件事
我有种感觉创业这件事情对于教授来说
似乎是一个nice to have
就是每个人会不同的
我会觉得就是说
也看你创业是出于什么样子的想法
对我来说就是
我觉得做一个东西大家觉得有用
它是本身是一个非常重要的事情
总之就是说这个东西可以给别人带来价值
也是很重要的事情
他做research就是说
我做了一个这个open source的argorithm
别人用上来以后
开发了一个新的argorithm
这是一个非常rewarding process
那我们现在做这个公司做了一个developer tool
大家用上它以后
就不用做这么繁琐的东西
它可以解放新的市场
去有新的东西
它本身对我来说也是一个rewarding process
其实还是根据说每个人他的value system不同
对吧
就是从这种意义上讲说你push这个boundary
就是比如说有的时候你选择我朋友讲
是翻给这个发现显微镜的人
是不是
他其实做这个tool是有很大的帮助的
嗯嗯好呀
我这基本上这样
好的
嗯好
下期了拜拜
其实现在生活中这个模型他学到的东西
他可能跟人学到的知识不是一回事
他有自己的逻辑
那我们需要的explanability可能对他来说并不重要
因为我觉得我已经有点out of my depth了
有很多东西可以做
那什么东西值得做什么东西不值得做
这件事情大家是怎么衡量的
20-28的对这个NLP带来的你的研究方向
什么等等这些东西
没有什么特别本质的变化
你说自己是最好的
没有人信你
因为所有人都在说自己是最好的