课代表立正

Codex只听到一句“帖子更新一下”,就修改了面向大量用户的公开内容;改得不错,却依然越过了流程边界。本期讨论为何不能简单收回Agent权限,而要在自主执行与高后果操作之间设置approval gate。

适合让AI接触邮箱、社区、部署或客户系统的人,帮助区分日常自主任务与必须人工确认的操作,并设计可执行的验收标准。

这期你会听到

• 为什么Agent产出的内容正确,仍不代表它有权直接发布?

• 模糊指令与过高权限如何共同造成Codex先斩后奏?

• 怎样设置approval gate,让日常任务独立完成、对外操作必须确认?

• access control与逐次审批分别解决什么问题?

• 为什么理解能力边界和验收标准,可能比fancy prompt更重要?

相关内容

观看本期视频版

加入Superlinear Academy免费社区

展示准备接入邮箱或发布系统的代理流程,标出高后果操作,请大家审查审批边界。

https://www.superlinear.academy/

关于主播与节目

孙煜征(课代表立正),康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监,也是OpenAI收购团队早期成员。

《课代表立正》关注AI如何改变工作、职业与商业,以及人在变化中最需要保留的判断力。

What is 课代表立正?

《课代表立正》是一档关于AI、职业与商业的中文播客。这里既有与AI研究者、科技创业者、一线管理者和真实实践者的深度对话,也有课代表立正对产品、增长、创业与职业选择的亲身复盘。我们不只追逐新工具,更关心:当AI改变能力和成本,个人与组织怎样重新设计工作,把判断和本事做成真正进入现实、值得留下的作品。

主播课代表立正,本名孙煜征,康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监,也是OpenAI收购团队早期成员。2020年以来完成200+场公开对话,跨平台关注者400K+。

加入Superlinear Academy免费社区,与2万+成员一起交流;这里已有700+真实项目与实践分享:
https://www.superlinear.academy/

了解立正与更多作品:
https://www.lizheng.ai/

哎,我今天被 Codex 给先斩后奏了一波
所幸没有什么特别大的不良后果,但是还是让我
惊出一身冷汗。把这个经历跟大家分享一下
然后也分享一下我是怎么处理的,希望给大家
一些借鉴,或者就看个热闹。它做
了什么呢?它直接发布了一个帖子,就是我
现在社区里边一个很重要的帖子,是
Codex 直接发布的。你现在看到
的这个东西,就是 Codex 写的,也是
Codex 在社区里边发出来的。它
影响到了社区 2 万人所看到的东西,所以
这件事儿对我来说肯定是不可允许的
你怎么可以把一个会影响到 2 万用户的东西
不经我的允许就直接这样发出来了?那它是怎么
产生这样的问题的呢?
我最近一直在跟 Codex 做我
的 Stay Superlinear
主页。然后我其实还在社区
里边讲了,我的这个主页其实是跟
Codex 做的,然后我会把
Fable 和 Codex 混着用
先 Fable,然后
Codex,有的时候可能还会再
Fable。总之经历了 69 次
迭代、99 次 commit,做成现在
这个样子
在做的过程中,我肯定给了它很多权限
其中包括我的社区管理员权限
当然,给它这些权限和 build 很多
skill,也会让我做这件事情非常有复利
这都是好事儿。但问题是呢,我今天
就下了这样一个命令:社区板块调整的帖子
你更新一下。然后我给了它一些具体指令
我说的这个帖子,其实是本地的一个文件
我在本地已经有这样一个文件了,然后
这个文件会讲我到底
都改变了什么,这个改变背后的心思是什么
要解决的是什么问题,等等,还有新的板块
的一些 map。我希望它把这个
文件改了以后,我参考这个文件,自己去写
一个更新帖
但问题是,我其实说得也不是很清楚,对吧
“社区板块调整的那个帖子你更新一下”,它就直接
理解成了:你要把我社区里边现有的这个
帖子更新一下。它又照着这个思路去做,但
问题是,它直接就去修改了。我后来
看了一下这个帖子,这是它修改的内容
修改得挺好。说实话,你看它一上来先说时间
这个最重要的信息,然后说要解决的问题是什么,也
都是准的,因为这是我跟它反复沟通的时候
它已经知道了这些信息嘛,所以它说的这些东西
都是
准的。现在的地图讲得也很清楚
你看它的工作记录呢,它其实先看了我们
所有的社区地图,然后去做的这个
总结也是准的。大家可能产生
混淆的东西都放上来,老学员怎么安排,说的都
是对的。所以这个内容本身没有问题,但是它的
流程有很大的问题。一个会对 2 万
用户造成影响的事情,你不能不征求我
的同意就发布。所以这件事儿我怎么办呢?我
应该收紧它的权限吗?我觉得不应该
在我心中
我应该做的事情是尽量去
leverage 我的时间,尽量把
完整的任务交给 AI。AI 不要
每次有什么事情都来问我,这才是一个比较
有效的 leverage、有效的
delegation。那我应该怎么做?
我在这里边的选择是,先告诉它
虽然改得可以,但是这是直接面对客户、有
consequence 的。所以我们应该
做一个 approval gate,所有
对外的内容
都需要我的 approval
AI 做的是去 update 我
的 AGENTS.md,然后去
update 我本地这个项目的
AGENTS.md,里面写所有关于
external publication
的内容都需要 approval。这件事儿我
觉得应该是可以的。根据我的经验,它
还是比较尊重自己 AGENTS.md 里面
的这些规则,也会尊重这个
项目的规则
另外一个方法就是更
deterministic 的方式,你
在这里边去设计一个 custom
access control,但是
在我看来,这儿可能会挂一漏万,而且
它会非常 rigid,也非常
没有办法有效利用未来 Agent
的 intelligence。所以
我倾向于还是先给它
full access,然后用这种方式去
gate,看看有没有什么问题。未来
如果还是不行的话,我们再想办法,无论是
修改这样的 AGENTS.md,还是可能
回到这样
deterministic 的方式去做
再说。总之今天给大家看个热闹
我觉得警钟长鸣。另外,虽然警钟长鸣
但是我们也不应该过度
overreact。我们应该还是想办法
让 Agent 尽量自己把
事情干了,还是尽量给 Agent
各种工具、我们的标准和各种 skill,让
它可以自己把事情干好,而不需要我们过度
参与,这样才可以节省我们更多的时间。希望
这个小实践对大家有所启发。我们下期见
拜拜