模型越来越强,做一个AI应用也越来越容易。可为什么一放进真实业务,它还是经常交不了差?这期我和微软CoreAI产品副总裁、AI Futurist Marco Casalaina聊了模型之外的产品功课。他的团队最先试用微软的新AI能力,再判断这些能力放进客户的业务里,到底能解决什么问题。
宝马的测试车,每辆有5000个传感器。过去只有几位“高手”会查这些数据,工程师想知道新车的刹车表现,得排队等结果。为了让所有工程师都能直接向数据提问,他们先花了大约半年,跑遍宝马各个部门整理数据字典。模型会写查询,但光看原始数据,它认不出哪些是刹车数据。
一个公寓定价Agent交回了完整的价格表,用“任务完成度”评估,结果是没问题;打开一看,三居室的价格偏得离谱。Marco讲了现在的做法:用评分标准(rubric)把业务要求写成一条条规则,给规则分权重,提前定好容错阈值,再让真实用户说清“为什么错”,把原因写回标准。
我们也聊了Agent该用谁的身份做事:扮演你的Agent会继承你的全部权限,出了错,能删光你电脑里的文件;有独立身份、只给必需的权限,才有边界。还有为什么AI产品需要格外长的试点期,以及FDE和动手学AI。
11月5–6日,Marco会在AI Engineer上海做Keynote,现场演示访谈里聊到的部分能力。 AIE上海官网:https://ai.engineer/shanghai/2026 国内购票(活动行):https://www.huodongxing.com/event/1879040305100 Superlinear社区专属优惠码:AIESUPERLINEAR(在活动行购票时使用)
嘉宾:Marco Casalaina,微软CoreAI产品副总裁、AI Futurist(VP Products of Core AI and AI Futurist, Microsoft) 主持:孙煜征博士(课代表立正),Superlinear Academy
章节:
00:00 开场:模型这么强,AI产品还难在哪
00:40 Marco的团队:最早试用新AI能力的人
01:13 大模型会吃掉所有应用吗
06:00 企业里的Agent:身份与权限
09:32 Agent有了身份,工作会怎样变
12:56 让AI被接受,而不只是被部署
17:32 宝马:5000个传感器与半年的数据字典
23:51 评估:通用指标的盲区
27:38 公寓定价:交了差,却算错了
28:47 评分标准:规则、权重与阈值
31:53 把“为什么错”写回评分标准
33:43 信任,但要验证
36:09 AIE上海:现场演示
36:47 评估正在变成一个新岗位
38:02 两条建议:先写评分标准,留足试点期 39:45 FDE,以及动手学AI 42:07 总结
我是孙煜征,大家叫我立正,康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里,和我一起把AI、工作与人生中的重要问题想明白。
了解我、阅读文章与查找往期节目
问问立正|把问题想明白
听完还有问题,或想把一个观点用到自己的处境里?试试我做的「问问立正」:AI会从我的公开文章、视频和《真本事》中寻找相关内容,整理回答,并附上出处。每天可免费提问3次。
不怕AI天天变,就来超线性学院
学点真本事,做点真东西。超线性学院是我创办的免费AI社区,两万多人在这里分享真实项目,你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。
https://www.superlinear.academy/
AI Builders|系统学懂AI,真正用起来
想系统学懂AI、用它做好重要工作,把想法做成作品?了解我和鸭哥一起做的AI Builders课程。
AI到底怎么用,钱到底怎么赚?我替你去问硅谷和国内一线的研究者、创业者、投资人。嘉宾有Databricks联合创始人Reynold Xin、Cursor设计负责人Ryo Lu、前Meta FAIR研究总监田渊栋、清华教授刘嘉、真格基金戴雨森、硅谷徐老师、樊登。
节目分两个系列。「对话」是长访谈,聊他们看见了什么、为什么敢下注、现实又怎样改写了答案。对方说是运气,我会接着问下去。「立正说」是我的单口,十几分钟讲清一个判断。
我是立正(孙煜征),康奈尔经济学博士,做过Amazon经济学家、Meta数据科学家、腾讯数据与AI总监,也是OpenAI收购团队早期成员。后来创办了超线性学院,两万多人在这里学着用AI做东西。叫「课代表」,是因为我一直把自己当学生:向高手请教,把学到的整理好,分享给你。
免费加入超线性学院:https://www.superlinear.academy
了解我:https://www.lizheng.ai