{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"课代表立正","title":"对话 130｜Fine tune概念已过时？｜强化学习的数学直觉｜AGI的自我迭代｜开源vs闭源的第一性原理｜说胡话的原理｜大语言模型技术深度访谈2⧸3","html":"<iframe width=\"100%\" height=\"180\" frameborder=\"no\" scrolling=\"no\" seamless src=\"https://share.transistor.fm/e/821d496c\"></iframe>","width":"100%","height":180,"duration":1767,"description":"当 Fine tune 被用来指代多种不同操作，模型定制的讨论很容易失焦。本期从可导损失、连续决策与 reward 出发，比较强化学习、adapter 和提示层的作用，再追问 AGI 的自我迭代以及模型“说胡话”究竟意味着什么。\n适合评估模型微调、智能体或高风险应用的技术人员，帮助判断何时需要强化学习、何时只需任务适配，以及怎样看待不确定输出。\n这期你会听到\n• 任务答案已知时，为什么普通训练可能比强化学习更直接？\n• 连续决策与不可导的 reward，分别怎样改变训练方法的选择？\n• adapter 如何在不重做底层模型的情况下适配不同任务？\n• 开放强化学习能力后，AGI 系统能否借助机器反馈持续改进一连串行动？\n• 模型说胡话与统计错误有什么差别，表达置信度能否改变风险判断？\n相关内容\n\n\n我是孙煜征，大家叫我立正，康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里，和我一起把AI、工作与人生中的重要问题想明白。\n了解我、阅读文章与查找往期节目\nhttps://www.lizheng.ai/\n问问立正｜把问题想明白\n听完还有问题，或想把一个观点用到自己的处境里？试试我做的「问问立正」：AI会从我的公开文章、视频和《真本事》中寻找相关内容，整理回答，并附上出处。每天可免费提问3次。\nhttps://ask.lizheng.ai/\n不怕AI天天变，就来超线性学院\n学点真本事，做点真东西。超线性学院是我创办的免费AI社区，两万多人在这里分享真实项目，你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。\n带上一个模型容易答错却语气确定的案例，拆分错误来源、风险边界和可验证的反馈信号。\nhttps://www.superlinear.academy/\nAI Builders｜系统学懂AI，真正用起来\n想系统学懂AI、用它做好重要工作，把想法做成作品？了解我和鸭哥一起做的AI Builders课程。\nhttps://ai-builders.com/","thumbnail_url":"https://img.transistorcdn.com/SrdgszKfQdMzHkFcqyor7qCKHRdyeQYSqgfLgUTg7CI/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9kZTM0/ZmVjMjA2NzRkZGM5/YjI4ZGUxYjdkMTFj/NDM4YS5qcGc.webp","thumbnail_width":300,"thumbnail_height":300}