{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"课代表立正","title":"对话 276｜深度访谈田渊栋：AI“顿悟”的关键，是对优雅的追求？","html":"<iframe width=\"100%\" height=\"180\" frameborder=\"no\" scrolling=\"no\" seamless src=\"https://share.transistor.fm/e/a71725dd\"></iframe>","width":"100%","height":180,"duration":2409,"description":"田渊栋从表征学习出发，解释神经网络为何会从记忆跃迁到泛化：Grokking 并非神秘时刻，而是数据分布、优化 landscape 与隐含偏好共同塑造出的结果。对话还追问 Scaling Law、Loss Function 和“优雅”在模型学习中的位置。\n适合研究大语言模型、关注 Scaling Law，或正在使用 GPT-5 辅助科研的人；它帮助你判断继续扩大数据和算力，与打开黑箱研究表征机制，各自能解决什么问题。\n这期你会听到\n• Grokking 从记忆到泛化的变化，如何由数据分布和不同表征对应的“山峰”解释？\n• 表征学习为什么同时容纳直观学习与抽象学习，而不必二选一？\n• 当数据遇到瓶颈，理解模型内部机制能否替代单纯的 data augmentation？\n• Loss Function 只是代理时，训练过程中的 implicit bias 如何偏向更简洁、优雅的解释？\n• 人类研究员怎样向 GPT-5 注入关键 Insight，并持续识别它的错误与矛盾？\n章节\n\n00:00:00 — 从 Meta 裁员谈研究团队的价值\n\n00:04:10 — 研究员如何从稀疏数据中获得 Insight\n\n00:06:11 — 研究品味与直觉意味着什么\n\n00:08:14 — Grokking：模型怎样从记忆走向泛化\n\n00:10:55 — 表征学习为何会出现飞跃\n\n00:12:05 — 压缩、泛化与优雅解释\n\n00:13:05 — Scaling Law 与理解内部机制的两条路径\n\n00:18:41 — 大语言模型的输出是记忆还是泛化\n\n00:20:41 — 用优化 landscape 解释“顿悟”\n\n00:23:10 — Loss Function 为什么只是代理\n\n00:32:05 — 如何与 GPT-5 协作做研究\n\n00:36:05 — 人类研究员负责注入关键 Insight\n本期嘉宾\n田渊栋博士，本期围绕神经网络的 Grokking、表征学习、泛化机制，以及与 GPT-5 协作研究分享观点。\n相关内容\n\n\n田渊栋：模型的顿悟，AI的优雅，模型表征与人类心智模型的关系，优秀研究员的意义：\nhttps://youtu.be/zAzsDHpR4xs\n我是孙煜征，大家叫我立正，康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里，和我一起把AI、工作与人生中的重要问题想明白。\n了解我、阅读文章与查找往期节目\nhttps://www.lizheng.ai/\n问问立正｜把问题想明白\n听完还有问题，或想把一个观点用到自己的处境里？试试我做的「问问立正」：AI会从我的公开文章、视频和《真本事》中寻找相关内容，整理回答，并附上出处。每天可免费提问3次。\nhttps://ask.lizheng.ai/\n不怕AI天天变，就来超线性学院\n学点真本事，做点真东西。超线性学院是我创办的免费AI社区，两万多人在这里分享真实项目，你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。\n拿出你的模型实验结果或研究疑问，讨论数据分布、优化过程与表征机制。\nhttps://www.superlinear.academy/\nAI Builders｜系统学懂AI，真正用起来\n想系统学懂AI、用它做好重要工作，把想法做成作品？了解我和鸭哥一起做的AI Builders课程。\nhttps://ai-builders.com/","thumbnail_url":"https://img.transistorcdn.com/SrdgszKfQdMzHkFcqyor7qCKHRdyeQYSqgfLgUTg7CI/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9kZTM0/ZmVjMjA2NzRkZGM5/YjI4ZGUxYjdkMTFj/NDM4YS5qcGc.webp","thumbnail_width":300,"thumbnail_height":300}