{"type":"rich","version":"1.0","provider_name":"Transistor","provider_url":"https://transistor.fm","author_name":"课代表立正","title":"对话 294｜亚马逊AGI查晟：大模型训练的一线实践；训练AI有多难，人才和科学精神有多重要？","html":"<iframe width=\"100%\" height=\"180\" frameborder=\"no\" scrolling=\"no\" seamless src=\"https://share.transistor.fm/e/60aacaee\"></iframe>","width":"100%","height":180,"duration":3295,"description":"大模型训练不是堆算力就能解决的问题。Amazon AGI 资深经理查晟从一线实践拆解实验设计、数据、基础设施、Evaluation 与团队协作，并解释为什么追求 information gain 的团队反而要容许高失败率。\n适合大模型训练、机器学习基础设施和 AI 研究从业者，也适合需要判断行业能力边界的人，帮助你区分模型研发中的科学问题、工程瓶颈与组织约束。\n这期你会听到\n• 为什么大模型训练必须同时做好数据、模型、分布式系统与 Evaluation？\n• 高失败率实验如何带来更高的 information gain？\n• 公开 benchmark 为什么可能被数据泄漏和刷分误导？\n• cost-to-accuracy 如何衡量不同周期的真实研发进展？\n• NVIDIA 的护城河为什么不仅来自硬件，还来自 compiler 与软件栈？\n章节\n\n00:00 — 高信息增益实验为何允许失败\n\n01:14 — 查晟与 Amazon AGI 的模型训练实践\n\n02:23 — 大模型训练为何是系统工程\n\n07:47 — 用失败率检验研究方向的信息增益\n\n09:05 — 模型、数据、基础设施如何协同交付\n\n15:15 — 数据质量、SEO 垃圾与合成数据边界\n\n21:04 — Evaluation 为何关键又容易失真\n\n29:57 — 用 cost-to-accuracy 衡量研发进展\n\n36:01 — 稀缺人才与 NVIDIA 的软件护城河\n\n39:26 — 模型自主学习可能带来的下一步突破\n\n45:33 — AI 对职业与经济关系的冲击\n\n53:33 — 回到科学精神与完整训练系统\n本期嘉宾\n查晟，Amazon AGI 资深经理，参与亚马逊第一代大模型研发及 Frontier 模型训练，并曾与 Alex Smola、李沐共事。\n相关内容\n\n\n查晟：大模型训练的真相、NVIDIA 的护城河、以及为什么大厂做不好 AI：\nhttps://youtu.be/emWRfc4s00c\n我是孙煜征，大家叫我立正，康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里，和我一起把AI、工作与人生中的重要问题想明白。\n了解我、阅读文章与查找往期节目\nhttps://www.lizheng.ai/\n问问立正｜把问题想明白\n听完还有问题，或想把一个观点用到自己的处境里？试试我做的「问问立正」：AI会从我的公开文章、视频和《真本事》中寻找相关内容，整理回答，并附上出处。每天可免费提问3次。\nhttps://ask.lizheng.ai/\n不怕AI天天变，就来超线性学院\n学点真本事，做点真东西。超线性学院是我创办的免费AI社区，两万多人在这里分享真实项目，你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。\n提交正在设计的模型实验，交代假设、评估方式与失败信号，请大家寻找信息增益更高的改法。\nhttps://www.superlinear.academy/\nAI Builders｜系统学懂AI，真正用起来\n想系统学懂AI、用它做好重要工作，把想法做成作品？了解我和鸭哥一起做的AI Builders课程。\nhttps://ai-builders.com/","thumbnail_url":"https://img.transistorcdn.com/SrdgszKfQdMzHkFcqyor7qCKHRdyeQYSqgfLgUTg7CI/rs:fill:0:0:1/w:400/h:400/q:60/mb:500000/aHR0cHM6Ly9pbWct/dXBsb2FkLXByb2R1/Y3Rpb24udHJhbnNp/c3Rvci5mbS9kZTM0/ZmVjMjA2NzRkZGM5/YjI4ZGUxYjdkMTFj/NDM4YS5qcGc.webp","thumbnail_width":300,"thumbnail_height":300}