Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
为什么做失败率低的东西反而更容易走向成功？成功率太高还是成功率太低的这些，你其实已经有一个很强的 prior，你知道它大概会 work，不它大概不 work，更多的是去 confirm 你已经有的一些经验直觉啊或者 bias。但如果是成功率正好是一半一半的时候，说明你对这个方向其实了解比较少。不管在这个方向上是成功了还是失败了，你都会获取非常有用的信息，试错迭代的速度会快得多，你也就很快的能够 cover 一个更大的空间。 Nvidia 其实很努力，一直是在继续推进和保护它的这个护城河。
你觉得它有明显的 compiler 吗？这个难点是这样子的：不同的硬件厂家有了硬件之后，其实才完成了一小部分，从深度学习框架一直到下面的 compiler，再到那些硬件什么的，这个中间其实还有很厚的一层。针对自己硬件的那个 compiler 那一层，大家的 software 的 sharing 其实是不够的。有一个数据厂商，他跑过来说：“我这边有一份非常强大的数据，它可以让你模型能力大幅提升。”
但是他可能实际做的事情是说，在他猜测你会测的那些 benchmark 上面 paraphrase 一些数据进去，相当于是没有 exact match，但是有 leakage 吧。模型如果只测那些 benchmark，当然会大幅提升了。解决这样的问题，最重要的还是公司得有一份自己的 secret 的 evaluation 的 benchmark，这个东西是永远不能 disclose 出来的。
我是扎盛，现在是在 Amazon AGI，我的 title 是 Senior Manager。我之前是在 Alex Molar 的组做深度学习的框架，做了一段时间框架之后，参与了基本上 Amazon 的第一批的大模型的开发。从那个时候开始，就基本上一直在做大模型。
始终是偏 training 这边的。你跟李牧共事过，对，呃，我原来就是在木格组下面。你当时是第一线参与的，包括亚马逊训练第一代大模型。
及失败的经历，并且你在这里边秉持着，在我看起来正确的一个技术路线。现在呢，你也是在深度参与亚马逊现有的这些它的 frontier 的模型训练。邀请你来讲一下技术吧。
训练模型到底是怎么回事儿？为什么它这么难？看起来 DeepSeek，大家说，你看中国一个公司用了百分之一的成本，也都可以训练出来一个很好的东西。然后中国也有很多，包括 Kimi、 MeMax 都有很多好的模型。但亚马逊、 Microsoft、 Meta 都很难去搞出来自己的模型，虽然有海量的资源和人才。那到底是咋回事儿？起码模型训练到底是个怎么回事儿，和为什么看起来又难又不难的样子？
嗯，好的。现在大模型的训练基本上用 next token prediction 预测下一个字符的这个方式，去给模型一个压缩很多信息的机会。这些压缩进去的信息会通过一些额外的步骤，中间训练和后训练去把信息变得对于那些 task 更有用。要做好这些事情，其实因为这里。
天然的就有很多环节嘛，要训练好一个像 DeepSeek 那样的模型，每一个环节基本上都是要搞对，基本上搞对了之后，就可以有正向的一个迭代的循环。
那这里有哪些方面要搞对呢？一个是实验的方法论上，其实它是一个经验科学嘛，这个东西大家要怎么做好？其实 machine learning 基本的那些东西都得做好做对，包括我们训练的数据不应该有 leak 一些，比如说 benchmark 上的信息。
对吧？这个我们不说什么厂家了，可能也已经有过这样的情况。包括预训练过程当中，因为每个模型它的训练成本都会很大，现在模型规模都很大嘛，所以研究迭代的过程本身就是是有成本的一个挑战的。大家基本上现在做法都是利用好 scaling loss。
通过 scaling laws 去看我在小的规模上面去做的实验，它在大规模上会有什么样的能力，会有什么样的效果？这一步做好了之后，就会大大的节省模型迭代的成本。 scaling laws 就数据量和表现的这么一个 x y 轴，然后随着数据量上升，它的表现就会越来越好。所谓的理解这个 scaling laws，是对这个曲线有个比较好的拟合，所以它能从更小的数据量判断出来，当它数据量变大的时候的效果是怎。
也基本上就是这个意思。Scaling loss 它是一个经验律，至少目前为止，并不是一个有理论基础的规律。这个经验是大家通用的，还是每家都有各自的 secret sauce？
其实有秘方。一开始大家应该是都是会用通用的那一些，当然，因为这个 design space 特别大，所以大家在具体怎么去切分这个 space，怎么去理解他们的各种 factor 的 interaction 的时候。
可能各家的做法就会 diverge，就会不一样。它这里其实是你用一定的规律投入更多的 compute 进模型，这个 compute 可以反映成是你用更多的训练数据，或者是你用更大的模型去训练。投入 compute 的方法做对的情况下，这个模型会给 diminishing return 的一个回报。这个回报就是这个模型的可以说是 accuracy 吧。所以 scaling law 基本上就是这个样子。
可以用在实验设计上的一个方法，其实就是说，我们可以用小规模的实验去预测大规模的模型的效果会是怎么样。那这样子的话，我的实验迭代就可以在小规模去做嘛。但是这个大家现在也其实知道，大模型有 emergent properties。
就是有一些本来小规模做不了的，大规模上看起来可以做了，突然呃对，突然就可以做了。当然，大家看到的是 positive，也有一些 negative 的情况是来自于我的模型在某个规模下面突然就不 scale 了，它 fall off scaling loss，这个是非常常见的一个坑嘛。所以很多 lab 都必须踩过一遍这个坑，知道碰到这个问题的话，我应该怎么样去克服它。
我在小规模上面，我应该去看除了 loss 之外的其他什么变量的趋势，我才能够避免这样的坑。所以就是说，虽然概念上用 scaling loss 做实验设计是一个听起来很简单的事情，但是依然会有在 scale up 过程当中踩坑的这么一个情况。这里还是需要很多 discipline 吧。
另外就是作为一个经验科学，其实很多 research 至少过去的 research 有很多一个不好的趋势是说，大家会不由自主的有一点 over generalize 一些结论。我想到了这个方法，在这个 case 上 work，我就说这个方法是 work 的。但其实 empirical science 不是什么 work 的。但大家发论文的时候就必须要这样，不然的话，大家就觉得这个发现没有意义。这个反过来也会碰到一些问题，就是说有些人在一个 setting 下试了一个 idea，他说这个东西不 work。
然后他就说这个idea不work。其实很多时候也不是的。想在这方面提高的话，是需要提高researcher对research的taste吗？就是你看到一个论文，你大概知道哦，他说的其实不是真实的情况，他只是一个case而已。
主要首先是要意识到这个问题，其次在意识到这个问题之后去消化论文的时候，重要的也就不是去看他给的结论是什么，而是说他的实验是什么。每一个实验的setting我们要看很仔细，就是它到底对于我现在关心的这个场景是不是applicable的。这个我觉得是很重要一点。毕竟实验造假还是少数，cherry pick可能会有一些，但是总的来说，实验数据还是更可信的那一部分。
刚刚说了三个点，一个是你实验的方法论（research integrity），第二个是 scaling out，对吧？对这个方法的掌握，怎么样子用更小的成本得到更有效的信息。第三个是你在看别人的 research，在学习的时候，其实现在有很多坑。
所以说要避开这些坑，并能更有效的在 research 里边学到信息。对，是的，是的。这个似乎只是方法上的点。咱们上次其实聊，你讲说一个 team 要 optimize for information gain，所以说你要去做那些高失败率，但是能最有效得到信息的东西。但你如果说像某些团队是把时间压上来，只能做百分之九十成功率的东西。
那其实反而更容易失败，请你帮我解释这个吧。这个可能对很多人来说是一个很反直觉的做法。为什么做失败率低的东西反而更容易走向成功？因为不管是成功率太高还是成功率太低的这些，你其实已经有一个很强的 prior，你知道它大概会 work，或者它大概不 work。
对于在做科学研究的时候，这个东西就相当于是比较 incremental 的吧，更多的是说你已经大概率能预测这个结果会是什么样，可能更多的是去 confirm 你已经有的一些经验直觉啊或者 bias。
但如果是成功率正好是一半一半的时候，那就是有一半可能成功，有一半失败。不管是什么情况，这个都说明你对这个方向其实了解的比较少。那也就是说，不管是在这个方向上是成功了还是失败了，你都会获取非常有用的信息，试错迭代的速度会快得多，相当于你在不断的去。
在自己不熟悉的方向上面，当然你选这个方向肯定是因为它有价值嘛。你在不熟悉的方向上面去挖掘，那么你也就很快的能够cover一个更大的空间。嗯，这个是这里maximize information gain的一个主要的motivation。
嗯，这也是一个实验的方法论。然后你上次也提到过，就是有好多个团队需要合作，然后这些团队可能都需要 work 才行。比如他需要哪些团队的配合？首先，这个东西要大规模的训练的话，肯定 infra 团队得靠谱。cluster 首先这么多机器得能跑起来。这个事情本身其实已经会有一些它的 challenge 嘛，规模大了之后可能会有一些意想不到的 bug。有一个简单的例子是，因为我们现在 optimization 都是 synchronous 的 optimization。
在 backward 的时候，会有大量的 compute 同时发生在同一刻，所有的 GPU 都会开始算 backward 的 gradients。那个 synchronization 以及这个 compute 的 surge 会导致所有的 GPU 在同时 draw 很多的 power。那么这个 cluster 的 power，它的 buffer 足不够大，就是在它 data center design 上面做的是不是够好，就会受到考验嘛？得多大？是不是一下得十倍那种感觉？
可以大很多，比爱豆的时候肯定会大很多。甚至有时候 GPU 可能会在 peak compute 时候，它 draw 的 power 比它卡上面标定的 power 是要高的。
那data center设计的人甚至都不一定知道这个事情，经常会有一些诡异的，比如说backward突然node就crash了，因为一个node它的电量不足，然后它就挂了。首先这个data center cluster的management这边，这个就是一大块，包括这些GPU它也会坏嘛，规模一上去之后，有很多GPU它可能会出错，它的memory bank可能会坏，可能会有一些silent data corruption，虽然没有报错，但是给了错的数字。
这种事情都会有，这里面其实就是有一个在规模化之后，怎么样保证 compute 的质量的一个很高的要求。大家从一个 abstract 的理解，就是搞数据中心是亚马逊的强项，毕竟他们有 AWS 那么多年的积累。实际上不知道是不是这样。
我觉得对于哪一家云厂商都是有学习的一个过程的嘛，毕竟这个东西本来没有，并且它性质上可能更接近超算云服务的，它的做法其实更多的是规模化，然后在零售少量的计算。
这个方式，它的各种设计的思路啊，各种运作的方式之类的，更倾向于那个，而不太会像超算那样。所以，超算呢是一个比较独特的 work load 的一个场景吧。
然后 data center 这一层搞稳了，然后 fault tolerance 做好了之后，分布式训练它的性能和效率怎么样做好？其实有很多东西要做。
包括你这个模型怎么样去并行的去做这个计算？哪些东西分块分到哪里？你这么分块之后，它这个通信是在什么速度的 network 上面发生的？是 GPU 上 NV Link 发生的，还是在机器与机器之间的 connection 去发生的？它的 latency、带宽什么就都很不一样嘛？
然后包括很多系统细节上的优化，比如你GPU你要让它一直能够保持busy，能够尽量算更多的东西，那你就要尽量减少这个访存。那减少访存一个很常用的方式就是把算子去融合起来。所谓算子融合，就是比如说我算完了一个matrix multiplication，然后我接下来要算一个activation function啊，一个tanh或者什么。
sigmoid的之类的。我如果这个中间需要把这个结果写回去，再读回来，再做那个内部计算，那我就会多一次访存嘛。我如果把这两步同时做，matrix multiplication之后，我的epilogue就是结尾加一步sigmoid的这个function，那么我就省去了一次访存，所以我计算性能就会变高。但是做这件事儿的人就需要既懂模型，又能改模型的那些计算，又要懂硬件。
且他要懂 network，那这个人一般是什么样的人呢？这样的人就其实非常非常少。比如像 Google 这样的大厂，他们其实更多的是把这个角色单独分开的。他可能非常懂分布式训练，然后他在帮助优化的时候去理解一下这个模型怎么做，然后再去优化它。
当然，这个也是依赖于他们强大的infra和compiler的这个基础设施嘛。这个其实是长期投资体现出来的回报。我听一个rumor啊，就是其实像在DeepSeek这样的公司，反而模型、data做数据的人互相之间的工作很了解。
所以说，他们可能合作上是可以很紧密的，但听起来就在一个传统大厂，尤其他之前没有做超算，不去解决这些问题，他没有对应的业务的时候，他很难凑齐这样的人。
对，是的，其实最重要的点还是这个大模型要做出来，必须所有的这些方面都做对。前面说数据中心、分布式训练，包括后面预训练的时候怎么做实验设计，怎么做模型框架设计什么这些，包括后训练的那些方法、inference的那些框架什么的。除了这个之外，science上面还有evaluation要怎么做对，这个其实是最重要的嘛。只有这些全部搞对了。
才有可能做出一个好模型。呃，做出来的几率有多大？就全都搞对了，全都搞对就一定能做出来。这个事情并不难。那做这个事情的人其实很多，就是需要知道怎么样把它组成一个团队，然后把它能够结合起来，让大家一起 deliver 这个东西。
大厂可能会存在的一个问题是说，这些东西就可能分给不同的 director 去做，每一个 director 的自己都有自己的团队一个小 culture，他的人才密度可能不一定够把那个东西做对。小而精的团队，大家虽然没有办法很快的把某些东西都铺开，马上把所有 task 都做了，但是他至少做的东西都是对的，而且这个做对的速度也会更快，对吧？小的团队没有很多交流的 overhead，对，不光有交流的 overhead，还有大家自己的 scope politics。
互相拖后腿、抬台，确实会有。就哪怕大家都是 well intended，然后大家都努力在做这个事情，依然不能避免的是人才 density 不够的情况下，就是没有办法把一个重要方向完全做对。那小团队的优势就是我可以快速迭代，我发现错了我就赶紧做对。更可怕还是 Google 那种模式嘛，就是它团队大，但是大家的 culture 都是非常 technical、非常 science driven，不同团队的人才密度确实也够把每个方向都做对。
那你也就会看到，它不单能快速的开 shop，而且它会有非常快的迭代速度。确实，所以说是 data center 分布式计算，然后 pre trainer。
应该还有 data 的人，对吧？就 pretrain 和 post training，其实都需要 data 的人。 data 这一块需要的就是好的常识、好的 taste。一般数据如果有问题的话，足够聪明的人、知道要把控质量的人，只要愿意花时间去努力，都可以迭代出一般比较好的数据来。数据有问题怎么看出来？然后怎么叫从不好的数据迭代成一个好的数据？
就比如说，之前 AI Two 他们讲过一个比较有意思的例子，就 Reddit 上面有一个 sub Reddit 叫做 Microwave Gun。那个 sub Reddit 里面的人不干别的，就他的所有 comment 都是用 text 去模拟那个 microwave 的声音，然后你会发现有很多 m，嗯，然后突然可能会来一个 ding，这个文本就。
跟其他的文本完全不是一个斗妹的嘛，这个会导致很多这种loss爆炸啊之类的这种情况出现。之前AI Two他们就是碰到这个问题也讲出来了，像这种就显然是低质量了没有用的一些数据嘛。包括网上其实很多网站都是为了search engine optimization存在的，它这个里面有很多垃圾文本，那些都得过滤掉。这样子这种低质量文本就只要去看了一定能找到，也一定知道怎么样去掉它嘛。
去看了这件事儿，说起来容易，做起来很难吧？因为它的文本太海量了，training级别的文本是吧？怎么可能看过来呢？这个的话，这么说吧，你不管什么文本，那Google它能够index多少文本，对吧？这个search的那一套technology，其实现存的已经是能够做这个事情做得很好了。
所以就是说，scalable的工具想要有都是现成的。那大家就是得问这个问题，然后知道要用这个工具，要把这个工具做好，就可以做这个事情。你说的所谓的愿意去做这件事儿，不是说他愿意自己去看了以后人为的决定，而是说他知道有这个问题，他想解决这个问题，然后工程的方式去解决它。对对对对，甚至很多人洗数据用language model去洗嘛，用language model看这一套文本里面有没有什么。
质量问题，这就有一个巨大的 debate 了，就是用 language model 去 evaluate language model，用 language model 去清洗 language model 数据，包括合成数据（synthetic data）。我觉得从信息增量的角度来说，这个不是特别 make sense。你都是 induction 的信息，没有 extension 的信息，所以说你没有什么新的信息。就按道理，你就是改变一下你的方程，就可以去得到那样的。这样做，你觉得它本质上是有意义的吗？然后我猜，它肯定是有一些现实的意义的。那些现实意义在哪？和它的边界在哪？
用 language model 洗 language model 的数据，你说的这个点就是说它并没有增加信息。我觉得从 overall 来看，确实是这个样子的。但前面我们讲 language model 数据库抽象的时候，也讲了不同的 granularity 以及它组合的这么一个东西。
这里还有一个技术点，其实是说生成文本本身是比理解这个文本好不好要更难的一件事情。所以如果说已经生成出来了之后，很多时候可能生成的时候这个模型生成的并不好，但是这个模型知道这个生成的不好，那它就可以过滤掉。所以就是说，Summar这个它还是能够让数据质量变得更好的。
还有一个思考这个的角度，就之前有那个猴子打字机，随机的打打出莎士比亚那个，就是它的荒谬的是在你虽然只有二十六个字母，你的combination其实是cover了所有的信息嘛，也就是说这个space下面你要的信息它其实是已经存在了的，就是你得知道去怎么样找出它，然后如果就是。
对，就是找比生成更简单。对，有这个 asymmetry。那合成数据这件事儿呢，就是用合成数据训练模型，这种左脚踩右脚可行吗？
这个也会有用。最近有一些 distillation 类的工作，其实都是往这个方向去推的嘛。不过确实可能更多的不是说它能够无限的左脚踩右脚，然后模型还不崩啊，而是说你可以做那么一两步，但边界怎么样，现在还要再去探索一下。
我对合成数据的理解啊，一直是它是其实是在改变权重。我原来这部分的数据比较稀疏，然后我 generate 很多数据了以后，它其实没有带来增量信息，但是它可能这部分的数据它的权重就提升了。对，确实可以是这个样子。
这个也是前面说的用不同的 granularity 把数据提出来，然后重新组合一下，看看有没有用，再放回去的另一种表现形式嘛。我还看到这两天还有一些 paper 是说 self-distillation，它其实相当于是希望模型自己左脚踩右脚，但是它的 reward 那一头，这个模型其实会拥有比生成这一头更多的信息。通过这个方式，哦，让你猜。
对，通过这个方式自己去考核自己吧，有点像啊，人好坏啊，但是是有道理的。就感觉女生跟男生谈恋爱的时候设置一些奇怪的test那种，对吧？回答对了，那说明你小子有潜力。对对对，看看是不是能开悟。那有意思，嗯，希望他们能找到这种有灵性的模型吧，选出来有灵性的模型。那做data的人是什么样的人？听起来不是data scientist们。
嗯，可能他的专业训练本身不是那么重要，因为我前面讲到，这个数据看着好还是不好，会有什么问题之类的，其实很多是常识性的，更多的是说你要能够知道问什么问题，用好工具去把这个答案找出来，然后要 enjoy 这个过程。
我觉得主要要的是这样的人，是不是 data scientist 我也不好说，因为我其实 data science 这个 role 那边 interaction 其实没有那么多。那你跟那些打交道的 data 他们的 background 是什么样子？一般其实有挺多是 NLP 或者什么 machine learning 的 PhD 这个样子。
我们又讲了一个 data pretrain, posttrain 或者 midtrain，嗯，还有吗？Evaluation 其实也是跟 data 有关，但 evaluation 其实是所有东西里面最重要的，因为假如之前某些友商他 Evaluation 搞对的话，他是不会把那样的模型放出来的。
对吧？至少决策不会做错。一旦出现这样的决策错误呢，很明显就是 evaluation 这一步就是错的。那么 evaluation 通常又是大家不同团队迭代的目标嘛，所以这一步搞错了就很容易出问题。这里面跟认知也有关系。有很多一开始做 language model 人，他觉得 evaluation 这个东西在 language model 里面 overfit 什么的其实没有关系，你有 leakage 可能不太要紧，这完全不是这么回事。
为什么大家有那样的直觉？然后那个直觉为什么不对？因为很多人可能就觉得模型的知识本来就是预训练里来的，然后预训练就是什么文本都放进去。对于知识类这些东西，你就是要它记住，要它记住最直接的方式就是。
这个对训练的时候就看到就overfit嘛，但这样子的话，会发生的问题是，其他跟数据不相关的那些design上面，它的迭代方向就会错。
哦，比如说我做预训练方法，我如果数据里面有 leakage，那我优化出来的模型其实是更偏向于 memorize 的 benchmark 被 overfit 了之后，这个 benchmark 本身就不能用来指示说我这个模型在这个事情上做的好不好了。我也并不知道这个知识跟其他的知识的它的 compression 发生了没有，做的怎么样。那这个就很难去衡量预训练的效果。所以这个 evaluation 其实是非常难、非常重要的一点。
你说的 evaluations 呢，和现在市面上大家教的那些 AI evals 是不一样了。AI evals 那些是拿一个 AI 产品做一些 workflow，然后最后衡量一下整个东西的质量。你说的是 LLM 本身在训练的过程中。那在这种情况下，本身这方面的人就已经是很少的啊，就不要说市面上做 AI evals 的和这个没有半毛钱关系。那这些人主要也是 NLP machine learning scientist 什么 researcher。对。
也主要是这样的角色啊，而且 evaluation 一般来说，一个团队要把 evaluation 做成功，public 的那些 benchmark 其实大家模型都见过，然后也很难去衡量嘛。如果只依赖 public benchmark 去做自己的模型 evaluation，其实是一件很危险的事情。比如我举一个简单的场景，有一个数据厂商，他跑过来说，我这边有一份非常强大的数据。
它可以让你模型能力大幅提升，但是它可能实际做的事情是说，在它猜测你会测的那些 benchmark 上面，它去 paraphrase 一些数据进去。
它相当于是没有 exact match，但是有 leakage 嘛。那在这个情况下，这个模型如果只测那些 benchmark，当然会大幅提升啊。所以解决这样的问题，其实最重要的还是每个公司自己得有一份自己的 secret 的一个 evaluation 的 benchmark，然后这个东西是永远不能 disclose 出来的。
嗯，都很有意思哦。听起来应该也都是很多这个厂商受过骗的真实教训。对，肯定是有的。这里插播一下我和鸭哥的企业培训广告。二零二六年了，能不能把AI真的用好，决定了很多团队的生死存亡。如果你的团队对于AI的使用还是停留在聊天框里边，或者盲目追求代码生成率这种虚荣指标，那并没有触及生产力的核心。在很多组织里。
这边强行上AI，反而让生产力下降，搞不定幻觉，处理不了稳定性，稍稍有深度的问题，AI就靠不住。这不是AI的问题，是人的问题。在AI时代，自然而然的最大瓶颈就是人。那为了解决这些深层的痛点，帮助每个人突破自己。
更好使用AI是我和鸭哥过去两年聚焦的事情。目前，我们也正式开启了我们的企业级培训的项目。我们正在跟腾讯深度合作，帮助腾讯开发他们的内部AI培训课。
课程，同时我们也在为美国的科技大厂，比如微软、Meta、Google进行企业培训。过去一年，我们给Dollarsh、Pinterest、亚马逊等等公司都做过几百人级别的AI培训。我们去教这些最领先的科技大厂，他们内部最优秀的人如何用AI native的方式去思考和工作。我和鸭哥的角色就是这些顶级人才在AI时代的实战教练。那为什么这些最聪明的大脑都需要重构呢？因为绝大多数外面的课程都是在教你读课本、抄作业，可是我们教的是这个新的技术范式和围绕这个全新的技术范式、全新的思维、全新的习惯和全新的技能。
我们不教那些很快就会过时的prompt咒语，我们教的是如何运用不确定的模型去构建一个稳定的、可靠的系统，如何从零开始发起高质量的AI项目，以及如何建立一个AI原生的思维模式。这套体系是经过我们过去2000多个学员验证的，在AI时代的真本事。它不会随着模型的更新而过时，而是一个人、一个组织在AI时代真正站得住脚的。
东西，如果你的组织需要这种从技术到思维的深度改变，那欢迎随时来我们这个网站深入了解我们菜坛B端的培训业务。当然，如果你是一个个体，你想跟上这个时代，甚至是想驾驭这个时代，你想去学那些我们教这些顶尖大厂顶尖人才的东西，你想去跟上这个时代AI先行者们的能力和思维，那欢迎把我们的课程推荐给你的老板，或者你直接加入我们的C端课程。
西端课程的主页是 ai dash builders dot com。如果你用例证这个折扣码去购买 bundle 的话，也有一百美元的折扣。这是两门终身迭代，在 AI 时代永远不过时的课程。在过去两年，也受到了有这么多不同背景人的公开实名的高分好评。那欢迎大家来到这个网站下单。我们课程和社区里见。
还有问题就是，大家是诚实的啊，然后大家都是想把这个模型给做得更好。可是我们现在发现，就是衡量模型到底好还是不好，我们看 benchmark 已经不适用了，而且我们还不断地发明新的更好用的 benchmark。
的情况下，这个感觉是对的吗？还是其实现在有一些 benchmark 已经非常好的告诉大家模型的效果了？普通人吧，想要去了解模型效果，我们不去看那种这个文章发今天这个爆了，明天那个爆了，我们应该怎么样子去衡量一个模型好还是不好呢？
可能还是实际使用体感为准吧。我想要实际使用也是需要投入时间的嘛。我想有一个大概的，就是它不是一个垃圾这种感觉，它值得我投入时间。我会怎么判断？对我见过的一些Power User，基本上自己有那么几个example，是相当于是自己的小benchmark。然后不管什么新模型来了，都会把这个几个试一下。
看一看这些能力对不对，效果好不好？其实跟前面说的比较像，可能就是规模小一点。一个是看模型效果，一个是看跟自己是不是 relevance 我的实际工作，然后它能完成的好，那 OK。完你完全没有提任何一个 benchmark，难道任何一个 benchmark 都不值得看？
Benchmark现在更多的会成为各个lab做marketing的一个工具，当然这里面要把它作为marketing工具也要小心一点。比如我知道这个Humans Last Exam那个benchmark，它数据本身错误率就很高，可能有百分之四十多。
所以你要是给我刷出个百分之七十的分来，那你肯定是对吧？再讲这么几个我们不知道的，让我很震惊的东西。我操！我完全不知道，好多模型的这个分都很高啊。啊，对，就是如果刷的很高呢，肯定会有问题嘛。我觉得这个是最典型的一个例子。是什么问题？主要是那个数据本身，它给的答案是错的。
那不是，我是说，他如果刷的分很高，证明了这个模型有问题，证明的是这个模型产生了数据 leakage 的问题，还是产生了什么问题？证明他见过错误答案，就是给了你一套这个小抄，小抄竟然是错的。对啊，老师一改卷子，发现怎么错的都一样嘛。
呃，哇塞！再说一个得罪人的，当时腾讯小马哥说我们3D模型已经是搜下了，然后我问了一些内部人员，这个是怎么来的？他说是在一个很靠谱的benchmark上。
确实得分最高，然后那个奔驰版我记得是说，大家在真实使用场景下去进行投票，你可能不了解背后的每个机制，但是你的直觉，你觉得这件事可信吗？有针对性的优化过的话，很多时候可能这个地方犯错，并不是说 scientist 真的故意要去直接刷这个分，因为直接刷这个分的话，应该可以刷得很高嘛。
很多时候更多的是我就是急着要赶 deadline，上面指标下来了，我要把它做上去。然后我可能在选我的数据的时候，就没有像我应该那么小心的去做这个事情。那么可能更多的会有一些间接的这种 contamination 啊之类的问题。
就是反而你想不得高分儿，有的时候是一个更难的做法；得高分儿反而是一个简单的做法。如果有做模型的商家在看这个的话，我会觉得就是你至少在内部开发的时候不要去 overfit benchmark，之后 marketing 的时候再 overfit 再说吧，不要影响内部团队的开发进度嘛。
非常的反人性，实际啊，在我看来，就是一个KPI衡量versus science精神的这么一个PK。
就是你试图用偷懒的方式去管理这种科研团队，你试图去把它用各种 quantifiable 的东西去衡量，然后不管是 deadline 还是你的这个 score，甚至包括你的什么研发进度也好啊，薪酬也好啊，所有这些东西其实都反而会导致你这个科研精神的损害，最后导致整个事情是不好的。
对，是的，长期来看，这个市场一定会纠错嘛？因为毕竟你分刷的再高，你放到 customer 手里，它不好用，那还是不行。
嗯，好。那关于这模型训练，你觉得我还有什么地方没有问到的？你觉得一些你在过去的工作中的一些实际的感受啊、见闻啊，或者说你的领悟啊？
我可以讲一下我这边，因为我自己带的相当于是预训练的 research 的团队嘛，我是怎么设计我们的 incentive 的。来来来，please。当然，首先我们整个 team 还是比较秉承大家要做好 science 这个事情，倒是 convince 大家说不要 overfit，要尽量用干净的 data 什么这些还比较容易。
然后我们在有了干净的data之后，其实相当于是要在pretraining这么一个很大的space里面去make各种bets，然后去看怎么样能够快速的迭代出更好的模型来。
那当然，我们会用scaling law什么这些方法去降低成本，但就是说，我们能scale up的机会本来就还是比较少。那么，我们现在怎么样去衡量我们自己team的research的progress呢？我们相当于平时是所有的researcher在自己专长的那个领域里面会自己去迭代去。
去探索最新的那些方法，用前面说的 information gain 那个方式，尽量去学更多的东西，然后看哪些方法是 promising 的，然后每一个 quarter 会去要一批更大量的计算来，让我们实际的去试着 scale up 一次。
多大不能说我们这边的多少，但是一般来说，比如十到二十三次方 flops 之后，各种 benchmark，包括一些 reasoning benchmark，也都可以看到非零的数字了嘛。这个大家其实基本都用的那个规模。
然后每一次这个 scale up 都是给我们测试一次，呃，我们自己的各个方向上的 design 做的好不好的一个机会，相当于是一个实战的一个演练吧。
这样子的话，我们其实每一个 quarter 都可以知道，我们相比上一个 quarter，我这个模型训练出来到同样的 accuracy，我可以节约多少 compute。然后我们这个其实相当于就是用 cost to accuracy bar 这么一个方式去衡量我们训练的这个研究进度的。这其实让我意外的点在于，你们是没有算力支持的，作为一个这样的研究团队，我本来也是这样吧。
其实，在不同的企业可能都会有这样的情况，production会需要大量的计算，hosting需要大量的计算，所以怎样能够保持compute的allocation，这个其实是一个难点嘛。我们也不说没有计算，我们其实平时计算还是挺多的，就至少每个人跑一些中小规模的实验什么都是没有问题。
但等到比如说真的要跑大规模训练的时候，那可能需要的机器会更多一些，那我们就会去对应的要一些，然后去做这样的事情。我发现，包括我大多数观众对于大模型训练到底需要多大的数据缺乏概念，甚至包括很多machine learning scientist没有这种感觉，就是他没有内化这个区别，帮大家背出来记一下。
你说训练的文本量会需要多少是吧？或者需要的算力的差别？平时是可能每个人几台机器做一些小规模实验，这个其实迭代就已经很快了，就可以做很多东西。
真的要到 scale up 的时候，可能一整个 data center 都得用到一起去跑一个 job 这样子。总之就是你们会得到一个 data center 的这种给你们一下。嗯，对。然后训练的过程中用的文本可能几十个训练的 token 吧，那就是可能几百个 terabytes 的，就光文本。
嗯，还是能想象出来的。刚刚有说你平时有一套的一百六十方式，然后你会去拉到这个实战上，你的具体的这个标准，比如说对老板汇报的时候的标准，这个算力 to accuracy 的这样的一个 ratio。
对，这样子做有一个好处是，相当于我整个 team 每隔一段时间都可以去出这样可量化的一个跟直接 business 相关的结果，对自己 team 内部的 incentive 有一个好处是，因为不同的方向 research 都需要发生，但是不同的方向上可以得到的 gain，它的周期又都不一样。
那我还会有一个需要去权衡不同的人，他可能做的方向 expected game 不一样的这么一个问题。但如果大家都是打包一起去做，就不需要说变成我去 justify 每一个人 save 了多少这样的问题。
哦耶！因为刚刚的这个本质就是你需要每一步都做对，它才有可能整体有效果。但确实，你如果拆开的话，你就会说这个点它有贡献了百分之八十，那个点贡献百分之二十。但其实百分之二十也是必要的。对，包括有一些可能，比如深度学习理论做的比较多，它告诉我们某一些初始化、某一些scaling应该怎么做。但是这个本身可能它并不能直接反映出gain，但是它enabled了everything else。
这样的情况下，我依然是要去 encourage 上的 research。那么最好的方式就是一个 team 整体打包去做出一个新的 recipe 来，然后大家就衡量那个 recipe。
那你自己衡量 individual researcher 的时候，你怎么衡量呢？更多的是说看，比如他做的这个工作，跟他现在所在的那个方向去比吧。比如现在外面大家在用的 optimizer 怎么样，然后我们自己做的 optimizer 怎么样。
这个其实就可以看到他在自己的方向上推的有多远。这件事很难，因为要求你对每一个方向都了解，且你能从这个工作本身去判断，而不是从一个结果数据去判断。
对，是的，我更多的是把这个看成对于我来说是个学习机会吧，因为我就需要确保每一个方向上他做到什么程度，我都要有能力去深入了解。所以你看，现在大模型相关的大多数这些方向，你都能对这个人的水平有一个了解。
大致应该至少有一个认识吧，可能不同的人技术路线。那你以你看了起来评论一下市面上的著名人物的水平？呃。
这个就我觉得不说了吧。还有没有什么没有他知道的点？你觉得技术上的话，我会希望，比如说现在还在学校的PhD，尽量多去接受一些工程训练嘛，做一些不scale的事情，把。
啊，比如说那种高性能计算里面常见的一些 technique 啊， communication pattern 啊，什么这些，即便可能跟自己的 machine learning 研究方向不一定相关，但现在这个东西搞懂其实挺重要。之后的所有的 research 基本上也都需要好的 implementation skill 去 drive。
所以，在一个实现的 throughput 赶不上 idea 生成的速度的情况下， bottleneck 其实在实现上，大家应该更重视一些这个 scale。
你有没有什么具体的fields？你觉得它很重要，但是人才不够多的？包括做kernel的优化，包括做分布式的模型的训练的设计啊，还有就是networking communication的一层，怎么去实现好的高性能的pattern？现在到处都还是挺缺的吧？利好NVIDIA，Sounds like还是算力不够。
或者是算力利用的不够好，对算力的利用率可能是一个大问题。你觉得你们要可以解决这个问题吗？就是他一直其实也都在搞自己的超算，电显卡事业造也大了。
我觉得他肯定是试图解决，并且通过这个去抢占更多市场嘛。而且他也正在做很多那种易用性上面的改进，包括他们那个 Tile Language 那个，就是用更高层的语言去写 Kernel 这个东西。这个是相当于填补了 Triton Compiler 在可能最近两代的这个 GPU 上效果不够好的一些 Feature Gap 啊之类，它相当于填了那个坑。NVIDIA 其实很努力，一直是在继续推进和保护它的这个护城河的。
你觉得它有明显的 competitor 吗？明显的 competitor，大家都想做 competitor 吧？我觉得这个的难点是这样子的：，不同的硬件厂家，它有了硬件之后，其实才完成了一小部分，从深度学习框架一直到下面的 compiler，再到那些硬件什么的，这个中间其实还有很厚的一层。中间针对自己硬件的那个 compiler 那一层，大家的 software 的 sharing 其实是不够的，那一层并没有太多的什么标准。
然后导致说，不同的硬件厂家，即便大家利益是一致的，大家都想去抢占市场，compete这个NVD啊，对。但是因为底下硬件这里它会有一些比如proprietary的东西或者怎么样，就导致可能到instruction这里并不一定都是放开的嘛。这个就导致说，中间这一层很难有有效的，比如说open source啊或者其他类似的software sharing的这种strategy。
当然，这个问题我觉得现在可能会变得好一点，因为现在 software 便宜了，所以还是希望现在已经有的硬件厂家抓住这个机会，把自己 compiler 做做好。
但听起来不太容易构成竞争威胁。对，这个东西是挺难的，本来就是挺难的。而且另一方面，这个前面说的 NVIDIA 很勤奋嘛，他们也会用 Agent 去写自己的 Kernel，他们的 CUDA Library 的 Improvement 的速度也变快了很多。
对，就不要说他们本身就是最绝，然后人才最集中，资金最集中，leadership vision最好的公司，可能没有之一。就抛弃这些，它的那个护城河其实远远比大家想象的大，不是在于这个硬件本身，而是在于它的生态。且这个生态似乎听起来就是一个马太效应很强，因为它这个生态其实是个标准，所有的其他的上面的东西只能跟着这个标准来。
你想piece一个标准，对于第二名到一百名加起来也很难搞定这件事儿。好，我们接下来就聊第二个话题，你对一些未来trend的看法。
我觉得可以先讲一个技术上，我们接下来可能能看到什么样的disruption这件事情，我觉得可以先讲吧，因为前面正好都在讲技术，我们前面用了database这个抽象，然后frontier labs都在。
通过劳动密集型的方式去给这些表去做完善，然后去填表，用大量的人手去找各个方向的数据，然后放到模型里面去。希望大家能用起来。还有就是，已经有很多用户的那些厂家，他会从用户那边得到很多新鲜的、有趣的一些intent。
这个也就给了他们信号，说这个填表应该填什么。对，不是给他们具体的填表所用的数据，而是给他们信号，填表用来填什么。
也可以试用数据，肯定他们有团队去从用户的 prompt 里面去挖哪些是有意思的，应该去填的，应该去收集数据的。那这里面其实模型的改进，它的 bottleneck 还是在人，因为你要 cover 一个新的 domain，你依然需要人去找这些 intent，然后在 post training 找到对应的 environment 和对应的 reward。
把它program出来，然后再通过模型训练放回到表里去。但是如果模型它会自己的去找新的environment。
去找新的 reward，知道做什么样的事情是对的，做什么样的事情会是错的，那么他的学习就会不再依赖于人这个 bottleneck。你说模型找 reward 是找新的 reward function。
嗯，对，可以是找 reward function，可以是找其他 reward 的信号。就其实还是把人类都干掉怎么办？呃，这个可以作为下一个话题说。呃，就是自己如果能生成 reward 的话，那它可能形式上就会更接近像 Alpha Zero 这样的情况。对，只不过这个 environment 不再是一个简单的 closed environment，而是说开放式的一个 environment。
包括前面讲，有些 lab 在做 singularity，在做 self improvement 什么的，我觉得很有可能他也会需要依赖把 continual learning，把自己去找 signal，自主的去学习这个能力先去解决了，那么他才可能会在这个新的 domain 上能够快速的去改进它。
你看我理解对不对？就是模型现在是非常善于答题，但是它不善于出题。然后你刚刚说的就是模型能自动化的出题。
对，而且出的题可能并不是说是跟前面形式很像的，可以通过排列组合这个已经见过的东西去解决的，而是说，比如有灵性的题目，有一些新的环境，比如说我在火星上面，我要这个模型帮我去做一些 planning 啊，怎么样的，就可能 gravity 不一样了，很多东西不一样，这个新环境它能不能做对？包括如果是做 self improvement，那就是。
AI改进AI的这一部分里面相关的问题，它能不能自主的快速的去学习？所以从这个角度来看，其实从技术上来说，如果我们想说它是下一个突破点的话，可能就是它能够自己去做这个学习。那么对于用户的体验来说，更多的是要不然就是它是非常personalized。
只要给了他 context 之后，他马上知道我需要什么，他能够很快的去做那些只有我知道的，或者是只跟我相关的一些 task，然后他能做得很好。
或者说是像 self improvement 啊，或者其他的什么他目前不太擅长的倒霉，他可能能够快速的学会那些倒霉，就不会像现在这样再觉得是好像最近碰到了一个瓶颈，模型进步速度没有那么快了，可能再也不会有那种感觉，因为他一旦能 self improve 的话呢，就再没有人这个 bottleneck。
而且听起来这是完全是可以做得到的。对，这个一旦解决了，那其实还是回到填表的抽象的话，那就是填表的成本会降十倍、一百倍，或者是就降到基本没有。假设这不解决了，它到底这个模型它是什么样子？可能我们不管是什么，现在必须要靠人做的任务，它都是可能一两天之内它就学会了，再也不需要人去做了。
而且他自己会提问，对呀。我现在跟他说，你如果给我出一个视频脚本，他确实 Botanic 是在提问这一步。只要我能问正确的问题，他都基本上能给好的答案。但是他不知道提什么正确问题的话，呀，你觉得这个东西的个实现可能性有多大？个人觉得三五年应该能解决吧，100%。
百分之九十九，我还是比较 conservative，我会比如说百分之七十，在五年之内解决。百分之七十非常的不 conservative 了。嗯，主要体感的区别是在于，我不会像现在这样子，每一个 session 跑完了相关的 task，我还得重新 prompt 一遍。
如果这个模型deploy到机器人上，我真的可以教会它马上做一些东西。教会了之后，它以后就一直会了。包括新的一些场景、新的任务，它可能解决的会比我更好。都不要说什么模型天王统治了。
就简单的我，我说我特别讨厌一个人，你去帮我搞他，或者说你去帮我对他做点无伤大雅的恶作剧，但是让他难受一下，那机器人就会去做各种恶作剧，这听起来就有点可怕。反正肯定是会进一步加强这个 power 的 concentration。
哎，我昨天看窦文涛的一个节目嘛，他请的是那个冯石，他讲我们中国的道德或者文明里边，其实一直 aware of 你什么样的智慧是不应该有的，就不是所有的物质都对人好处，然后知识是应该是有局限的，一个无限的知识其实很可能带来的是一个 bang，但是没办法，我的观点一直就是说，当这件事情要发生的话，人是阻止不了的，就没有什么机制可以阻止。
嗯，对，从人的角度来讲，就即便我说的这个技术变革没有发生，那接下来对于人来讲，这个趋势是什么样子的？可能二四年、二五年开始，很多比如LinkedIn上有些刚毕业的学生来，会问我一些职业上的问题嘛，我也会尽量想办法，就能回答就回答。他们那个时候开始给的问题就是，我发现现在entry level job非常难找了。
当然，这个这两天可能情况会更加剧嘛。不只是 entry level，你会发现，因为 AI 呢替代的这个技术水平越来越高，先是 entry level 开始从入口卡死，接下来是越往上的 job level 也是越来越少。这个情况其实就相当于是基本就否定了以前说的这种传统的 career 的这一条路线了。
之前一个嘉宾，他发现 career 这个词呢，其实是工业革命造出来，然后为了让大家可以有一个这样目标，然后他想了以后觉得，哇，是不是自己疯掉了？自己怎么可以做这么叛逆离道的？后来去看乔布斯写的一模一样的东西，就是 career 这件事儿其实是个假的东西。
对，那现在 career 这件事情是假的，这个体验大家体感就会非常的真实嘛，因为它就是不存在。那既然是 career 这个东西不存在了，那么大家现在面临的主要的一大问题其实是怎么样去继续参与经济活动嘛？所以我个人觉得啊，课代表你现在做的这个事情是大家应该效仿的。
谢谢。我在二零二三年的时候出了一期视频，我就说给大学生的三个建议，因为我怕大家说我爹味儿，然后我说给那个工作的人听，他们觉得不好听。我说你要去寻找一个公司之外的价值，你要在公司之外能创造价值，然后你要去看看人生的意义。我说是说给大学生听的，但是我是说给所有人听的。从那个时候就意识到了，就是打工这件事儿不会再持续特别久。
那个时候为什么我要去说给大学生听？因为我说出来就被人骂。然后到二四年的时候，我说，然后又被人骂，然后说小白焦虑，不啦不啦不啦，你怎么怎么样？很多时候，人面对一个新的变化的时候，就是不愿意去动作。嗯。
这个也确实没办法，人有人的局限性嘛。不过另一方面来讲，这个现实它其实并不 care 我们的 feeling 到底是怎么样的。这里的 meta point 更多的是说，我觉得接下来会有一段可能比较困难的重新 figure out 组织形式的这么一个过程。我们拿美联储举个例子，它调利率的时候，它看什么？它看通胀。
他看就业率，对吧？但我如果把利率降低了之后，我资金都是流向，比如说AI的这些产业，我都是投到这个尽量发展AI，从而保持美国在国际上的竞争力。那这个过程当中，它又不是劳动密集的，那么也就是说，大部分这个资金的流向并不会反映到就业率上去。
那也就是说，本来调利率的这个工具，其实在这个情况下就失灵了嘛。同样的，你如果因为就业率没上去，大家income没有上去，那你inflation也不会上去，对吧？呃，那不一定，income不上去，inflation有可能上去。
啊，那确实是对。这里可能主要会有的一个变化是在于生产力发展，如果脱离于这个劳动力了，那么很多原来有的机制会失灵嘛。
我稍微说一下，这个在经济里边倒不是一个新问题。十几年前吧，我记得当时 Krugman 在 New York Times 就写了他的 op，经济学有很多讨论，就是我们似乎所有的东西都是 favor capital，但是在经济学的宏观经济模型里边，就是 labor 和 capital 本身是一个 trade off。越资本密集的企业就越不 labor intensive。如果说我们的目标是要 create more jobs 的话，你去把所有的 policy 去 favor capital，这个好像不合理。
所以这确实是一个长期以来的趋势，但问题是什么呢？就是capital的influence对这些policy的influence是非常强的，所以说他们就会去把更多的资源放到自己身上。现在AI可能就是加剧了。还有另外一个文章，我觉得也很重要，就是说本来啊，你在AI之前，你是所有的capital想要达成一个东西，你是需要人的，就比如说SpaceX，那为什么Blue Origin花了那么多钱，他没有办法像伊隆马斯克那样去，因为伊隆马斯克懂得怎么管人。
懂得怎么把这些科学家们 work，但是未来 AI 无所谓了，人的智能 commoditized 了，所以说你 capital 就可以直接作用到结果上，这对有钱人来说是好事儿，但是对于 labor 就是打工人来说是个非常不好的事情。
对，是的，而且即便民众，比如说更希望其他的policy去至少确保人的welfare，但这个事情在有国际竞争的这个情况下也很难实现，因为不管是国与国之间竞争，还是企业之间的竞争，其实大家都是希望生产力进步嘛，这个压力始终是存在的，这个动力是确保它怎么样持续下去、持续存在的这么一个根本动力嘛。
那这样的情况下，就会导致说，大家不得不把资源投到更容易提高生产力的方向上去。那么反映在现在这个阶段，就是我投的很多资源，可能最终发了很多电，那这些电得给AI用，不能给人用。即便每个人能源消耗增加，可以增加他的生活标准，所以这个是已经开始发生的事情。
我对宏观还是相对乐观的。我对尤其科技公司打工人，不是说频道前面观众的个体的命运非常不乐观，但是我觉得宏观来说还是相对乐观的。因为你看，就是我们这些 knowledge worker 啊，被 AI 取代工作的这些人啊，其实不是主流。
我觉得大多数人他们的工作没有被AI那样子的去消灭掉。举个例子啊，就比如说我的娃去 daycare，然后他的老师绝大多数时间是在照顾他。嗯。但是老师要干一件事儿，就是每天要 log 他吃了什么。然后我就看到老师 log，肯定很不仔细了，因为他 log 好几个娃，这件事儿他是在照顾娃过程中去做的。
我们的AI可以帮助他更快地做这件事儿，他能更好地照顾娃。这个过程中似乎也没有导致任何人损失工作，除了那个不称职的那个软件公司，也都还好。
那如果带娃这个事情变成了仿生机器人去做的呢？这就是我不知道的，就是我自己没有那么看好机器人，它可以那么快的应用。然后原因是什么呢？原因不是说它的算法不ready，我相信算法这件事儿是可以解决的。但是sensor和控制其实并不是一个解决的问题啊。就是我们手上的这个sensor啊，这是一个手上的神经元sensor这些东西是非常非常敏感，就是把火箭发射到月球上。
是一个简单问题，它不是一个complex问题。你算好了以后，你可以发射了。但是你拿铁拉花，甚至拿一个杯子，它是一个complex问题，就是它的系统的复杂度非常非常高。比如我们化学可以合成钻石，但是我们合成不了翡翠，合成不了蓝宝石，是因为化学物稍稍复杂一点就不行。所以说我们能produce可乐，我们不能produce红酒，因为红酒上几千种chemical compound。就是我们人类科技水平在这儿。我们想让这个仿生机器人做到任何一个科技水平，其实都在这儿，从这儿到这儿。
我觉得好像没有大家想象那么快解决了算法以外，就像你说，就是硬件啊、sensor啊、控制器啊这些东西。
好像还差得远。我们大公司的控制现在还是六轴电机啊，就没有那么容易的控制。对，现在是，就主要是解决了持续学习之后会怎么样这些问题，本质上没有比其他的问题更复杂，可能 space 稍微大一点。嗯，我觉得理论上你在地球上盖一个一千层的楼，没有更复杂吧？
但是盖不出来。但是你在 digital world 建一个一千一层的楼都是盖得出来的，就是 digital world 是非常 scalable。我们现在去解决的这些数字的问题，是我们有很强的复杂性，因为在数字过程中它太精确了，所以说我们可以非常好的 deal with 这些复杂性。但是在物理世界中，我们对这个原子的 control 其实不是那么精确。
所以说，我们想要去做一个复杂的东西，在我看来啊，就是人类科技现在还有一个很大的一个天花板。
对我也可以理解这个perspective，是的，嗯，这是我的perspective吧，我还是希望人类的科技可以，是，我觉得是有作为一个天花板菜。
甚至我觉得人类智能相比机器人智能其实很小。原来在机器出来之前，我以为我很聪明，现在我就觉得我的智能其实非常的薄。我们很明显的感觉到，机器想要超过我，就比如说解锁了你说的那个东西，我在它面前，我的智能就非常渺小的存在。就是我们人类这么多年的历史所积累下来的那些智能，都是很薄的一层存在。
嗯，即便现在的这一代的机器人，它的包括对知识的不说理解吧，至少了解上已经超过所有人了。好，这是未来的趋势。哎，你还有没有什么你觉得很想跟大家分享的关于未来的趋势的一些想法判断？这段我说的有点多啊，不好意思。啊，没关系，没关系。我是觉得，反正现在这么不确定的时代，大家还是要可能这个还是反脆弱那一套嘛。现在是 take risk 的时候，大家应该要。
积极勇敢的去 take risk。嗯，好的，好的，好的，非常感谢今天来访谈啊，今天聊得很高兴。好，谢谢，谢谢课代表提供这个平台。哎，大家回头有什么问题的话，也要欢迎来问，我们可以有机会再请你，不管是来节目还是来社区里边。
嗯，再跟大家互动一下。我是把现在大模型的这套方法，包括模型结构什么的，看成更先进的一个 database。这个 database 跟一般的 database 有一点区别，是在于你可以用很多不同的 granularity 去 recall。
以前的 database 可能只会在 attribute 上面有 exact match，但我现在存进去的时候，我并不知道这个知识它是以什么 granularity，以什么形式去 recall 出来的。但是之后在用的时候，就因为压缩让它有了一些把不同的例子交互插值的机会，让它能够生成出来一些本来没有的东西。传统意义上的 supervised learning 的那一套 fine tuning，基本上在大模型上不 work 嘛。做了之后， fine tuning alignment 那些基本上就都 break 了。 fine tuning 其实不是一个 valid approach，现在。