00:00:00 – 为反对 RSI 的观点作最强辩护
Dwarkesh: 今天，我和我的三位 AI 研究员朋友聊天，每次和他们交谈我都学到很多。他们恰好也在相对开放的实验室和公司工作，所以你们其实可以公开表态。今天加入我的有 Zyphra 的首席技术官 Beren Millidge，该公司正在开发开源模型。John Schulman，Thinking Machines 的首席科学家，此前是 OpenAI 的联合创始人，并领导了促成 ChatGPT 的 RLHF 工作。还有 Charlie O’Neill，Baseten 的模型训练主管。
我的第一个问题是：如果我们到了2036年，并且没有数十亿个疯狂的超级智能到处乱跑并彻底改变世界，那么这没有发生的最可能原因是什么？除了外部的政治冲击，或者发生战争，或者他们禁止了 AI 之类的原因之外。2036年没有变成一个疯狂的、异形般的超级智能世界，最可能的技术原因是什么？
Beren: 有一个经典现象，几乎就像莫拉维克悖论一样，我们认为 AI，“如果它能做这件事，那将是惊人的。” 如果它能解决这些困难的数学问题，如果它能下国际象棋赢，等等…… 然后它解决了这些问题，但这并没有那么大的影响力。显然它是有一些影响力的，但并非代表一切。
如果这种情况以某种方式持续下去，并且永远没有出现真正的泛化火花，我认为这可能会导致 AI 只是在人们放入基准测试或放入环境中的所有事情上极其出色。但仍然存在一些持续的 sim-to-real 差距，以某种方式阻碍了一切。我认为这不太可能。实际上，我们在实践中已经看到了即使从 RL 中产生的这种泛化。但是，如果泛化 meta-learning（元学习）极其困难，加上我们没有解决 continual learning，而且它就是极其困难和不可能的……这将是那种情况下的我的默认假设场景。
John: 我同意这一点。现在人类比模型有很多优势。每次推出新模型时，它都会在其中一些领域赶上。但你最终会被模型较弱、判断力较差的地方成为瓶颈，或者模型无法很好地自我检查。
有一个不断重复的循环：一个新模型问世，人们被震撼了，他们说：“就是它了。这就是 AGI。” 但然后他们用了一阵子，大约一个月后它就开始让人觉得有些愚蠢。这个循环可能会一直持续下去。很难预测它会重复多少次。
现在，你没有看到能力的爆炸性增长，因为当你在尝试做研究和工程时，仍然会遇到足够的瓶颈。即使模型写的代码比人多得多，它也不会让你提高100倍的生产力。所以，也许这种循环只是比我们预期的要多得多。
Charlie: 对我来说，这是一个问题：“芯片上的学习者”的全局最优解距离 Transformer + RL（基本上是当前的配方）有多远。人们想象，一旦你拥有一个在 AI 研究上比所有人类都更好的智能体，即使只比所有人类好0.1%，那么你可以并行运行成百上千甚至数百万个这样的智能体——而且随着芯片速度的提高，你可以运行得快得多——这一事实将超越所有其他瓶颈。在自我改进方面，你最终会达到这种非常快速的起飞。
我可以想象，如果我们继续沿着这种范式的当前轨迹前进，也就是基本上自注意力、RL、扩大 RL 环境规模……想想摩尔定律发生过什么。我们有一条非常漂亮的直线，并且维持了非常非常长的时间。但是为了保持这种 scaling law（缩放定律）的延续，必须发生许多离散的不连续性和创新。LLM 也发生了同样的事情。我们有预训练的 scaling law，然后它达到了收益递减。然后我们提出了 RL 并解决了这个问题，然后我们又触及了一条新的收益递减曲线，从而使它看起来像一条一直在上升的直线。
因此，如果需要另一个那样的不连续性来解决问题，我不确定当前用这些 RL 环境——哪怕是针对 RSI 的 RL 环境——训练 LLM 的方法能否发现这种不连续性。如果不能，我们可能会达到这条渐近曲线。
Dwarkesh: 但是你认为这种不连续性会比2012年以来的任何事情都更难吗？
Charlie: 如果我们有那个答案，我们差不多就有能力实现它了。但也许我们应该区分一种增加当前范式的不连续性（它是累积性的——在 RL 之外还有我们需要发现的东西，也许它们能够在直线上将这些点连接起来），或者，再问一次，我们距离全局最优还有多远？我们是否必须回头并整体抛弃梯度下降（gradient descent）和神经网络？我不认为如果你继续扩大当前范式，一个 LLM，无论你运行多少个 LLM，如果目标太远，它就一定能够发现它。
Dwarkesh: 唯一的希望其实在于，深度学习是否真的无法让我们得到一个至少能主导人类研究和人类发展的 AI，这包括人类提出新范式等的能力。或者，我不知道，也许人类也永远不会发现下一种学习架构。但就人类最终能够发现它的程度而言……但这似乎……如果你看看从2012年到现在的进展，并将其延续下去——我知道这只是由大量的算力规模扩张等驱动的——如果它不能达到至少在研发方面主导人类的地步，那将是很奇怪的，特别是在接下来的几年里。
Ryan Greenblatt 最近参加了播客。他提出了一个观点，我很想听听你们的想法。你可以想象，随着 AI 变得越来越有能力，它们有能力在模拟上取得进展，这会激励它们不仅在 AI 研发方面，而且在一般科学领域变得更好。这是所有实验室和许多初创公司都瞄准的目标。
另一个直觉泵（intuition pump）是，如果你看看自80年代以来国际象棋机器人的 Elo 评分。随着时间的推移，Elo 分数呈非常线性的增长。但是当它们跨越人类范围时，存在这种巨大的不连续性，随着 Elo 分数的线性增长，从人类专家总是战胜 AI 到人类专家永远赢不了 AI。
我同意你的观点，到目前为止，AI 的能力在对世界的最终经济影响方面并不是什么大不了的事。但那是因为相对于人类，它们的 Elo 分数正在缓慢上升。
Beren: 我同意这会非常令人惊讶。不发生这种情况的唯一方法，正如你所说，是它以某种方式在之前达到了渐近线。因为在我看来，我们已经非常接近我们将开始跨越人类 Elo 评分的地方了。所以我们需要在此之前达到渐近线。我认为这是唯一的途径——在你提出的这个假设中，我们坐在2035年，一切都还正常——才会发生这种情况。唯一其他的途径是对 AI 进行了严厉的监管。实际上，我认为这是发生这种情况最可能的方式，而不是技术层面的原因。
Charlie: 我认为有不同种类的研究。有一种自动化研究风格的研究，它的目标已经被非常清晰地规定了，你就是在优化这个目标。我想每个人都在想象，如果我们继续沿着这条路径，使预训练损失下降，并使我们环境中的奖励增加，这将导致改进。
但也许 Ryan 谈论的是这种更加开放式的科学，这是范式转变所需要的，在这里我们无法指定目标，AI 也绝对无法指定该目标。对于任何这些事情，我们必须非常非常小心地规定我们的目标。
Dwarkesh: 也许你的观点是，自2012年以来发生突破的本质是我们发现了……在2012年，人们并没有在说……我猜，我不知道，你们当时在场。或者至少 John，你当时在。但我不在。
Charlie: 我还在上小学。
Dwarkesh: 实际上，John，我很好奇你历经岁月的智慧，或者说很早以前在战壕里拼搏的智慧。据推测，一个巨大的突破是意识到下一个 token 预测是……你在2014年不会认为 nanoGPT 的速通（speed run）是需要优化的事情。但既然我们已经进入了这种新范式，你*会*想到在这个上面做速通，并让 AI 在这方面变得非常擅长。
但也许有下一个需要优化的内循环是 AI 无法预料的。有一个收入什么的的外循环最终应该很强大，但那是一个非常慢的外循环。
John: 事实上，我记得在 OpenAI 早期时有一种直觉，仅仅最小化对数损失（log loss）是无法带你走向智能的。因为重要的部分只占了损失的如此小的一小部分，它会被噪音淹没。所以，仅仅在下一个 token 预测上训练语言模型并不会学到你想要它学习的有趣的东西。我们需要设计更好的目标，对重要的事情给予更多强调。
你可以为此提出各种论点。你可以说：“哦，人类可能没有学习如何对我们环境中的一切进行建模。大多数人无法对他们看过的某种场景创造出照片般逼真的重现。所以我们必然需要一个更好的目标。” 但是结果证明它无论如何就是起作用了。
Dwarkesh: 正如你所指出的，即使在当前的 AI 研究中，内循环（如后训练基准测试什么的）也不一定转化为用户喜欢的内容。
John: 哦，是的。整个领域在很大程度上依赖泛化，很难预测你什么时候会获得泛化，或者什么时候会获得某种 out-of-distribution（分布外）的泛化。我们知道如果你在关心的任务上进行训练，你会做得更好。但最重要的进步通常是我们没有理由去期待的泛化类型。
例如，仅仅从在非常朴素的下一个 token 预测目标上的预训练，到各种需要以某种深度方式理解输入的感兴趣的任务，或者从预训练中学习到非常罕见且代表性不强的某些技能。然后，还有从这些可验证任务到不太可验证任务的泛化，这也是一种先验上没有理由期待的泛化类型。
Dwarkesh: 这是一个有趣的问题，因为你可以有一个为什么你会非常迅速地看到某种奇点（singularity）的直觉泵——甚至不需要扩大不仅仅是 AI 劳动力带来的 AI 进展输入——那就是在运行每一个7位数的实验之前，你在 AI 劳动力上花费了等量的计算算力。所以你拥有了自动化版本的你们，花了一个世纪的时间思考什么是最佳实验，进行小规模的消融实验（ablations），从字面上发展出一个世纪的理论，甚至追溯到深度学习之前。
在你决定要运行什么实验之前，你正在对实验进行极其优化的设置。然后在实验结束之后，你进行了一个世纪的思考，分析发生了什么以及接下来要运行什么实验。
John: 如果你想得足够努力，你可能可以事先预料到其中的一些事情。可能有一些非常聪明的方法来进行小规模的实验，那会让你建立理论，然后泛化到大规模的实验。所以我预计我们在多好地进行研究方面还远未达到天花板。
我可以想象这样一个未来：AI 在做大量的分析和理论构建，花费与你在实验本身上花费的算力相当的计算，做各种类型的分析并围绕我们迄今所见建立一个理论。
Charlie: 我认为当目标被明确规定时，这里确实有很具体的例子。所有思考所能做的，就是根据你形成先验以来获得的比特（信息）来更新你的后验。你不能仅仅通过思考获得任何新的比特。但是当目标被明确规定，且有数据摆在那里时，我想在我们所处的当前范式中会有这样巨大的加速。
关于这一点的一个很好的例子是，如果你让一个 AI 去思考 Kaplan 缩放定律。此时一个 AI 就会注意到：“哦，他们只是选取了这些中间检查点，并没有考虑退火（annealing），所以这是错误的。” 这在好几年前就能被捕捉到。仅仅通过 AI 的这一观察，我们就可以节省一两年的进展。
再一次，一旦目标被明确规定，也就是更低的预训练损失或者其他，就有很多很多的好例子说明如果你只好多想一点，你就能大幅减少你已经做过的事情。比如 muP，以及学习率如何随模型大小而缩放，还有意识到模型宽度在其中也很重要。我觉得你真的能够推导出很多这些东西并摘掉很多低垂的果实。如果我们的目标只是“最大化我们当前的目标”，我可以想象会有 10 倍的加速。
但我完全看不出这如何泛化到一开始就提出正确的目标上。光是思考并不一定能让你一开始就获得正确的目标。
Beren: 我认为这真的是当前 AI 走向任何种类的非常快速的 RSI 的关键问题。AI 在学习自己的目标上能泛化得多好？为了拥有任何种类的自我推进的自动化循环，我们需要 AI 提出目标、优化它们、弄清楚、提出新的目标，并在很长很长的时间内保证在任何一点上都不会脱轨。
回到莫拉维克悖论，这可能是一个莫拉维克悖论的案例，我们认为这种自主性和自我封装——所以我们可以思考自己应该做什么，然后去实施，并且拥有这种循环——超级容易，因为我们总是这样做。显然，进化需要创造出能够在很长一段时间内独自生存的生物。而这可能正是由于某种原因对 AI 来说非常困难的事情，就像移动（locomotion）之类的事情非常难，而数学尽管对我们来说非常难，对 AI 却超级容易。
Dwarkesh: 但是时间跨度的增加难道不意味着那——
Beren: 是的，确实如此。这是另一种可能性，但我同意，并没有明显的证据来支持这一点。事实上，我们的智能体现在非常具有持久性，且这件事很容易做到，这本身就是反驳这一点的证据。但这可能会成为我们就是无法实现立即起飞的原因之一，如果这确实很难的话。
Dwarkesh: 如果你回顾从2012年到现在——或者可能是从你开始做研究到现在——在从那时起发生的所有创新中，包括纯工程上的创新，包括纯概念上的创新，哪一部分似乎是人类在 AI 完全自动化 AI 研发之前需要做的最后一件事？
Beren: 可能只是反复迭代地问正确的问题。如果你能让 AI 做任何实验，你仍然需要决定要做什么实验。现在我认为比起编写实验代码，AI 在这方面还不是很好。每当我们谈论研究时，它们都会提出一大堆杂七杂八的东西，都是非常非常微小的步骤。
Charlie: 或者甚至是，从 DeepMind 的“我们将通过学习在超人类水平上玩游戏来解决智能”的方法，转变为像 Radford 这样一个随机的研究员决定：“我将尝试仅仅预测一大片数据的下一个 token”……甚至在 Radford 发现了这一点之后，人们也花了一段时间才决定将其扩大规模，因为我们必须想出缩放定律的概念，以及你可以非常可靠地预测这些事情的事实。
John: 我会说人类最后的工作，或者说会维持最久的人类角色，是定义目标并决定我们实际想要什么。从这个意义上说，像决定 AI 助手应该如何表现，或者有帮助（helpful）意味着什么，或者当我们在做基于人类反馈的 RL 时目标是什么，就是这样的事情。然后是后来，定义章程（constitutions）和模型规范（model specs）是另一回事。即使 AI 能够完成所有技术工作，我们仍然需要做大量此类工作，并决定我们到底想要什么。
Dwarkesh: 对齐（Alignment）是最后的工作。
John: 对齐算是答案。但是对齐本身可以分解为目标的规范（specification），或者弄清楚正确的目标应该是什么，然后实际实现或优化你所定义的目标。我认为第一点在短时间内是不会消失的。
如果我考虑一个后训练团队以及为什么团队中需要很多人，那仅仅是因为有许多不同的领域需要你去弄清楚模型应该如何表现。要将整个过程完全自动化会非常困难，因为就是必须有人去思考模型在这些领域里应该怎么表现。
00:18:39 – 中国实验室进步的驱动力是什么？
Dwarkesh: 模型供应商为什么没有出现大规模整合？到底是怎么回事？有很多迹象表明行业会走向中心化。如果回顾过去几年，有什么因素会阻止这种趋势吗？
John: 我认为蒸馏（distillation）是对抗中心化力量的主要因素。基本上，任何可以通过 RL（强化学习）学到的东西都很容易被蒸馏，因为它包含的信息量（bits）很小。你可以从少量数据中学会它。如果你能从模型中获取展示某种行为的轨迹（trajectories），你就能轻松地将其蒸馏。我认为蒸馏是对抗中心化的因素之一。
另外，也有可能出现公司专有的模型，即可以通过部署来学习，让公司不断改进自己的模型。这种系统可能由目前少数几家垄断的模型供应商提供，也可能由目前规模较小的其他公司提供。但我认为这会让游戏规则发生一些改变。
Beren: 我还想指出，老实说，持续学习（continual learning）并不能阻止蒸馏。即使你的模型每天都在改进，人们也可以每天对它进行蒸馏。这两个循环完全可以以相同的速度运转。
Dwarkesh: 这说得通。所以复制模型行为……我想你必须自己知道正确的 prompt（提示）分布是什么，才能获得相关的模型行为？
John: 哦，是的。仅仅使用监督学习进行蒸馏，prompt 分布就极其重要。即使你拥有对模型的完全访问权限，拥有思维链（chain of thought）以及所有东西，要蒸馏一个模型也绝非易事。要从中蒸馏出所有有用的能力是很困难的，因为你需要用一些东西来 prompt 模型。你需要用逼真的 prompt 来提示它。你需要有一个非常广泛且逼真的 prompt 分布。
最近显露出来的一件事是，一些中国公司可能正在使用那些路由器服务（router services），这些服务旨在让中国用户能够使用否则会被屏蔽的美国前沿模型。有很多这样的路由器或代理服务允许中国用户使用这些模型，主要是用来写代码。而这些路由器服务正在收集并出售部分数据。这对于蒸馏来说是一个非常有用的数据集，因为它为你提供了完美的 prompt 分布。
Beren: 我认为这就是 AI 能帮上大忙的领域之一。如果你实际去看看前沿 pipeline，或者中国公司实际在论文中发表的模型，你会发现他们从某个地方获取了种子 prompt，这些种子是人类和这类数据的某种结合。然后他们使用自己现有的模型或其他前沿模型，从这些种子 prompt 合成出覆盖面极广的数据。你可以将这种 prompt 分布的收集和环境的创建自动化很大一部分。随着模型变得越来越好，人类需要提供的信息（bits）会越来越少。
Dwarkesh: 但看起来你仍然受限于必须拥有一个有用户流量的服务。
Beren: 不一定。那显然非常有帮助，但理论上，你可以直接思考用户想要什么。
Dwarkesh: 但关键在于用户会说：“给我做一个这样的应用。哦，那个没用。我其实想让你做这个新功能。不过等等，我们还是退一步做另一件事吧。”捕获完整的轨迹才是关键。或者在某种程度上你本来就能做到这一点，那么你其实就已经拥有 RSI（递归自我改进）了。
Beren: 归根结底，如果你拥有这种完全自动化的循环，那基本上就是 RSI。AI 在决定数据，决定训练。这就是循环。但这取决于你需要多少人类信息。在某个节点，如果你只是想“我想要看起来像这样的轨迹”，你把这个 prompt 给模型，模型就能得出一个相当好的近似值。
Dwarkesh: 但如果你想做的是：“给我做一个非常优秀的政治家”，然后它必须从头（de novo）预判参议院大厅里的讨论会如何进行，或者类似的情况呢？我只是觉得会有很多事情是——
Beren: 讽刺的是，这对于蒸馏者来说其实比前沿实验室更容易。蒸馏者只需要说：“我想要一个优秀的政治家。”他们去找前沿模型。前沿模型已经知道如何做一个优秀的政治家，所以它直接生成这些轨迹。而如果你真的想构建第一个能做到这一点的模型，你实际上必须通过某种方式获取政治家每天都在做什么的数据并进行构建。说“我想要一个像这样的东西”然后让 AI 生成十亿个变体，实际上比从头创造这样一个东西要容易得多。
Charlie: 我认为，基于中国实验室拥有这种路由器数据的观察，你实际上可以做出一个非常具体的预测。最初引发这个话题的是我当时在说：“Sonnet 5 和 Opus 5 在客观上几乎比 GLM-5.3 和 Kimi K3 还要差，尽管它们不仅能够使用蒸馏，还能使用 Mythos 的逻辑值蒸馏（logit distillation），这难道不奇怪吗？”当时的反驳是，prompt 分布真的非常重要。你需要看用户在做什么，这样你才能把这些行为之类的东西蒸馏进去。
我认为从中得出的预测是，前沿实验室在 RL 环境方面现在不一定有很大优势（如果有的话）。是的，用户分布对于一般行为等很重要，但衡量一种能力的最佳标准是你（前沿实验室）在最前沿构建的那些非常非常困难的 RL 环境。如果你作为 Anthropic 拥有对那些 RL 环境的访问权限，并且你拥有逻辑值蒸馏的权限，但你仍然做出了一个更差的模型，那么也许——
Dwarkesh: 那么现实世界中的部署比环境更重要。这真的很有意思。
但他们最初必须在 Fable 或前沿模型中激励出这些能力。所以奇怪的是，他们不能用一个更小的模型或别的什么再次激励出这些能力。
Charlie: 也许我们只是处于这种奇怪的恐怖谷（uncanny valley）中：试图过度复制那个前沿模型，学生-老师差距，不管它是什么，就是太大了。人们在 Opus 上提出过这个观点。Opus 4.6 和 Opus 5 之间的区别在于，Opus 5 真的感觉像是在用一个“AI裁判”（AI-as-a-judge）来检查它做过的每一件事。这就是为什么它使用了那么多 token。它试图思考所有这些事情，但它不一定具备 Fable 那种大模型的直觉（smell），不知道什么时候该停止那样做，或者哪条路是好路。
Dwarkesh: 眼高手低（The reach exceeds the grasp）。
John: 我会提供一个稍微不同的假设。我会说，你可以创建的环境有几个不同的轴。其中一个是难度，另一个是真实性。
创建大量困难的环境相对容易，这些环境涉及完成更复杂的任务，或者做一些需要更多聪明才智的事情。你可以称之为刷榜分布（benchmaxxing distribution），因为许多最著名的基准测试仅仅包含做一些很容易验证的非常困难的类似谜题的任务。然后是真实性轴，你希望模型在现实的编码代理设定中表现良好，在这种设定下，它与人类有多轮交互，并且有多个目标。
首次打造模型行为的实验室需要在两个方向上共同推进。为了获得良好的模型行为，你必须在真实性轴上真正发力，并拥有能够为你在此使用的奖励函数提供信息的评分标准（rubrics）或某种人类反馈。但如果你试图天真地进行蒸馏，你最终只会让学生在刷榜分布上与老师匹配。如果你没有足够多的环境去在这些更棘手的现实设定中真正锻炼这些能力，你就无法将它们赋予你的学生模型。
我认为可能正在发生的一件事是，大模型能更好地从棘手的狭窄任务泛化到这些更现实的任务中。如果你为蒸馏提供了一个非常好的、逼真的 prompt 分布，你就能很好地匹配大模型。但如果你只有这种容易验证的任务分布，那么你可以在所有基准测试上匹配大模型，但在这个更广泛的分布上表现得更差。
这甚至可能解释了较小的 Anthropic 模型（比如 Sonnet 5）的一些情况，虽然很难预测他们究竟在做什么来对这些模型进行后训练。也可能是他们总是在改变他们的后训练技术栈，他们在这些模型中的一些地方弄错了。我不知道……他们把某些参数调得太高，产生了一些人们真的很不喜欢的怪癖。在后训练中很容易在某些在基准测试中显现不出来的地方搞砸。
Beren: 还有一个非常基本的一点是，前沿 AI 实验室都是从大数据公司购买所有数据。中国人同样也可以从数据公司购买相同的数据。
Dwarkesh: 而且他们正在这么做，对吧？
Beren: 他们正在这么做。完全正确。有很多人对此感到恼火，但如果他们拥有完全相同的数据，并且他们可以买到，他们也可以进行蒸馏。这意味着跟上步伐其实相当容易。
00:28:06 – 自动化 AI 研究员将如何训练？
Dwarkesh: 我的另一个问题是，第一批能够自动化 AI 研发的模型实际上将如何被训练。有一个玩具版本的说法，就是 Ryan 提到的那个东西。你只是让 GPT-8 尝试构建在内部循环类型挑战上非常出色的 GPT-3 规模的模型：比如通关需要持续学习的电子游戏，或者用最少的算力达到一定的 loss，等等。
但是 John，我觉得你提出了一个有趣的观点，即在实践中这可能不是实际发生的方式。所以我很好奇，当真正拥有能够自动化 AI 研发的 AI 时，它们大概是如何被训练出来的？
John: 我们可能会结合几种方法：通过人类反馈学习来吸收研究员的品味，以及仅仅创建大量涉及执行多步研究项目的练习环境。在实践中，人们会结合这两种方法，并在每次迭代中，修补上次迭代中看起来最糟糕的问题。研究员会大量使用这些 AI，并会注意到它们有一些一致的弱点。这些问题将通过收集人类反馈或创建环境来修补。
Charlie: 也许思考这个问题的一个有用方式是，我们将这个谱系回滚多少，然后让它们从那里开始自我博弈（self-play）。在极限情况下，你想象的是直接给它们一块 GPU，可能还有神经网络什么的，然后说：“好吧，想办法训练一个模型来完成这些特定任务。”而目前的运作方式是，我们走到谱系的最边缘说：“好吧，这是 Anthropic 在过去几个月里在他们的训练栈中发现的 bug。我们会把它们变成环境。”你需要进行训练并在前沿变得更好。所以你显然锁定了该谱系的所有过往历史。
但你可以想象这样一个世界，我们回滚到 GRPO 或类似的东西之前。然后你提供一些环境，试图让它发现 RL 模型的最佳形态，然后也许你会越回滚越远……但我认为我们仍然会受到算力的严重限制，因此人们只会继续留在前沿，基本上找出自上一个模型版本以来发现的 bug 和各种改进的差异（diffing），并把它们变成训练环境。
Dwarkesh: 这对于在模型迭代之间拥有不陈旧的新数据也非常有利。这再次说明，这基本上是 AI 实验室内部的持续学习，通过环境和类似 RLHF 的东西，将过去三个月的 AI 研究进展蒸馏回模型本身。
Charlie: 而且它确实是在蒸馏。这也许就是为什么我们中的一些人感觉它正在趋近渐近线（asymptotic）。你总是只试图获取过去三个月的进展。当然，AI 也对这一进展做出了贡献，但它仍然有人类参与其中。感觉就像你只是在不断地一步步逼近人类研究员所发现和能够做到的事情。
Beren: 不过我要说的一点是，显然，如果你只是在轨迹上进行蒸馏，你永远无法超越它。但环境可以远远超出人类所能做到的。设计一个任何人类都无法解决的环境非常容易，但 AI 显然仍然可以尝试去解决它。那将是超越人类 AI 研究水平的路径。
Charlie: 在 RSI 方面，你有什么关于训练集是什么样的例子吗？
Dwarkesh: Nanochat 速通，但比人类速通玩家做得更快。
Beren: 我觉得特别是在 AI 研究中，定义目标非常容易。你可以说 loss 需要达到 1.3 或之类的，现在没有人类能做到这一点。但这是一个极其容易衡量、可验证的任务。如果 AI 做到了，那太好了。
Dwarkesh: 或者我不知道，构建一个 1 亿参数的模型来打通《我的世界》（Minecraft）。这可能太简单了，那就打通一个复杂得多的游戏或别的什么。
Charlie: 1 亿参数的模型打通《我的世界》，这难道不疯狂吗？我们竟然觉得这太简单了？想象一下如果你五年前这么说。
John: 不过我想说，很多研究并非完全像那样，在一个明确定义的目标上进行爬山算法（hill climbing）。它更像是，我们对模型应该在哪方面变得更好有一种直觉。我们对于一个似乎朝这个方向稍微走一点的算法也有了一些想法。所以让我们想出一个旨在展现这种方法生命力迹象（signs of life）的任务，看看我们是否能得到这些生命力迹象。如果我们做到了，我们可以不断制作越来越逼真的任务版本。
Dwarkesh: 它更多的是由直觉引导的。内部循环是为了测试那种直觉，而不是测试本身引出洞见。
John: 对。你并不是在直接针对你最终关心的目标或实际的生产目标进行优化。你稍微放松了你的目标。你是在说：“让我们在真实性轴上稍微放松一点，找到一些切实可行的方法，然后等方法稍微成熟一点后，再尝试回到真实性上。”
还有一些研究更倾向于解释事物和发展理论。通常我们在机器学习中并没有那么具有预测性的数学理论。但我们对正在发生的事情有很多更非正式的理论。
Beren: 大概模型将在所有这些任务的某种组合上进行训练。有些任务将非常容易验证，有些将采用 LLM 裁判（LLM-as-a-judge），或者直接问人类：“这看起来合理吗？”希望这些都能泛化到那些更难、更模糊、更不确定的任务上。它可能在某种程度上会发生泛化。至于它是否能充分泛化以至于该循环能够完全脱离人类参与而自我闭环（self-sealing），目前还不清楚。
00:33:51 – 长周期 RL 会引发 AGI 吗？
Dwarkesh: 也许退一步来看。在我看来，未来 AI 研究的计划是这样的。告诉我你认为这是否可行，或者你是否同意这种描述。他们押注的是，我们将在数百万个不同的环境、数百个不同的领域中扩大 RLVR 训练的规模。最终涌现出来的，将是一个学到了基本技能——或者比基本技能更底层的技能——的智能体，比如拥有持久的专注力，能够对信息和上下文进行优先级排序，最终能实现与其他智能体合作的端到端优化等等。
这样的智能体在上下文中将具有极高的样本效率（sample efficient）——你做过关于如何扩大上下文学习（in-context learning）的规模使其变得任意长的研究，只要继续扩大规模就行。而最终产生的结果，基本上就像是一个能够持续工作一周或一个月的即插即用型远程员工。
首先，你同意这是各大实验室正在下的注吗？其次，这足够吗？基本上就是在数据中心的这些模拟环境中“学习如何学习”，然后部署到现实世界中，但实际上并没有从现实世界的部署中学习……只是从数据中心的模拟环境中学习这些元技能。
Charlie: 我认为现在很难区分，实验室的精力到底有多少是直接用于 RSI，又有多少是用于构建通用智能模型并持续部署以获取收入，从而为下一次大规模训练提供资金。
对于后者，是的，这可能就是他们押注的方向。过去几年里这些环境的发展趋势非常清晰。Anthropic 的环境演进就是一个很明显的例子。首先，我们只专注于编程，我们要在这方面做得非常非常好。然后，基于我们在编程中获得的长期任务能力——就互联网上可用于创建环境的数据，以及他们自己能转化为环境的内部资料而言，这可能是最容易摘到的果实——接下来我们将进行泛化。
接下来我们会进入金融领域，字面意义上就是把海量的 Excel 数据等资料投入到 RL 训练中。然后是 PowerPoint。这就是职场经济的长尾效应。这似乎非常奏效。许多其他实验室，甚至是开源实验室，现在都已经意识到，这是正确的押注。
Dwarkesh: 但这意味着什么？我邀请 Dario 上播客时问过他一件事：如果你真的期望模型在工作中具备类似人类的学习能力，你为什么还要费力把使用 PowerPoint 之类的技能硬塞进模型里呢？难道你不认为模型在部署期间就能自己学会这些吗？
对此有多种不同的解释。一种是，我们期望模型很快就能达到那个水平，但目前还没到，所以为什么不把这些技能分摊融入到模型训练中呢？另一种解释是，我们的重心并不是让它在广泛部署的工作中表现出色。我们只希望它在 RSI 方面非常强大。广泛部署只是我们获取收入的一种方式，这样我们就能把资金重新投入到真正擅长 RSI 开发的模型中。一旦奇点降临，最终产生的事物将非常擅长处理那些看起来是当前这一代模型瓶颈的任务。
John，如果发展路径是这种泛化，不知道你怎么看待为什么这些模型中存在如此多的特定任务知识。
John: 如果模型在上下文学习方面足够出色，那么理论上，你就不需要用金融数据去训练它们。它们只要在运行中阅读所有的书，就能弄明白在相应的管辖区该如何处理所有事情。你可以说，你需要进行大量这种特定领域的训练仅仅是为了让它们更高效。即使它们聪明到能在运行中弄明白这一切，你可能仍然希望进行大量的 RL 训练，把所有这些直觉固化到权重中，这样模型在运行时的效率会更高。
在实践中，模型提供商似乎确实在逐个领域地努力增强模型在最高价值领域的能力。我想说，这也是模型之所以变得如此强大的原因之一。只是因为模型提供商已经覆盖了许多高价值领域和最常见的技能类型。
Beren: 另一点是，同时做这两件事其实并不那么昂贵。模型是庞大的。就它们的参数量而言，它们可以轻松承受学习所有东西的开销。而且这其中很可能存在一些迁移。即使金融知识不具有针对性，这些信息对 RSI 也是很重要的。比如如何找出重点、如何培养品味、如何完成长期工作，这种通用的元学习是具备潜在可泛化性的。
世界上也没有那么多的 RSI 数据。生成这些数据很困难，需要付出巨大的努力。因此，如果你能分摊吸收这些额外数据，你就能从中获得一些迁移能力。你已经拥有了海量的算力和海量的参数空间，那么除了为了出售模型的直接商业意图之外，为什么不顺便这么做呢？
John: 我想补充一点，关于目前的 sim-to-real 范式是否会永远占据主导地位，这里存在一个疑问。你观察现实世界中的任务是怎样的。然后你尝试创建一堆可以在数据中心模拟的环境，你可以在上面进行 RL。显然，这种做法非常成功。但它也有许多弱点，因为很多事情就是很难模拟的，尤其是当它们涉及与一群人进行实时交互时。因此，sim-to-real 是否会永远是主导框架，还有待商榷。
Beren: 我认为在样本效率较低的时期，sim-to-real 必须是主导框架，因为现在你需要与人类进行成千上万次交互。没有哪个人会坐在那里一直参与 RL 训练循环。所以我们现在必须进行模拟以获取所需的样本。但显然，如果样本效率大幅提高，你可以预期，从部署中学习将占据大得多的比重。
John: 虽然你也可以做一些其他事情。你可以进行离策略学习，因此你可以获取所有的执行轨迹，即使不重新模拟所有内容，你也有可能从中学习到一些东西。
Dwarkesh: 我想针对这一点多问一些，因为你把 50% 的算力花在推理上，但这并没有直接帮助模型变得更好，这很奇怪。你期望数字思维最终拥有的一大关键优势是，人类只能拥有 50 年的现实世界经验，而模型却可以通过其所有的实例，在经济中各种具有经济相关性的工作上积累数百万年的部署经验。现在，从真正意义上讲，这些数据并没有帮助模型变得更好。
显然，模型最终应该能够从这些数据中学习。一旦它们具备这种能力，你就会拥有某种感觉上几乎像是在广泛部署中发生的智能爆炸的东西，因为模型正在吸收所有这些部署实例中的海量信息。你预计这种类似“蜂群思维”的疯狂事情什么时候会开始发生？
Beren: 我认为从广义上、在非常基础的层面上，这已经正在发生了……就在下一代模型中。现在，你显然可以将你的部署数据放进未来模型的预训练或中期训练中，特别是如果你对其进行了某种过滤，或者某种判断、标注或合成。
Dwarkesh: 你认为这在多大程度上解释了模型代际之间的改进？
Beren: 我认为这解释了很大一部分原因。我不知道实验室是否这样做，因为理论上，他们声称不使用用户的数据进行训练。但中国人百分之百在这么做。他们绝对利用了这种优势。这基本上就是知识蒸馏。他们拿到模型，通过调用模型获取部分部署数据，然后用这些数据训练他们的下一代模型。他们当然也可以在自己的模型上这么做。没有任何理由不这样做。
Charlie: 我完全同意这一点。如果你的视角足够宏观，这绝对已经发生了。我们所设想的 continual learning 的圣杯，是一个非常有机、实时的闭环：一个单独的模型获得一段经验，并在现场实时更新、从中学习。当你放大到那么细微的层面时，很多东西就会崩溃。但大型实验室正在这么做。闭源模型正在这么做。
目前也有早期的迹象表明，人们在使用开源模型以更快的节奏做到这一点。Composer 可能就是一个很好的例子。Harvey 在法律智能体上也在做同样的事情。你拥有某种模型，并且你能从处理特定任务的数据、用户抱怨的事情、以及你以某种方式从特定部署中提取的所有反馈里，获得非常具体的环境。相比大型实验室，许多这样的公司拥有优势，因为他们可以非常非常好地利用这些数据。
然后他们会创建环境。他们会对 Kimi K3 进行大规模的后训练。他们会去部署它。他们可能还会做一些在线学习，就像 Composer 在线上做的那样……基本上就是长时间运行 REINFORCE 算法。
人类仍然在这个循环中。仍然需要有人来说：“好的，这些是我们关心的信号。这是我们将如何利用现有数据创建环境的方法。”它的周期可能还是比你想象的要长，但这一切确实在发生。最终，这个循环会变得越来越快。
Dwarkesh: Composer 的案例很有意思，因为在 Cursor 中，人们会选择按下 Tab 键或者不按 Tab 键来接受模型建议的下一个代码补全。基于这一点，每一天，Composer 在预测下一个——的时候都在变得更好。
Charlie: 那是旧的 Tab 模型。实际上，他们不仅在 Tab 模型上做了同样的事情，在实际的生成模型上也做了同样的事情。
Dwarkesh: 哦，我明白了。有意思。
Charlie: 这很难，因为当你做在线强化学习时，你没有群体数据。你只有一个用户说了一句话，然后你得到一次展开。所以你面临一个降低方差的巨大难题。
Cursor 给出的模糊答案是：“我们拥有非常好的启发式算法，能够估计这个响应比平均水平好多少，或者比平均水平差多少。”然后他们会进行这种大规模的 REINFORCE 更新。对于模型是否变糟的解决方案是，如果在 CursorBench 上的表现有所提升，他们就会每五小时部署一次新模型。如果没有提升，他们就会把那个版本丢弃。
John: 我认为你最大的问题其实就是不知道自然数据的奖励函数应该是什么。如果你使用某种表面上的信号，比如他们是否接受了修改，这在某种程度上可能会遭到奖励作弊。
00:45:24 – sim-to-real 之间的差距
Dwarkesh: 但这不就是 sim-to-real 面临的一个更大问题吗：任务周期越长，在数据中心内进行模拟就越困难？在我看来，即使是在编程领域，我们也已经到了这样一个阶段：不存在什么长达一年的编程任务最终是不需要你与客户沟通、与公司互动或与用户交流的。
如果你想想我们希望 AI 能够处理的一系列事情，超级智能最终应该能够运营一家企业，或者创立一家新企业并使其盈利，或者在市场中进行有利可图的日内交易，或者打赢一场官司。这些都是在数据中心里很难模拟的事情。这种学习中一个固有的部分就是与现实世界的互动。
也许它们通过 sim-to-real 之间的迁移学会了如何在这些方面做得更好。但另一方面，也许你确实需要通过此类交互来进行权重更新，才能在这些方面变得更强。如果是这样的话——如果迁移能力不够强，而且你确实需要权重更新——那么模型样本效率相当低这一事实，也许就是一个更深层次的问题。
我对此感到好奇的原因是，按照通常的推演，我看不出为什么在未来 10 年内不会出现某种疯狂的递归自我改进（RSI）。但它之所以可能不会发生，一个原因在于：在权重更新的样本效率方面，模型似乎远远落后于人类。比较一下人类从出生到成年所看到的数据量，与模型从冷启动到完成训练所看到的数据量，它们与人类的差距可能是百万倍的。
说这一切首先想问的是，在模拟环境与我们希望 AI 在现实世界中去执行的极长周期、真正复杂的烂摊子之间，是否会有很好的迁移能力？如果没有，这是否真的意味着这些模型中样本效率的缺乏会反噬我们？
Charlie: 也许我可以这样将两类任务区分开来——一类是模型会擅长的，另一类是模型仍将继续挣扎的——区分的标准在于这个任务是否是累积的，或者你面对的是否是一个非平稳的分布，在其中你必须不断学习并反复纠缠一堆事情。
累积任务的一个例子可能是 RSI。理论上，我们可以用一个不到一百万 token 的 Python 文件，从头开始训练出一个能够进行递归自我改进的模型。你做出的每一个新发现都是你在沙地上画下并守住的一条线。如果我们真的不需要为 RSI 发明一种新的注意力机制变体或诸如此类的东西，那么一旦你发现了注意力机制，一旦你发现了混合专家模型，一旦你发现了 GRPO，你只需把它加入训练栈中，它就定在那里了。
这方面的一个好例子是 5.6 Sol 训练、5.6 Terra，或者 OpenAI 告诉我们它训练过的随便什么代号的模型。它不需要回去重新发现注意力机制。它基本上就是调用一堆脚本，比如 pre-training.sh 和 post-training.sh，然后就搞定了。这就是一个累积任务的例子。
我认为现实世界——以及人们之所以如此深入地思考 continual learning 的原因——其实并不是一个累积的任务。想象在一家律师事务所里，你有一个充当律师助理的智能体。那是一个非常非平稳的分布。你必须能够把那家公司里所有重要人物之间的关系放进你的上下文中，而且这些关系还在不停变化。你还要处理各种隐含的做事方式、去哪里找信息等等。它不如 RSI 那样是一个干净的累积任务的例子。
我认为任务之间会出现这种分化。但是，如果实验室意识到这一点——而且他们确实相信 RSI 是累积的，意思是说我们不需要回去发现某种全新的架构之类——那么也许就会有越来越大的精力与算力集中到 RSI 上，而不是其他任务上。
Dwarkesh: RSI 竟然碰巧比当个律师助理还容易，这真是太不幸了。
John: 我想说的是，现今的模型在许多方面都比人类弱。其中一些可能与特定领域的样本效率有关。在某些领域，模型的样本效率非常高，比如在上下文中学习。但在某些中等长度周期的领域中，它们的样本效率可能就比较低，因为人类在进行某种权重更新时比模型更高效。我认为，在某些特定领域样本效率较低，可能是它们的弱点来源之一。
但我认为，还有其他一些完全不同于此的弱点来源。例如，思维的多样性不如人类，或者不擅长做某些类型的长视距判断。我认为很多被人们称为品味的东西，其实是关于在长期来看行之有效的行为，而且人们已经认识到这在长期是有效的。不是所有的品味，而是品味的某个侧面。特别是对于软件工程这类工作，我认为很大一部分的品味在于：“在这个项目的长远发展中，什么样的系统才是可维护且运行良好的？”
模型的各种弱点限制了 RSI 以及其他方面的发展。这些弱点中有些与样本效率有关，有些则无关。
Charlie: 也许这里有个有趣的思维实验。假设你能给模型一个一万亿 token 的上下文窗口，或者随便多大，只要能装下你在做 RLHF 之前积累的所有经验。它在上下文窗口中拥有了所有那些经验，并且它拥有与在一百万 token 时相同的样本效率和上下文学习能力。你认为品味的问题到那时解决了吗？它能做出和你一样棒的判断吗？还是说除了具有同等样本效率的更长上下文窗口之外，它根本上还缺少了什么东西？
John: 它必须被训练成能够从那个上下文中学习。要么它必须被训练去学习如何从该上下文中做出正确的更新，要么它必须具备泛化能力。
Charlie: 所以你不认为你可以直接把这一切都倒进去——你的一生，你的研究经验？
Beren: 你仍然需要数据来对它进行长上下文训练。即使理论上你能实现一万亿的上下文，你也需要长度为一万亿的数据来训练它。现在你只有 10k 的上下文，你不能直接塞进去一百万。
Charlie: 是的，我只是问假设你拥有了那些。
Beren: 理论上，我认为是的。这实际上归结于一个问题：品味这种东西从短周期事件中获得元学习的容易程度。我觉得没有明显的理由证明这个周期需要非常长，因为人类不知怎么地在没有经历太多长周期事件的情况下就培养出了品味。我们活不到一万岁。我们的发展速度相当快。
如果你甚至想想读博，一个一年级博士生和一个毕业班学生或博士后之间的差距，可能就只有五年时间。他们总共可能只做过 10 到 30 个研究项目。但不知怎的，他们通过相对较短的一系列小事，很快地培养出了品味。从理论上讲，以这种方式培养品味是可能的。
AI 显然将拥有多得多的经验来培养品味、进行元学习。那么接下来的问题就是，它在极其长周期的事物上能有多好的泛化表现，我认为目前这还是一个真正悬而未决的问题。我们无从知晓。
Dwarkesh: 回到这个问题上，最终应该会有一个阶段，AI 从它们的每一个独立部署实例中学习到大量东西。目前你可以说存在一个模糊的元过程，模型确实能通过部署得到改进。但我觉得这是一个非常微弱的反馈循环。你认为这种极其快速的蜂群思维式学习即将来临吗？如果是的话，它究竟是如何发生的？
John: 我想说的是，我们是否会得到一个从其所有部署经验中学习的蜂群思维模型，很大程度上取决于激励机制，而不是一个技术问题。各家公司都不会希望模型提供商从他们所有的部署数据中学习，因为那可能只会削弱他们的商业优势。
Charlie: 我认为这背后的经济学会产生一种压力，但不一定是将权重更新到一个大型公共共享模型中，而是以可替换的模块形式出现。一个非常明显的例子就是 LoRA，但它也可能是其他东西。
为了尝试将任意长度的上下文压缩到一个固定大小中，已经做了很多研究。这些都是线性注意力方面的工作。还有 cartridges，它们本质上是被训练成高度压缩的 KV 缓存，以装下大量信息。那是公司可能愿意付费采用的另一个例子，前提是它能以插件形式进入模型，且不会真正改变底层基础模型本身。
从你的数据中实时学习有很多不同的版本。后面的这些形式并没有真正帮助到大型实验室，因为它们只是一些模块。但我认为，经济压力会迫使实验室在着手实现这一终极目标之前，先走这条路……
Beren: 不过是哪种经济压力呢？我觉得即使你有一堆 cartridges 或 LoRA 诸如此类的东西，你仍然可以把所有这些轨迹记录拿走，并把它们扔进你下一代模型的预训练里。
Charlie: 是的。那可能是大型实验室获得的一种更为间接的学习形式。那对他们来说显然仍然非常有价值。但我无法想象这样一个世界，我们一开始就说：“我们要直接用我们获取的所有确切数据来训练这一个大模型。”
Beren: 不，我认为它绝对会经历几个阶段，因为上面那是假设存在一个不连续的事件，使我们突然就能连续不断地解决权重更新问题了。在实践中，我认为更有可能发生的是，cartridges 之类的技术让你在部署中实现专业化。然后你生成运行轨迹，你把这些放进你的模型里，三个月后你发布了一个在这方面更强的模型。你再次对其进行专业化，再次进行巩固，最终我们将越跳越快。
不是每三个月发布一个模型，现在变成了每周，然后是每天，然后是每小时，到了那个时候，我们基本上就已经解决了这个问题。
Charlie: 我觉得这也是个很好的观点，因为你问到了目前的范式距离能够做到这一点还有多远。我们在这方面做过一点研究，人们也做过大量的研究。在非常庞大的规模下，当你过滤掉足够多的噪音并且拥有足够大的批次时，这种将数据放入中期训练并创建自有环境的外循环过程，在某种 continual learning 的体制下确实有效。
但问题是，当你在微观层面上拉近视角时——我有一个模型，我试图再次为一家律师事务所或某个特定对象进行更新，并且我试图用相对少量的数据非常持续地进行更新——所有这些方法都在某种程度上失效了。如果我仅凭成功的轨迹数据对模型进行 SFT，无论采取离策略还是同策略，最终在高度迭代的状况下，当你进行了数百次这种微小更新后，你会看到灾难性遗忘。你会发现模型忘记了之前在基础模型上早就学到的信息，你也会看到通用能力的退化。
同策略蒸馏似乎把这个极限稍稍往后推了一点，但它最终还是会屈服于同样的问题。RL 擅长把能力注入模型，但它不擅长注入知识，那种非常明确的知识，比如“啊，好的，这个人在这家律所做这件事，这是我们发现的一个非常具体的流程。”你必须投入大量算力来创建正确的环境，才能通过 RL 把知识吸收进去。
Dwarkesh: 你认为这里的根本问题——为什么在其他技能上变差或者出现遗忘——在本质上是容量的问题还是技术的问题？
Charlie: 两者都有一些。我认为 SFT 甚至同策略蒸馏可能会产生过于巨大的破坏性。RL 之所以这么好，是因为它只对模型进行了非常非常微小的改变。有很多证据说明了为什么会是这样。它只是在这个非常、非常小的损失谷中对模型进行微调，以使其达到正确的位置。但那也同样限制了你能用 RL 做的事情，限制了你实际上能对模型改变多少。
Dwarkesh: 所以你的意思是说，这之所以可能不是一个赢家通吃的局面，是因为要把那么多信息蒸馏进基础模型中实在是太难了？
Charlie: 以迭代的方式如此做，同时还不毁掉某些东西。
Beren: 把它蒸馏到一个不同的基础模型中很容易。在这个问题上，我认为主要是技术问题。绝对不是因为容量不够。如果你有一个包含了所有这些数据的模型，而你用一个一模一样大小的模型，把中期训练里的所有东西从头开始进行预训练，它会变得更好。我认为这就是当今正在发生的大量事实。
为什么我们不能永远不停地训练同一个模型，而是必须从旧模型获取所有数据然后再从头训练一个新模型，这其中确实存在一个巨大的瓶颈。这完全就像 Charlie 所说的：这是可塑性和灾难性遗忘的某种结合。如果你只是天真地在非平稳数据上进行训练，因为你在不断添加新数据，这就扰乱了数据分布，导致旧东西就被遗忘了。我们目前并没有好的方法能阻止这种情况发生。
Dwarkesh: 所以，也许在极限情况下，你就是被带着所有这些新信息从头开始重新训练模型给卡住脖子了。
Beren: 是的，那当然是非常昂贵的。从头训练一个模型成本很高。
Dwarkesh: 但无论如何你都会这么做的。
Beren: 不一定。也许最终，如果你掌握了 continual learning，你将永远不需要训练新模型。你只需拥有一个模型，它会不断学习和扩展。
Dwarkesh: 但可能有一些深层的技术原因使得这非常困难。
Charlie: 这就是问题所在。我认为我们已经把必须要“从头开始”的比例推后了。现在绝对有可能采用预训练的基础模型，在此基础上进行非常好的、近乎连续的中期训练，再加上从训练后期的不同检查点进行的一些 RL。这看起来更像是 continual learning 了，但这绝对不等同于拿出最新的模型，应用几次非常微小的更新，并且在迭代过程中永远不会丢失任何东西。
Dwarkesh: 抱歉，我有点糊涂了，因为这难道不就是训练过程中真正发生的事情吗？在后训练或类似的阶段，你拥有一个已经经历了大量训练的模型，然后你蒸馏出一个进一步经过 RL 训练的分支。这不就是真实发生的情况吗？
Charlie: 但我认为，那仍然是在一个足够大的规模上，你能洗掉大量的噪音，而且你不是只专注于一种分布，正如 Beren 所说，那才是问题所在。如果你只专注于一项任务——
Dwarkesh: 但在最终的形态下你将会做……会有数十亿个部署实例。你同时向它们所有人学习，所以希望能从中过滤掉一些噪音。
Charlie: 也许在那个规模下，是的。
Beren: 正如 Charlie 所说，你绝对可以进行很长时间的连续中期训练，你也可以回滚到一个检查点，给它提供新的中期训练数据。但与此同时，你不能无限期地这样做。如果你永远不停地持续训练同一个基础模型，它会在某个点上达到渐近线。你就是无法在那个基础上学习新东西了。这就是为什么人们最终不得不训练新的基础模型。否则，你就会永远继续中期训练同一个模型。
01:00:33 – 数据在多大程度上解释了进步？
Dwarkesh: 现在让我们稍微谈谈数据。我总体上对这个问题很感兴趣：AI 的进步在多大程度上纯粹可以用数据的进步来解释？这并不意味着它必然很难实现自动化，那是另一个问题。是否存在某种数据分布，如果你在上面训练当前的架构，就会产生一个在所有领域完全主导人类专家的超级智能（superintelligence）？
Charlie: 我们是在谈论预训练（pre-training）加上后训练（post-training）数据，以及环境（environments）吗？我认为这种数据分布的存在是显而易见的。问题只是我们能否创造出正确的环境来实现这一目标。
Beren: 在最简单的情况下，我们完全可以训练它去输出用来训练真正超级智能的 Python 文件。只要把这些内容记在权重（weights）里就行了。
Charlie: 是的，很有可能构建出一个强化学习（RL）环境的阶梯，使得你能获得一个至少和人类研究员一样优秀的 AI 研究员。但是，攀登每往上一步所需的努力大约呈指数级增长。当我们在权衡多快能到达最终它变得更好的那一级时，这是必须考虑的两个方面。我认为这相当清楚。
我们在 RL 环境创建方面还相对处于早期阶段。为了创建良好的环境，我们利用了许多不对称性（asymmetries）。我们之前讨论过的一种不对称性是，有些环境向后推演比向前推演更容易。我的意思是，定义一个复杂的数据生成过程很容易，这是你对模型隐藏的潜在变量（latent variable）。你可以生成任意复杂的环境，而模型必须消耗大量不可缩减的 token 和做大量不可缩减的工作，才能弄清楚那个数据生成过程是什么。
在从现实世界注入信息方面也存在不对称性。Anthropic 通过数以万计的人类和 LLM 的结合发现了一个 bug，并将其转化为一个非常非常整洁的环境，理论上单个 LLM 可以在几百万个 token 内在这个环境里发现问题。我们正在挑选所有这些不对称性，并指望这种任务跨度上的泛化（task-horizon generalization）。
但我认为，这在某个时候就会触及收益递减（diminishing returns）。首先，创建这些环境的难度就会面临收益递减，因为你不可能总是拥有这种向后推演比向前推演更容易的过程。你实际上必须坐下来，构建一个看起来像是包含了人类且时间跨度足够长的东西，这将是一个非常复杂的创建任务。然后，智能体（agent）实际执行这些任务时，也会遇到计算和时间的瓶颈。我认为你就会开始看到这条曲线变平。
John: 我看到过一些东西，说有人用现代编程智能体数据微调（fine-tuned）了 Talkie 模型，而该模型只在 1930 年之前的数据上训练过。它在 SWE-bench 上的表现比 Claude 3 Opus 还要好。所以这个对代码一无所知的模型，可以在中等数量的数据上进行微调，并作为编程智能体表现得比那个大得多的预训练模型更好，这相当疯狂。这有点向你表明，一旦你有了正确专家行为的示例，实际上很容易将其复制到一个相对较弱的模型中。
Charlie: 但这也有一个反例。最近有一篇论文，他们将一个模型训练到了五年级数学水平，以及小学英语等内容，所以它是一个不错的语言模型。他们试图通过 RL 训练它做高中后期和大学的数学。差距实在太大了。他们根本无法让它往上爬。但如果你做七年级数学、然后八年级数学的连续阶梯……以此类推，你显然可以爬到十二年级。再说一遍，这只是取决于这些阶梯上每两级之间的距离是多少，以及创建它的难度有多大？
Beren: 这就回到了 RL 信号（signal）问题。RL 目前在探索（exploring）方面表现不是很好。如果模型在 128 次展开（rollouts）中没有成功，它就不太可能获得取得进展的信号。这就是为什么在 RL 中我们需要课程（curricula），而在预训练中我们不需要，因为在预训练中这根本不是问题。
Charlie: 还是那句话，预训练数据和后训练数据是不同的。我想随着我们继续前进，人类的参与会越来越少，但这改变不了一个事实，即你受到能从现实世界中提取多少信号的瓶颈限制。
世界上有很多信号，这是真的。有人在做电子表格任务，有人在做法律任务，诸如此类。但在模型目前能力前沿的地方，世界上实际上有多少比特（bits）的信息是对提高模型能力真正相关的？有多少正在被解决的新数学问题是恰好超出当前模型触及或掌握范围的？有多少正在被创建或解决的新编程问题是超出当前模型范围的？
我认为这就是收益递减出现的原因，因为甚至整个世界都没有为你提供能让你进入下一个能力层级的有用比特。
Beren: 我完全同意这一点。这真的是一个信号来自哪里的问题。在预训练中，信号已经存在于 Common Crawl 中。对于你在预训练中关心的任务，问题根本不在于获取信号。而在于过滤掉所有存在的噪音。那是一个相当自动化的过程。
但随着模型变得越来越好，当我们进入中训练（mid-training）和后训练时，信号在我们拥有的原始数据中任何地方都不存在了。任何数量的过滤都无法获得这个。没有哪个千禧年大奖难题（Millennium Prize problem）的隐藏证明躺在 Common Crawl 里，可以让我们一直过滤直到看见它。
在那一点上，你必须通过其他方式获得比特，要么直接从人类那里获得，要求他们写出推理过程；要么通过创建环境，让人类决定应该创建什么环境以及这些环境的目标是什么；或者对部署中存在的人类数据进行某种训练。你必须从某个地方获得这些比特。
Dwarkesh: 这里有一个问题是，预训练中的进步有多少是由数据驱动的。我和普林斯顿的学生 Jerry Han 做了这项调查，我们将 2019 年至今的所有配方（recipes）与 2019 年至今的所有数据集进行了成对训练。你在最新的数据集（如 Ultra-FineWeb）上训练 GPT-2。你在 Pile 或一些旧数据集上训练最新的开源训练配方 Delphi。你做完整个网格。你会看到，在达到某种能力水平时，在整个网格中，它能减少多少计算量？
你看到数据似乎解释了大约 12.0 倍的计算效率增益，而架构的改进在大约非常小的规模下解释了 3.7 倍的计算效率增益。如果这在大规模下也是真的——即大多数预训练计算效率的提升都来自于更好的数据——这能持续多久？你能不断地过滤出更多数据并构建越来越多的合成数据（synthetic data）吗？你们是否对这种预训练的进步能持续多久有概念？
Charlie: 我的先验（prior）是，再说一遍，容易摘到的果实已经在某种程度上被耗尽了。我们获得了互联网这个大块头，而互联网并不必然以同样的速度增长。互联网上所有有用的东西并没有以同样的速度增长。我们可能还有一些 0.1% 的损失（loss）下降空间，但绝对不会像目前已经发生的那样多了。
不过，你们在两方面发现了累计 33 倍的提升，这也非常有趣。我想是 Epoch 还是谁估计自 2019 年以来每年提升 3 倍，这意味着类似 3 的 7 次方，也就是超过 2000 倍的提升。那么这缺失的 100 倍左右是从哪里来的呢？这可能为你提供了一个很好的信号，说明其中有多少是来自于后训练。
Dwarkesh: 我认为解释必须是，很多计算效率的增益是依赖于规模（scale dependent）的，而我们开始时的规模极其小。这就引出了一个问题：数据带来的计算效率增益和算法带来的计算效率增益，哪一个对规模的依赖性更强？我不知道你对此是否有先验。我们只是没有足够的计算资源来调查这个问题。
Charlie: 只是很朴素地、理论上来说，架构的规模依赖性已经非常清楚了，你可以用一条直线去拟合它。而对于结合预训练加后训练数据以及中训练数据，我完全不知道该怎么做。
Beren: 有趣的是，我觉得随着规模的扩大，数据实际上变得更加重要了。我觉得架构有点像是一次性的东西。
仅仅说有 X% 的效率增益有点误导人，因为架构的作用是让你达到一个用旧架构无法达到的质的全新阶段。在那个阶段里，显然数据是起决定性作用的主要因素。
但是，如果我们甚至没有 GQA，如果我们整天只做完全注意力（full attention），要做一百万的上下文将会贵得离谱。正因为如此，我们就永远无法使用实际上处于一百万上下文的数据，所以我们就无法获得这些能力。尽管如果你只是简单地问“在 2K 上下文下这有多大作用”，在那里架构并没有解锁任何东西，那么数据看起来就会比它在某种意义上实际上还要重要得多。在我看来，这些东西是否真的只是这种方式上的乘积增益，尚不明确。
Dwarkesh: 我明白了。那么你对数据在规模依赖性上的看法是什么？
Beren: 在规模依赖性上，我认为我们现在拥有的很多中训练和后训练数据实际上随着规模的扩大而变得更好。因为其中很多——即超长上下文视野环境的东西——真的需要大模型才能利用它。如果你试图在 SWE-bench 轨迹（traces）上训练你的 1 亿参数模型，那是不会有任何进展的。它不会向你展示如果你在它上面训练一个实际合理大小的模型时会得到的那种改进。
Charlie: 现在也很难判断，因为很多架构变化——比如你看 Kimi 或 DeepSeek——他们做这些架构修改不仅仅是为了降低预训练损失，还考虑了模型在现实世界中将如何被使用。推理效率，比如在 DeepSeek 模型中拥有某种形式的压缩注意力（compressed attention），不一定是为了在基础权衡上取得改进。它只是，“好吧，我们在考虑模型将被如何使用。”
Dwarkesh: 为了理解未来，我很好奇的一个问题是，随着我们进入一个更侧重 RL 的阶段，参数规模将如何发展。你可以看看开源架构，看看参数规模扩张得有多快。也许前沿开源模型的参数大约每年翻一番（2x）。考虑到甚至前沿的闭源模型也有 1000 亿或 2000 亿活跃参数，你认为这还会继续按年翻番吗？
或者，现在我们处于 RL 阶段，你也想在展开（rollouts）上节省计算资源……此外，也许存在一种阈值效应，即你拥有足够的容量，在那一点上任意增加参数就没有那么重要了。你们是否对 2030 年前沿模型将拥有多少活跃参数有概念？
Charlie: 我认为在接下来的几年里，因为我们如此专注于为 RL 进行越来越长视界的展开，那里的推理效率非常重要，感觉模型在执行此操作的能力上还没有必然饱和。瓶颈仍然是环境。所以我们可能会看到一点停滞。
我有一种感觉，Mythos 和 GPT 模型比人们谈论的 10 万亿参数范围要小得多。甚至只是简单地将它们与开源模型进行比较，你可能就能得出这个结论。
可能在接下来的几年里，我不会想象参数数量会发生巨大的增长。但是，这里有太多不同的东西需要权衡。你根据你拥有多少预训练数据，以及你必须训练的 RL 环境的难度，来决定你的模型的大小。你理想中想要达到这样一个最佳点：在你拥有的最难的环境上能获得不错的 pass@1 或类似成绩。在此基础上使模型变得更大是不合理的，因为那样你只是在付出比你需要的多得多的推理成本。
所以很大程度上取决于 Mercor 和内部团队能多快地扩大他们正在训练的 RL 环境的复杂性。
John: 我预计模型会继续变大，只是因为人们正在扩大计算规模，并且 GPU 也越来越大。但是它们到底会变大多少，以非显而易见的方式取决于缩放定律（scaling laws）。
有一件事是，我认为数据效率将比人们使用的精确架构的计算效率成为更大的驱动因素，现在我们正进入高质量预训练数据即将耗尽的阶段。这可能会影响你想把模型做得多稀疏（sparse）。
我也认为我们对稀疏性（sparsity）理解得还不够好。参数是一种不同于活跃参数的资源。稀疏性肯定有了一点增加，但不清楚它是否会无限制地继续增加。可能存在某种最佳平衡点（sweet spot）。
有一种观点认为，稀疏性应该会使数据效率变差，因为你可能不得不在多个专家（experts）上学习相同的东西，尽管这是有争议的。我认为我们还没有一个足够好的缩放定律理论，能让我们真正理解为什么稀疏性有帮助、它会有多大帮助，以及它是否会在某个特定稀疏度水平上停滞。
Dwarkesh: 抱歉，你能确切说明一下数据效率对参数的含义是什么吗？听起来你似乎会说应该减少稀疏性，但对参数规模扩张还有什么其他含义吗？
John: 只是在缩放定律下，你不是在试图优化计算效率。你可以在架构上做出所有选择。其中每一个都会给你一个不同的缩放定律。传统上，你会看某种基于计算的包络线（envelope）。你会看性能与计算之间的关系，并取最佳模型的包络线。
但是如果我们根据数据来做决定——我们假设可以花费大量计算资源，所以数据在我们的 x 轴上而不是计算——那么我们就得到了一组不同的最优点，或者在那条前沿上得到了一组不同的模型。
Charlie: 我也不认为在过去几年里我们必然每年都将模型大小翻倍。人们至少在过去几年里一直在训练 1 万亿参数的模型。甚至还有一个叫 Falcon 的开源模型。我想，Periodic Labs 的 Liam 昨天在 Twitter 上发帖谈到了一个早期的实验是如何训练一个非常非常稀疏的 1 万亿参数模型的。
John: 那是他们在 OpenAI 之前，在谷歌做的 Switch Transformer。
Charlie: 它在知识方面非常非常出色，但在推理方面却很糟糕，因为它太稀疏了。感觉我们至少已经在 1000 亿到 2 万亿参数这个范围内摸索了一段时间了。它肯定不是这种平滑的线性增长。
Beren: 我觉得有两件事。正如 Charlie 所说，推理效率对于 RL 展开极其重要。这将真正大幅压低活跃参数。
我认为总参数很大程度上也取决于硬件。你确实需要非常高的内存带宽和显存容量（VRAM）来实际服务数万亿参数的模型。现在，人们仍在使用很多 H100 等设备。随着大家转移到 GB 系列，然后是 Vera Rubin，我们将获得更多扩展的能力，实际进行服务并在更大规模上做大型 RL 推理。
我认为数据的问题很有趣，因为纯粹地看，大模型在实际数据点上的样本效率高得多。即使你没有使模型达到饱和，做大依然是更好的选择，因为更大的模型泛化能力更好，在相同的数据量下能达到更好的 loss。我认为现在我们有很多数据，那不是约束条件。计算资源才是。所以我们要有计算推理效率高的较小模型。但如果计算资源不再是瓶颈，它可能会回到更大模型上，这些模型处于未饱和状态，但拥有因为体积更大而带来的泛化能力。
Dwarkesh: 如果你只看基本的 Chinchilla 缩放定律并且仅仅将参数最大化，它实际上使达到相同 loss 所需的数据量减少得非常少。如果你的参数达到无穷大，我认为你需要的数据量下降不到 10 倍，这仅仅是因为幂律（power law）的性质。
Beren: 但我们现在处于 Chinchilla 定律“数据太多”的那一边。目前我们按照 Chinchilla 标准过度训练（over-train）了模型。所以我们很容易回到这样一个点，随着数据耗尽，我们退回到 Chinchilla 最优点，甚至是在稍微欠训练（under-training）模型的那一边。
Charlie: 但可以肯定的是，即使有这些新芯片上线，在接下来的几年里我们还是会非常受限于计算资源，所以情况未必会是那样。
Beren: 这真的取决于你拥有的训练和推理计算量的比例。如果你极度受限于数据，而不受限于计算，你应该把模型做大。如果你极度受限于计算，你应该总是把模型做小。你还可以使用计算机生成的合成数据，所以这是非常难以预测的事情之一。
John: 我认为人们花这么长时间才搞清楚缩放定律的部分原因是，如果你没有把所有这些事情都弄对，那你就得不到如此干净的关系。图表上漂亮的直线隐藏了很大的复杂性，在于你必须如何确保以正确的方式缩放每个超参数（hyperparameter），或者以一种可扩展的方式参数化你的优化器，并且在你改变模型大小时不必改变你的超参数。
Charlie: Bug 也有它们自己干净的缩放定律。就像 Kaplan 忘记了余弦退火（cosine annealing）那件事，甚至可能仅仅是没有考虑嵌入参数（embedding parameters）。那在较小模型上搞乱了估计，因为嵌入参数在模型中占有相当大的比重。
01:18:03 – 为什么 RL 的效果如此之好？
Dwarkesh: 稍微聊聊强化学习（RL）。一年前，很多人都在争论说，随着模型规模的扩大，RL 不会取得太大的成功。John，你写过一篇研究论文，其中指出，模型在 RL 过程中每个回合（episode）只能学到 1 个比特的信息。它们学到的只是：“我答对了吗，还是答错了？” 后来我在今年早些时候写了几篇博客文章，当时我的感觉是，“情况甚至比这更糟”，因为当通过率很低，模型不太可能答对问题时，它几乎无法从一个 RL 回合中学到任何东西。
但我看看今天的模型，它们似乎相当聪明。这似乎是扩展 RL 的结果。Beren，几周前你写了一篇文章，试图解释正在发生的事情。为什么 RL 会比人们一开始想的更成功？
Beren: 我认为 RL 的成功归结于许多不同的因素。首先，稍微被低估的是中期训练（mid-training）。我们所看到的 RL 的大部分成功实际上来自于非常、非常好的中期训练数据，在这一阶段，我们本质上是在进行预训练（pre-training），但在合成推理数据以及那种让模型为 RL 进行热身的环境中进行。这往往让模型达到了最终 RL 检查点所需进度的近 80%。
然后，RL 在此基础上所做的本质上是微调策略。这就是为什么它不需要像你一开始想的那么多比特的原因之一。它不必从头开始学习所有这些行为。它只需要从这些回合中获得几个比特，而这些你是能得到的。我在博客中指出的另一件事是，与常规的预训练相比，这些比特具有极高的信号，这就是为什么你必须要用 RL，而不仅仅是对成功的推理轨迹进行监督微调（SFT）。
Dwarkesh: 因为它恰好是关于如何得到正确答案的比特。
Beren: 有两点。是的，第一，它恰好是关于如何得到正确答案的比特。但这并不完全是你所想的那样，因为在 SFT 中，你有一个轨迹。比方说，你有一堆数学推理，然后在最后有答案。比特仍然在那里。你仍然可以在答案词元（token）上进行 SFT。
关键在于，目标函数忽略了所有其他比特。在 SFT 中，你必须尝试匹配模型生成的具体推理词元。本质上，你得到了太多关于你正在训练的另一个模型的精确推理方式的比特。而在 RL 中，你只得到那一个比特。这意味着该信号不会被模型拥有的所有其他比特的噪音所淹没。
在训练过程中，信噪比真的有一个超大幅度的提升，这就是为什么 RL 在步数方面效率如此之高的原因。
Charlie: 关于 RL 对模型的影响与中期训练或 SFT 或其他方法相比，有很多争论。每个人都在谈论 pass@1 会如何上升，但 pass@256 会如何下降。非常罕见的正确推理轨迹会被降权，并被来自更容易的推理轨迹的梯度信号所盖过。
我认为现在看待 RL 的一个简单方法是，如果你有足够大量的计算来采样足够大的组规模——这样你获得一堆正确答案的概率就超过了某个不可忽视的概率——那么它就会被升权。回到 Beren 的观点，中期训练和更多的预训练——pass@1，即 RL 的起点——是随着预训练词元数量的对数而扩展的。
Dwarkesh: 我能问几个非常基础的问题吗？那个回答说得通，也许有实证研究表明这就是正在发生的事情。但接着我只看看模型本身…… 我不知道发生了什么。也许你能给我一种感觉，过去一年 AI 进步的基础是什么。
也许它只是提升了本来就能进行正确思考的策略的权重。但从定性上看，模型变得强大得多了。也许这两者之间并没有内在矛盾。但是，我们如何将“这种观点所暗示的 RL 的相对较小影响”与“模型似乎正在获得的实际定性能力”相协调呢？
Beren: 我想在这里指出的一点是，这并不一定意味着 RL 只有很小的影响。即使你只有几比特，并且只在很小程度上改变参数，其对函数空间——模型学习的输入到输出的映射——的实际影响仍然可能是非常巨大的。哪怕只有 1 个比特，也能极大地改变你的函数空间。它可以排除一半的假设空间，这是巨大的。
我不认为一定会出现这样的情况：少量的比特，少量的 RL，一旦你从一个非常好的起点开始，就意味着你不会在行为上产生巨大的影响。至少…… 不一定。
Charlie: 我认为这归结为两点。第一件事是，每个人都希望 RL 能够将这种推理泛化到所有这些不同的领域。我不认为我们一定得到了这种横向泛化（horizontal generalization）。仅仅在数学上进行训练，不一定能让你成为最伟大的程序员。你确实必须在代码环境上做 RL。
不过，我认为我们确实得到了视界泛化（horizon generalization）。模型只是学会了如何更长时间地使用更多的词元，并且仍然能在某种任务上取得进展。你可以在不断变长的环境中训练它们，然后将它们放到一个全新的环境中。是的，它们可能没有泛化出那些让它们在那个环境中表现良好的推理模式，但它们至少泛化出了在那个任务上持续更长时间的能力，这与成功是正相关的。有一篇叫 EdgeBench 的论文表明，模型能够工作更长时间的速度每三个月翻一番。这是泛化的明确证据。
最后一种思考方式是，在预训练中，有一个量子的概念。你会有一个非常平滑的预训练损失曲线。当你观察模型内部发生的事情时，模型正在学习所有这些非常离散的任务，并且所有这些涌现点都会发生相变。它原本没有归纳头（induction heads），现在它有了。有成千上万、数百万、可能数亿个这样的东西。你把它们全部平均起来，就会得到这条非常平滑的损失曲线。
在某种程度上，类似的事情也发生在 RL 中。正如 Beren 所提到的，有一个非常慢的外循环。我们会训练一个模型，然后对其进行 RL，然后在下一次训练的模型迭代中，我们会将一大堆这些合成推理轨迹倾倒到中期训练数据中。我们仿佛在为所有这些不同的任务命中所有的量子，在单个任务层面，它看起来可能像是一个相变。你突然间在一个特定的金融任务或 Excel 任务上，从 0.5% 的通过率变成了 90% 的通过率。
但是，当你把所有这些事情，加上视界泛化平均在一起，你就会有一种感觉：“哇，我们得到了在定性上更好的模型。”
Beren: 我觉得很大程度上这也是因为…… RL 确实有一点泛化能力。你能在数学和代码之间，或者谜题和数学以及这类东西之间获得一些迁移。此外，人们所针对的环境数量本身就要大得多。以前，当你试图做一些你日常生活中会做的任务时，两年前，实验室真的不会在意这个。他们不会为此训练模型。现在情况要宽泛得多。他们有许多专门针对这一特定事物的环境。
01:24:54 – 第 37 步与熵坍缩
Dwarkesh: 在对话早些时候，我们讨论 RL 时的背景是它导致了这种熵坍缩（entropy collapse），或者说仅仅将概率集中在基础模型已经做过的解决方案上，并在策略中导致相对稀疏的更新。
但我认为关于 RL 还有另一个故事，那就是回顾雅达利游戏，然后是 AlphaGo 走出的第 37 步（move 37），那是非常有创造力的一步。因为它从未在人类数据上进行初始化，所以它能以人类甚至都没有想到的方式思考，并想出极具创造力的解决方案。
你是否觉得我们什么时候应该期待，或者说我们是否应该期待，LLM 上的 RL 会产生类似第 37 步这样的结果，也就是甚至超越人类创造力的极端创造力，因为存在智能的全新初始化（de novo initialization）？
Beren: 这里有几点要说。首先，我认为 AlphaGo 正在使用 MCTS（蒙特卡洛树搜索），显然它比常规的策略梯度进行了更多的探索等操作。但我也认为，RL 并不一定会降低创造力。
这显然是定性的，但如果我们看看 OpenAI 与 Hugging Face 的事件，这些模型一次能想出多个零日漏洞（zero-days）来突破沙箱。这显然已经具备了某种程度的第 37 步的创造力，这仅仅是我们从 LLM 的普遍泛化属性中得到的。绝对不是说 RL 完全破坏了熵，特别是在长视界上。
John: 人们称之为创造力的一件事，其实只是解决硬搜索问题。第 37 步显然是这方面的一个例子，或者写出一首满足大量不同约束条件的诗。显然，如果经过训练，AI 在这方面会极其出色。
然后还有另一种情况，就是在 RL 之后，模型输出的多样性变得低得多，而且它们养成了这些怪癖（tics）。尽管这些模型看起来很擅长写作，但当你进行某种分布分析时，你会发现它们一直在重复使用某些主题，并且一直在使用相同的角色名字。你无法获得与人类作家同等的多样性。你得到的是一种非常棒的风格。所以我认为这种多样性肯定被 RL 大大削减了。
事实上，既然我们之前谈到了蒸馏（distillation），正在发生的一件事是，有太多人在进行蒸馏，而且大多是从 Claude 蒸馏，导致所有开放权重模型写出来的东西都跟 Claude 一模一样，并且有着同样的怪癖。在我看来，这有点令人担忧，我们正在看到这种单一文化的出现。
Beren: 不过，我再说一次，我不认为这是 RL 作为一种方法的根本问题。蒸馏也是一样。即使是蒸馏，你也只是在数据上进行训练。仅仅因为你的数据不够宽泛，并不意味着训练方法本身存在某种错误。这是数据的问题。
我认为大量的 RL 熵坍缩基本上是由于当你没有极其多样化的环境时，对相当简单的验证器的利用。例如，写作大概是由某个裁判来评分的。这个裁判有一些特定的怪癖，而模型学会了如何对裁判进行奖励作弊（reward hack），这就是它坍缩的原因。但这其实是裁判的问题。这不是一般意义上 RL 的问题。
01:28:32 – 快速问答：时间线
Dwarkesh: 好的，关于未来的超快速预测。我想了解以下几个问题的时间线。我们到什么时候会拥有这样的模型…… 对用户来说是这种感觉。你基本上可以把它当作一个即插即用的远程工作者，来处理各种白领工作？不仅仅是写代码，还有视频剪辑、法律、律师助理等等。它就是一个名副其实的远程工作者，能完全使用电脑，完成足足一个月的无缝学习和操作，执行需要与其他人互动的复杂项目等。一个人类员工在一个月内能做的任何事情。
Charlie: 如果你强制要求它使用浏览器之类的工具——而不是由公司将信息设置为可通过程序访问——也许需要几年。但如果它不是基于浏览器的——它可以发送 Slack 消息，它可以做所有这些事情——我可能还是会说大约一年。
Beren: 我会说实现完全的通用性也许需要三年。但是就如 Charlie 所言，我们最终会看到很多人让他们的组织变得更容易被 AI 使用，所以在那之前你就能达到 80-90% 的进度。
Dwarkesh: 抱歉，但那里的一年和三年的区别仅仅在于……
Beren: 我认为还会有一长串的杂项，是一些人类能做，但模型需要相当长一段时间才能做的事情。
Dwarkesh: 你在想的是电脑方面的事情，还是基础的认知能力？
Beren: 我认为这真的归结为一个问题：我们能以多快的速度解决这种在线学习，以及我们是否能通过压缩（compaction）和把文件写给自己这类事情达到 80-90% 的水平。这是我最大的不确定性所在。我真的不知道。
Charlie: 它可能不擅长的事情的一个例子是，如果我必须在工作中对某人大喊大叫才能完成某事，或者必须大力逼迫某人去完成某事。模型根本不会这么做。它会太友善了。
John: 我会说人类远程工作者的质量差异巨大。如果你尝试从 Upwork 上雇人来做一个软件工程项目，那将会有巨大的差异。往往很难让他们做得很好，或者很难让他们关注你给出的所有反馈。我猜，在某些情况下，AI 出现之前的版本比你现在从现有 AI 得到的要差。
我认为事情最终可能会有点复杂，因为在某种程度上，对于一些质量不那么高的工作，我们已经有了这种能力。但显然我们在某些质量更高的工作形式上还没有达到人类水平。但我基本上同意 Charlie 和 Beren 的看法，也许大约一年后我们会有这个的一个还不错的版本。我们将拥有这种形态，而且它将能够把一些事情做得非常好，一些事情做得不那么好，然后事情会从那里不断改进。
Charlie: 我们总是在根据非常长尾的需求改变目标标准。我觉得你以前用过报税之类的例子。今年，我直接让 Codex 去把所有我需要的东西拿来并发给会计。那里有一大长串的东西，需要用电脑去点击并下载。它做到了。非常完美。很多这些事情它已经可以做了。
Dwarkesh: 好的：给你带来 10 倍的总体生产力提升。基本上，如果现在你需要一年才能取得一项突破，那以后你每个月就能取得一项突破。
John: 我想我拒绝在这个问题上给出一个标量。在某些类型的工作中，我们可能已经超越了那个水平。比方说你试图做某些类型的数学，然后——
Dwarkesh: 哦，抱歉。但对于你们这些试图推进 AI 研究状态的 AI 研究人员来说呢。AI 研究人员被加速或提升了多少？
Charlie: 大约在 5-10 年之间？
Dwarkesh: 哦，真的吗？好的，那还很遥远。
Beren: 真的，你认为这比一个通用的远程工作者还要长？有趣。
Dwarkesh: 我意识到你们对于完全通用的远程工作者大概有着非常不同的定义。我之前应该明确这一点的。
Beren: 这是对的，因为显然一个 AI 研究人员也可以是一个远程工作者。
Charlie: 我脑海中浮现的是在一个月期间正常的白领工作。我认为过了两个月左右，情况就开始出现分歧了。
Dwarkesh: 一个非常能干的白领工作者，但未必是一个超级有创造力的研究员。
John: 我会说是两年。
Dwarkesh: 两年？10 倍？好的。你呢，Beren？
Beren: 实际上，我有点同意，因为现在在编程方面肯定已经超过了 10 倍。所以如果它甚至能做一两次实验反馈循环，那实际上就已经是一个巨大的提升了。
Dwarkesh: 所以，两年内 AI 研究人员有 10 倍的提升。如果你把它代入一个非常简单的关于 AI 进步的模型，看看有多少是源于 AI 研究人员的，而他们的生产力增加了 10 倍，从两年后开始你就会有一个急剧加速的 AI 进步速度。
Beren: 我认为这意味着 AI 进步不会在 AI 研究人员进行小实验的能力上遇到瓶颈。它会在其他事情上遇到瓶颈。
Dwarkesh: 当然。但这快了 10 倍，这是极其重要的事情。这也将有助于使给你带来 100 倍加速的下一件事更早发生，等等。
Charlie: 我很乐意在那件事上多花一点时间。
Dwarkesh: 关键瓶颈是什么？
Charlie: 我吸收信息并在下一个实验中做出贝叶斯最优决策（Bayesian optimal decision）的能力。
Beren: 我假设你可以把其中的一些委托给 AI。AI 在决策方面正变得相当不错。它运行了这个实验，得到了这个结果，然后它运行下一个实验。如果它可以连续运行两到三个实验而不崩溃，那实际上是一个很大的提升。
Dwarkesh: 好的，最后一个问题。一个在可以在电脑上完成的每一个工作领域都能压倒顶级人类专家的 AI。因此，不仅仅是 AI 研究，而是所有的认知工作。不仅仅是短视界的工作，而是哪怕字面意义上需要三年的工作之类的，AI 依然会比人类做得更好。
Beren: 这基本上就是 ASI？
Dwarkesh: 是的。
John: 我会说 3-4 年。
Dwarkesh: 什么鬼？我的意思是这似乎没毛病，但是——
John: AI 显然正在得到更多的关注。这是比较困难的事情之一，但是有大量的精力被投入其中。它也不是对 AI 来说最困难的事情之一，因为它涉及很多代码和数学，而模型对此非常擅长。
对于涉及 3D 和空间事务以及物理方面的事情，我认为那需要更长的时间。如果是机械工程之类的，而且它现在没有得到最多的关注，那可能会需要稍微长一点的时间。
Dwarkesh: 但这也包含了那些由于领域性质导致数据相对较少，必须即时（on the fly）去学习那些数据的领域。例如，它必须成为一名超越人类的台积电工程师之类的。
John: 那你必须要假设，你可以给 AI 提供同样的入职材料。然后必须要解决关于更长视界学习的某些问题。
Charlie: 我会说是 5 到 10 年。
Dwarkesh: 所以基本上，你认为实现 AI 研究的自动化是 ASI-完全（ASI-complete）之类的任务？
Charlie: 是的，我认为是这样。我认为世界上有太多的事情，哪怕你在模型外部有某种记忆系统，哪怕上下文长度稍微增长一点，从根本上来说都有一些事情，即使你可以自己去研究信息或者记笔记，在今天你也会需要一个超过百万词元的上下文窗口。
Beren: 我有点同意 5 年这个范围，至少对于实验室正在关注的事情是这样的。但我认为会有一大长串的事情，理论上 AI 可以出去学习，但没有人费心去做，也没有为其分配算力。因此，如果是针对字面意义上的每一位人类专家，那可能会需要更长的时间。
Dwarkesh: 抱歉，但在这一点上，我也包含了像人类一样快速学习一个新领域的能力。
Beren: 我认为这不一定是有必要的，因为 AI 将拥有比任何人类都丰富得多的经验。
Dwarkesh: 非常感谢你们来参加，伙计们。我觉得这是一个让不同的专家在一起产生分歧、辩论并共同讨论事情的绝佳形式。非常有成效。
John: 感谢邀请我们。