“我们正站在人工智能新时代的门槛上。”
新一代智能体主要依靠自身的经验来进行学习，从而获得能够超越人类的能力。
这两句话足以表明《欢迎来到体验世界》是近两三年间极为重要的 AI 论文。
作者是 DeepMind 的强化学习副总裁，他叫席尔瓦（David Silver）。作者还是图灵奖得主，他是萨顿（Richard Sutton）。
一、体验式学习通向超人智能（ASI）
我们认为，若能充分释放体验式学习的潜力，人工智能将会获得令人惊叹的新能力。这个“体验时代”的特征在于一类智能体及其所处的环境，这类智能体不仅能够从大量的经验数据中进行学习，而且还将在多个层面上突破以人类为中心的 AI 系统的限制。
我们相信，当前的技术水平具备一定的能力。这种能力配合适当的算法，为实现这些突破提供了强大的基础。并且，AI 社区在这一方向上持续进行探索，这种探索将会激发一系列的创新。通过这些创新，能够推动 AI 快速地迈向真正具备超人能力的智能体。
二、再次咀嚼苦涩的教训
萨顿是强化学习之父，他在经典文章《苦涩的教训》中把人类知识与认知结构的局限性阐述得很清楚。
人类试图将知识和结构性设计注入其中的努力，最终会被计算和学习能力所替代。真正有效的 AI 方法，是那些可以借助计算进行广泛训练并且通过学习来获得成果的方法。
这里他再次提醒的内容，很明显是机器在自我学习过程中所积累的经验，而并非主要是人类的经验。
三、Ilya Sutzkever的超级智能
看到这篇文章，我想起了 OpenAI 前首席科学家 Ilya Sutzkever。
他离开了 OpenAI 。之后，他创办了公司 Safe Superintelligence Inc.（SSI）。
Ilya 在去年年底公开宣称大语言模型的预训练已终结。他将互联网上的数据比作 AI 的“化石能源”，认为总有一天会被开采完。他指出了未来的三个数据来源，其一，AI 能够产生新的数据；其二，AI 自身可以决定从众多可能的答案中挑选出最好的那个；其三，人类可以从真实世界获取数据。
Ilya 预言我们会朝着超级智能的方向前进，这种超级智能与之前的智能存在本质差异。“AI 系统的本质和特征即将发生巨大的变化。”
Ilya 对超级智能的推理能力进行了如下描述：它进行思考的深度越深，就会变得越难以预测。我们目前所拥有的 AI 是可以被预测的，原因在于它是对人类直觉的模仿与再现。试想一下人类的大脑，如果让它在 0.1 秒内给出答案，那也只是直觉反应。”
所以机器的推理具有不可预测性。例如在 2016 年 AlphaGo 与李世石对弈时，其在第二番棋中走出了第 37 步“神之一手”。
“AI只有变得不可预测，才能战胜人类。”
四、LLM在走出低谷
去年 9 月，我们发表了一篇名为《强化学习正在引领 AI 跨越 LLM 之谷|笔记》的文章。此文章提醒了西尔瓦在 MIT 的一个演讲，该演讲提出超级规模的强化学习展开了一条通向超人智能的明确路径，并且强调这一切“仅仅是开始”。现在，他正式提出了 AI 的新范式。
我们对比一下，在 8 个月之前，他处于当时正在走出谷底的那条曲线上，那时仅仅打出了 3 个问号；而现在，出现了 AlphaProof 和 Computer Use 这两个智能体。
主流人工智能范式的简要时间轴草图，其纵轴表示该领域在强化学习（RL）方面的总体研究投入以及计算资源所占的比例。
五、AI肯定会有自我意识
机器肯定会有自我意识。人类个体的终极奖励机制是人类的意识以及由此产生的意义。机器为自己设定奖励函数后，肯定会产生自我意识。这不再是哲学问题，也不是存在意义上的哲学问题，而是伦理意义上的哲学问题和工程问题。
Ilya 觉得超级智能会产生自我意识。他认为自我意识是有用的，就如同我们人类一样。意识是自我的一部分，而自我意识是我们世界模型的一部分。
六、东方的顿悟
论文提及了在 DeepSeek 的推理模型进行强化学习训练的过程中，出现了“顿悟时刻”。
DeepSeek-R1-Zero 的中间版本出现了一个有趣的“顿悟时刻”。这个模型学会了用拟人化的语气进行思考。这对我们而言也是一个顿悟时刻，让我们目睹了强化学习的力量与美感。
