震撼，谷歌破解了RSI？AI靠「做梦」学会无限进化

谷歌可能已经找到了RSI的突破口！

最近，谷歌携手Google DeepMind、马里兰大学与弗吉尼亚大学，共同发布了一项重要研究。

这一次，他们展示了一条截然不同的RSI路径：AI的自我进化，竟然能够通过“做梦”实现？

这次，谷歌让智能体将自己走过的每一步记录成一棵树，并在其中“做梦”。

在梦境中训练出更优的探索策略，再回到现实世界继续执行。

论文链接：https://arxiv.org/abs/2609.14858

Dream-RSI的效果令人惊叹：

在算法优化任务中，主流进化搜索系统需要运行51200代，而Dream-RSI仅调用317次就达到了相同水平。

在圆填充问题上，它追平了谷歌自家的AlphaEvolveV2创下的最佳纪录。

在GPU内核优化中，达到同等性能时，生成次数减少了2.43倍。

底层权重无需任何修改，Gemini 3.1 Pro和3.7 Flash都可以直接使用。

此外，还有一个更有趣的发现：人类为AI指引方向，反而比不指引效果更差。

论文上传到arXiv后，X平台首先沸腾。网友Mark Kretschmann高呼：“谷歌可能刚刚破解了递归自我改进”！

论文第一作者Tong Zheng是马里兰大学的二年级博士生，今年夏天以学生研究员的身份加入谷歌。他身后是一个17人的作者团队，包括DeepMind研究员和讲席教授。

要实现递归自我改进，智能体必须学会做梦。而历史，就是它们做梦的世界。

Tong Zheng在Hugging Face上留下了这样一句话，这也成为整篇论文的核心。

历史，就是它做梦的世界

Dream-RSI要解决的，是整个进化搜索领域最关键的瓶颈。

以AlphaEvolve为代表的系统已经证明，让编码智能体进行进化搜索，可以发现人类未曾找到的算法。但它们有一个致命弱点：探索策略完全依赖人工编写。

哪个分支应分配更多算力，哪个分支应尽早剪掉，何时启动并行，都需工程师预先设定。搜索空间一旦扩大，固定策略就会将算力浪费在死胡同中，而且不会从历史中学习。

那么，让策略自己进化是否可行？理论上可以，但问题在于评估成本。

评估一段候选代码，运行一次就能知道好坏。而评估一套探索策略，则需要让它引导智能体从头运行几百上千轮，观察最终发现的结果，才能为策略打分。每次修改策略，都要重新运行整个发现过程，等几天才能得到一个分数，没有人能承受这种成本。

Dream-RSI的解决方案是：将已经运行过的过程保存下来，评估新策略时不再重新运行，而是直接回放旧过程。

具体来说，它将“执行任务”和“决定如何执行”拆分为两个层次。

• 底层是负责执行的“发现智能体”（Discovery Agent），由Gemini 3.1 Pro或3.7 Flash驱动。它每次接收一个工作区，读取上下文，修改出一版新候选代码，然后由评估器打分。
• 顶层是轻量级的编排层，其中包含“探索策略”（一段Python代码），决定每一轮从哪个节点继续、一次开启多少个并行尝试、以及何时止损。

底层模型保持不变，自我进化的对象只有这段策略代码。

每一次真实探索的结果都会存储在一棵“发现树”中。根节点是初始工作区，每个子节点记录了一次尝试的完整现场，包括文件系统快照、生成的产物、评估诊断和得分。

这棵树，就是模拟器。

策略需要做出的决定只有一类：从哪些节点继续，一次开启几个。而每个节点往下走会得到什么结果，树中已经记录好了。

因此，当策略需要迭代时，无需在真实环境中运行代码，只需在已经生长好的树上重新走一遍历史即可——

想尝试“这条路多走两步”，就读取树中对应的记录；想尝试“那条路早点放弃”，就少读取几个节点。

整个评估过程不调用一次模型，不运行一行代码，只读取历史。

论文将这种机制称为“做梦”。就像棋手复盘，无需重新摆盘再下一遍，翻看棋谱就够了。

Dream-RSI 的运行闭环

基于这一洞察，谷歌构建了Dream-RSI框架。其自我改进循环主要分为三个阶段：

1.真实探索：当前最新的探索策略

引导Agent并在真实环境中运行（例如调用LLM、编译并执行代码），并将探索产生的所有路径、决策和执行反馈记录下来，作为一棵新的结构化探索树

追加到历史数据库中。

2.构建模拟器：将更新后的历史数据库转化为一个可重用的“重放模拟器池”。

3.基于做梦的策略改进：一个专门的LLM策略开发Agent在这个模拟器中开始疯狂“做梦”。它不断修改和重写探索策略的代码，生成上千个候选策略，并在重放模拟器上快速重放它们。

做梦的打分由三项构成：一是这一轮梦境中找到的最优分数，二是扣除尝试次数对应的成本，三是并行奖励，鼓励策略一轮批量运行多个尝试。

得分高的策略，就意味着它“多快好省”。

负责修改策略的是另一个“策略开发智能体”。

它会关注三样东西：当前策略在梦境中走过的轨迹和分数，前几版修改的反馈，以及整棵发现树。然后，它直接改写策略代码。

一轮修改出若干版本，每个版本都丢回梦境中打一次分，得分最高的版本成为下一轮的正式策略。

这意味着，新策略的下限是“原地踏步”，上限则是“无限进化”。

RSI的飞轮由此闭环。

为什么这个策略永远不会变差？

在离线改进阶段，策略开发Agent会经历多轮代码迭代。由于当前的策略本身就被包含在候选池中，只有当新重写的策略在模拟器上的综合重放得分（平衡了探索质量、算力成本和并行效率）高于当前策略时，新策略才会胜出并被部署。

因此，从数学上看，Dream-RSI部署的新策略表现绝不会弱于上一代。随着新策略被重新部署到真实世界中探索，它会带回更深、更广的探索树，从而让模拟器也随之进化。

智能体与它眼中的“世界”，就这样在相互咬合的齿轮中一同成长。

策略改进后上线，用于发现新算法；历史积累增多，梦境更加精准；梦境更精准，策略继续进化。树中没有的分支，梦境中也走不到，因此每一轮真实探索都在为下一轮的梦境拓展地盘。

第一版策略很朴素，只会开启一堆独立的工作区各自运行。到了后面的轮次，策略学会了精打细算。

在ConvDiv内核实验中，当性能处于上升期时，策略主动将每轮尝试从110次减少到50次；一旦性能停滞，它又加大探索力度，分数随即再次提升。

没有人教它这样做，这是它从自身历史中“领悟”出来的。

317次碾压5万代：人类反而成了累赘

论文在三个领域进行了实际测试。

1.算法工程：Lasso 正则化路径求解器

第一个领域是算法工程，任务是Lasso正则化路径。这是高维统计中的经典难题，要求在保证数值正确的前提下，尽可能快地计算整条路径。

使用Gemini 3.1 Pro运行Dream-RSI，仅调用317次，就将求解器的平均运行时间从3587.1毫秒降低到2931.0毫秒。

相比之下，同一个模型采用固定策略，需要调用550次才能达到这个水平。基线SimpleTES为了获得类似结果，总共生成了51200次。

换成更便宜的Gemini 3.7 Flash后，模型消耗了1879次调用，成功将运行时间缩短到2350.6毫秒。

由于进化发生在探索这一层，与底层模型的大小无关，因此小模型同样能受益。

它发现的求解器，基线做法是根据问题维度，在LARS和坐标下降两种算法中二选一。而Dream-RSI找到的方案，直接将自适应机制融入活跃集优化内部。

具体来说，先用强规则筛选一遍特征，再用柯西-施瓦茨不等式进行KKT剪枝，只有当上界无法判断某个特征时，才回头计算精确梯度。

2.数学优化：三大高难度数学任务

在数学优化领域，差距更为显著。

在“和差问题”、“圆装填”和“自相关不等式”这三个极其消耗算力的离散和几何优化问题中，Dream-RSI在1000代以内就达到或超越了强大的基线性能。

与需要51200代算力开销的SimpleTES相比，Dream-RSI节省了超过50倍的计算预算，并获得了同等甚至更优的结果。

3.GPU 算子工程：KernelBench 极限压榨

第三个领域是GPU内核工程，也是谷歌最关注的领域。

在这里，论文总共测试了四种内核。

VGG16和LayerNorm比较的是节省程度：将内核优化到与固定探索相同的性能，Dream-RSI所需的生成次数分别仅为对方的1/2.43和1/1.79。

ConvDiv和ConvMax比较的是性能提升：在相同预算下，Dream-RSI优化出的内核性能分别是固定探索的2.09倍和1.44倍。

最后，研究团队将之前的历史轨迹提炼成方向性提示，嵌入Prompt中，“手把手”指导智能体如何前进。

结果出乎意料：在同等预算下，加入人类引导的始终比不加的更差。

深度剖析：直接给AI“总结经验”，反而效果更差？

论文中有一个非常反直觉的实验。

研究人员尝试了“经验总结法”，让大模型将历史总结成高层指导意见，用于指导下一轮探索。

然而，实验结果令人惊讶：注入了高层次经验总结的Agent，在探索表现上不仅没有提升，反而显著差于没有任何指导的原始baseline！

背后的原因是，一旦将经验生硬地抽象为“高层原则”，它们立刻就会转化为AI的认知偏见，过度约束AI的搜索空间，扼杀了探索的多样性，让AI困在局部最优解中。

相反，Dream-RSI的“做梦”机制不提供任何“空洞真理”，它直接让新策略去碰撞具体的历史树，在微观的并行控制、分支优先级和提早停止规则上进行代码级优化。

这种方式保持了探索空间的开放和多样性，反而远胜于前者。

暑期实习生操刀一作，身后是17人豪华天团

第一作者Tong Zheng（郑童），2021年本科毕业于东北大学，本科期间就在国内最顶尖的机器翻译组（肖桐组）进行研究。

2024年，他进入马里兰大学攻读博士学位，师从黄恒教授。Dream-RSI正是他2026年夏天在谷歌担任学生研究员时的成果。

他从ICLR 2025的让模型一次生成多个草稿的投机解码，到ICLR 2026和ICML 2026的Parallel-R1和Parallel-Probe（用强化学习教模型并行思考），始终专注于同一件事——不让模型一条路走到黑。

Dream-RSI打分中的“并行奖励”，与这条思路一脉相承。只不过，以前是让模型的思维并行，现在是让智能体的探索并行。

导师黄恒，马里兰大学首任Brendan Iribe讲席教授，拥有约300篇顶会论文，主持7个NSF项目和3个NIH项目。近年来，黄恒组里的学生专注于大模型推理。

17人的作者团队中，通讯作者Xidong Wu和Zheng Zhang在谷歌，DeepMind一侧有推荐系统圈熟知的SASRec作者Wang-Cheng Kang。

一个暑期实习生挂名第一作者，身后一群资深研究员署名，谷歌对这一路线的重视程度不言而喻。

通往 ASI 的隐秘通道，已经被打通了？

此前，谷歌产品负责人Logan Kilpatrick透露了一个重磅消息：谷歌正在密切关注前沿，并且已经看到了RSI的早期迹象！

他以Gemini 3.5到3.8大约每三到四周一次更新为例，并表示Gemini 4将是迄今为止最大、最野心勃勃的预训练模型，希望借此重回竞争领先地位。

他强调，要将算力和人力投入到编写代码、进行研究、从事科学工作中，因为这些最有可能使下一轮训练变得更快速、更便宜。

为什么谷歌如此坚信RSI正在发生？

因为AI自我改进的范式正在悄然改变。过去十年，行业里提到RSI，大家想到的总是“AI自动修改自己的权重，训练出下一代神明”。

而Dream-RSI展示了另一种可能性：模型权重不一定需要先改变，它可以通过自我重写外围的“Harness”，来让自己变得更强大！

当模型拥有这种强大能力时，它就能用最便宜的算力，去解决最难的问题。

正如论文结尾所说：

智能体必须学会做梦才能递归自我改进，而历史，就是它做梦时所处的整个世界。

随着Gemini 4等超大型预训练模型的临近，这种“在虚拟历史中做梦”的RSI到来，我们距离那场智能大爆炸，或许只有一步之遥了。

参考资料： https://dream-rsi.com/

本文来自微信公众号“新智元”，作者：摩西 Aeneas，36氪经授权发布。