从持续学习到下一代 AI 方向探讨

前几天梁文锋（后面用梁佬代替）的演讲稿有点出圈，我也去看了一下，看了两个版本，一个是录音文字稿（知乎已经被删掉了），一个是 52 条摘要整理稿^[1]。看完后有一些启发，尤其是关于下一代大模型的，这个其实自从 2017 年转行做 AI 到现在，一直没有停止过思考，所以本文重点从持续学习角度探讨这个方向。

先来看梁佬的观点，核心认知其实就一个：「专攻大脑，突破上限」，其他感知类（多模态）或不明朗（世界模型）的都放一放。具体点来说，文本（智能）的上限还没摸到，而且有一条清晰的发展路线：CoT → Agent → 持续学习 → 奇点 → 具身。这里的重点就是 “持续学习”，也是本文讨论的重点。关于持续学习，目前确实没有一个确定的方案，诚如梁佬原话：

其实学习可能不是一项技术，它是一个问题。怎么解决这个问题，可能有很多种技术，不是一项技术，它不是一个东西，会是很多东西。或者说，AGI 是由很多东西组成的，需要模型，然后还需要很多其他东西。其实它也是一个工程和算法问题。这个问题比较专业，但有很多方法，也有很多研究。

就是大家都在摸索，还没有具体答案。我们不妨来简单梳理一下已有观点。

前沿：持续学习观点

去中心化网络和持续反向传播

这个方向比较有名（我的认知内）的是强化学习之父 Rich Sutton 的一系列观点。来自 Dynamic Deep Learning | Richard Sutton - YouTube^[2]（中文文字版：强化学习之父 Rich Sutton 最新演讲：用「去中心化神经网络」应对深度学习局限性^[3]），去中心化网络的核心理念是赋予每个神经元独立的目标，走的是分布式路线，倾向于将每个单元组件视为单一心智。多个独立的神经元（agent）组合后整体形成强大的智能网络，网络自然生长，成为更复杂的网络。具体来说，网络分为骨干网络和边缘网络，现在用的都属于骨干网络（知识），边缘部分则应更具备探索性。骨干网络可以通过反向传播学习，但边缘部分应设计新的算法，这里就是「持续学习」的地方——持续反向传播算法——通过在每轮反向传播中，根据神经元的活跃度选择性地重新初始化部分神经元，从而提升模型的灵活性和学习效果。

其实 Sutton 的出发点就是持续学习，针对的就是 ANN 在持续学习时存在的缺陷：灾难性遗忘、可塑性丧失和模型塌缩。他认为传统的梯度下降和反向传播算法仅能更新对当前输出有影响的神经元，结果导致未被充分利用或失活的“死亡神经元”落入死循环，无法再次参与学习。因此去中心化网络将单个神经元视为具有独立目标的 agent，整个网络有自己的全局目标，单个神经元也有自己的局部目标，它们可以保持活跃、与骨干网络建立连接，而不仅仅是被调控。骨干网络训练后相对稳定，边缘部分鼓励自由探索和变异。持续反向传播通过持续评估神经元的效用，选择性保留高效用骨干、重置低效用边缘。而且，骨干网络并不是固定不变的，它和边缘部分是动态调整、互相转化的。

这里的持续学习其实是：元学习、表示学习、学会如何学习、学会如何泛化、以及构建状态表示特征。这是一种全新的网络学习方式，包括三个层面：权重：神经网络一般只在这个层面学习；步长：或学习率，每个权重一个，自适应调整；连接模式：即谁与谁相连，通过增量过程实现。这些内容在访谈 Richard Sutton on Pursuing AGI Through Reinforcement Learning - YouTube^[4]（中文文字版：强化学习之父Richard Sutton：通往AGI的另一种可能^[5]）也有提及。

经验学习、具身化与世界模型

Rich Sutton 不认为 LLM 是最值得追求的方向，更关心行动、目标以及智能体如何判断真实性等 LLM 欠缺的方面。上面的访谈提到了 AI 的下一步学习：基于经验与具身化。访谈中引用了 LeCun 的话：”在尝试实现人类水平的智能之前，我们需要先达到老鼠和猫的智能水平，即在追求更高级别的智能之前，我们需要先了解和掌握更基本、更简单的智能形式。“其实，很多大佬都有类似观点，比如我们熟悉的 MIT 的 ‪Joshua B. Tenenbaum‬ - ‪Google Scholar‬^[6] 还发起过《A plan to advance AI by exploring the minds of children | MIT Technology Review^[7]》，他 2015 年在《科学》上发表的《Human-level concept learning through probabilistic program induction | Science^[8]》中提出的 BPL（Bayesian Program Learning）也挺有意思。

为啥大佬们都不约而同地转向最基本的学习形式？监督学习看起来很美好，但真实世界是转瞬即逝的，是复杂多变的，经验学习不需要提供数据，就像婴儿成长一样，边玩边学边成长，而这一范式正是强化学习擅长的地方。但是谈到经验，就避不开真实世界交互，自然就来到了具身化和世界模型。具身化是把模型（或 agent）置于真实（或模拟）的环境之中，模型需要感知环境并发生交互；而世界模型则想办法将 agent 所处的“世界”建模——AI 中最困难的部分之一——模型知道自己的情况和环境的情况，也知道交互后会发生什么情况。关于这点我们在多年前的《人工智能哲学笔记 | 长琴^[9]》和近期的《LLM、强化、蒸馏讨论 | 长琴^[10]》中都有提到：AI 最难的可能不是复杂推理，而是最基本的常识，比如机器人可能不「知道」自己有脚，能走能跑。

不过，Sutton 不认同“尝试制作世界的物理模型，或者试图制作能够模拟世界并生成视频帧的模型”，原因是，这不是思考问题的方式，我们不需要未来的画面，我们需要的是「一个在高层次结果上的模型，而不是在低层次像素和视频上的模型」。一种方法是通过具有更高级别的状态特征来实现。简单来说就是，把所有东西都搞成视频（加音频）太重了，根本不现实。所以，需要的是时间和状态上进行抽象的模型。

到这里就不得不提 LeCun 的 JEPA 了，这玩意儿追溯起来就早了，maybe 是《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture^[11]》，当然也有相关的 World Model：《LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels^[12]》，还有自适应持续学习的《AdaJEPA: An Adaptive Latent World Model^[13]》，一直都没来得及仔细研究，不过，JEPA 并非与语言或语言模型对立，它在潜在空间进行预测，关心抽象特征而非像素细节。从世界模型建模来看，这点是有极大优势的，而且更符合我们的直觉。另外，它和生成范式也不冲突（因为它本质上是一种表征范式），也许将其理解为另一条路径（或一个组件）更加合适，无论如何，让子弹先飞一会儿，我们先祝他成功吧；）

总的来说，Sutton 认为的世界模型其实是真正「理解」——知道空间是什么，物体是什么，标签是最不重要的。这让我想起一个关于费曼的小故事（出自《费曼经典：一个好奇者的探险人生》）：

下周一，爸爸们都回去上班了，我们几个孩子在田野里玩耍。一个孩子问我：“你看那只鸟？那是什么鸟？”

我说：“我一点儿也不知道是什么鸟。”

他说：“那是褐喉鸫。你爸爸什么都没教你！”

但事实恰恰相反。他早就教过我了：“你看那只鸟？”他说，“那是斯氏莺。” （我知道他也不知道它的真名。）“嗯，意大利语里它叫Chutto Lapittida，葡萄牙语里叫Bom da Peida，中文里叫Chung-long-tah，日语里叫Katano Tekeda。你可以知道世界上所有语言里这种鸟的名字，但说完之后，你对这种鸟本身却一无所知。你只会知道不同地方的人们是怎么称呼这种鸟的。所以，我们还是看看这只鸟，看看它在做什么吧——这才是最重要的。”（我很早就明白了知道某物的名字和真正了解它之间的区别。）

Sutton 认为监督学习，包括语言模型没有做到这样的理解，这是 LLM 的局限性。不过世界模型又是否真的能做到「理解」呢？

经由LLM进一步逼近智能上限

先看看梁佬原话，除了开头提到那几句，还有：

现在全世界都在研究这个问题。或者说，对投资人来讲，现在投资人看到的最多的是 agent；但对于我们这些研究的人来讲，现在看到更多的是学习，以及怎么解决学习这个问题。
比如说世界模型，我觉得现在跟智能的上限也没有太大的关系，所以我们也不会去做。有个问题是，怎么理解世界模型和 AI 智能上限提高没有关系？我说的是在现在这个阶段，这是我们的判断。我们有看到，这是我们自己的 AI 路线图，不是唯一的路线图。
从我们的理解、从我们的判断来看，当前最重要的是把 AI 训练做好。把 AI 训练做好，并不需要世界模型，甚至不用多模态。因为你把 AI 训练范围缩小一点，没有多模态，只是有一部分任务你做不了，但是不影响这个算法的成立。

从这些话中我们可以看到梁佬的两个意思：

智能和智能上限并不是一回事，甚至，什么是智能？这个定义是非常广的，多模态当然是智能的一个方面，不过已有 LLM 还没到探索智能上限的极限（中间提到几次模型可以更大，做不大是因为目前资源限制只能做这么大）。
我们也不知道怎么做到下一步持续学习，但我们目标是明确的，只不过具体路径还有待探索。这个细节我估计就算他知道大概率也不会说出来，但可以肯定已经做了不少探索。

我个人也是比较认同这个观点的，道理也简单，这个问题其实等价于语言与智能上限的可能性，显然语言是文明的产物，把上限放在「语言」层面目前看来显然优于放在「生物」层面。

而且显然，上面的几个观点之间其实并不完全对立，换句话说，从各自观点看大家都是对的——这并不是瞎子摸象那般只见树木不见森林，而是高级智能的多面性和多样化表现。

Sutton：Transformer scaling 会撞墙，需要去中心化+持续反向传播
LeCun：LLM 缺乏接地感，没有世界模型就到不了鼠猫级智能
梁佬：LLM 还没到上限，持续学习路线在这条线上可以走通

我个人觉得都对，因为「智能」的概念本来就是模糊或者多元的，Sutton 侧重基于经验的强化、LeCun 侧重生物智能、梁佬侧重从语言角度推上限。其实这样反而比只有一条路径更好。另外，听过或看过梁佬之前分享的伙伴应该能够感觉到，他们的目标一直很清晰——就是 AGI，其他所有的都是这条主路上的副产品，从 DeepSeek 早期版本发布就是如此了。另外的另外，他们好像也没说不做其他方向，只是暂时会专注这个方向。

最后，关于智能的上限，目前看起来继续做大依然是有效的（这点应该是确信的），这就意味着通过 LLM 依然可行。而且关于 LLM 内在机理的研究也越来越深入，还没有明显证据否认这点。事实上，我们可能对 LLM 本身还没有完全掌握，尤其是内在机理方面，可能还有不少我们不知道的 insight。比如 FAIR 去年发表的《How much do language models memorize?^[14] 》探讨了语言模型记忆容量，并观察到模型会一直记忆直到其容量达到饱和，然后 grokking 开始。再比如 Anthropic 可解释性团队 Transformer Circuits Thread^[15] 近期发表的《Verbalizable Representations Form a Global Workspace in Language Models^[16]》表明 LLM 内部存在一类可言语化的特权向量表示，充当类似于人类大脑认知科学中的全局工作空间的角色。我本人对这个方向了解不多，只看过少量 paper，以及早期看过一些张俊林老师知乎文章，记录在《预训练：NTP和Scaling Law | 长琴^[17]》，疏漏之处，还请读者指正。

总之，AI 算法这个领域其实还有非常多的方向值得去探索，而且目前还没有哪个路线是绝对确定的，这反而形成了一种百花齐放、百家争鸣的盛况，这对从业者来说是好事，对行业发展也是好事。路漫漫，行则将至。

畅想：下一代模型范式

前面是大佬们的观点，其实是非常宏观了，不过最后「经由LLM进一步逼近智能上限」其实并没有明确的答案，只是说了目标，但没有提到怎么去接近这个目标。所以，接下来就是我自己的观点了，显然是顺着这个话题往下说的，纯粹一家之言，抛砖引玉。

数据视角

首先，最简单的角度，我们从「数据」这个视角来看最开始的路线图：CoT → Agent → 持续学习，这里我们只到持续学习。从数据角度看，有什么发现呢？

CoT：增加推理过程数据，数据内容更加丰富，一定程度上算（对任务理解的）深度扩展，数据质量变高。这是 R1 做的，我们在之前不少文章提到过，比如《DeepSeek R1深度技术解析及其影响 | 长琴^[18]》、《DeepSeek R1后LLM新范式 | 长琴^[19]》。还记得我们在文章中写道：「这算不算是重新定义了“高质量数据”和“新的训练范式”呢？不管答案如何，我想，后面所有的LLM可能都会“R1”一下的。」
Agent：增加动态的、与任务相关的、来自某个数据源的数据，可以算是广度扩展，数据源变得丰富。这是 Agentic 做的，尤其以 coding 表现最为突出。这个阶段，有了一种”模型囊括一切“既视感，模型的边界在不断扩充，连 prompt 都变成了 skill。
持续学习：我们不妨先停下来自己思考一下，我想到这里每个人可能都有自己的一些想法。我自己的想法简单来说就四个字：「外部交互」——带状态、行动、时间与真实结果的 experience。世界模型在这里确实不是必须的，或者说不需要像 LeCun 那样显式建模物理世界，我可以用代理，甚至在虚拟系统（比如情感对话）中实现这一目的。

系统化学习

在正式展开之前，大家不妨先思考一个问题：“学习是否一定要更新参数？”参数更新无疑肯定是学习，但 state、memory 更新难道不算？能否站在系统视角，将所有外部数据、交互影响系统的过程都叫做「学习」？回想刚开始时梁佬的原话：「其实学习可能不是一项技术，它是一个问题。怎么解决这个问题，可能有很多种技术，不是一项技术，它不是一个东西，会是很多东西。」也许学习本身就是多粒度、多维度的，可能本身就是一种组织方式。

虽然我们现在无法明确得知确切路径，但却可以设计一些目标状态，可以大概确定，下一代模型不只是更大的 Transformer、DLM、带长记忆的 Agent，或能够每轮做一次 PEFT 的 LLM。它应当能够：

持续形成和修正内部状态。
预测自身行动对用户与环境的后果。
根据真实结果判断经验是否可靠。
将经验选择性（如 novelty, surprise, reliability, causality, recurrence, scope, conflict, privacy, reversibility 等角度校验）写入 context、state、memory、局部参数或全局能力。
在长期运行中保持可审计、可删除、可回滚。
……

它是一个动态的、基于 experience 的学习系统。基本的数据单元应该类似：

experience_t = (
    prior_state,
    observable_evidence,
    inferred_state,
    policy_version,
    candidate_actions,
    selected_action,
    immediate_outcome,
    delayed_outcome,
    time_gap,
    uncertainty,
    provenance
)

这和当前模型的区别是：

模型的学习对象不再是文本，而是「经验」。
模型的输出不只有 reply，同时包含 action 分布、return 分布、状态、记忆、经验去向等等。
模型的实时响应不等于实时修改权重，而是不同粒度、不同时间尺度保持不同的学习方式。
模型从「功能主体」转为「责任主体」，需要理解权限和边界。
……

神经操作系统

瞎聊了几句数据和学习过程，接下来聊一下最终状态。拿计算机来类比，相信现在没有人会觉得 CPU 是计算机，也不会觉得计算机有硬盘奇怪，计算机本来就包含了 CPU、内存、硬盘、输入输出设备等组件。同样，没有人规定 AGI 必须是一个模型权重。

我们不妨看看现在的 agent 架构，LLM → 思考 → 调用工具 → 再思考 → 再调用，简单来说就是 React：Plan → Act → Observe → Reflect，这其实是在用 LLM 模拟程序运行，看起来就很不 AI，就像是语言驱动的脚本系统。这也是我个人一直不太认同现有 agentic 系统（包括 openclaw）的搞法的原因，于是我写了 Monad^[20]，一个能够自我学习、目标驱动的 AI kernel，不过实在太忙就没怎么维护。言归正传，现有 agentic 的搞法其实有点反 AI，而且很不高效，就纯纯一个语言控制系统。

那下一步有没有可能类似于：基础模型 → 记忆系统/模块 → 工具接口 → 世界模型，AI 直接维护世界状态，而不是靠 prompt 推理。拿订机票举例，现在是先搜索，筛选，再调用 API；以后会不会是先更新世界模型，找到合适的航班，再调用 API。用操作系统来类比的话，基础模型就是运算器、世界模型和控制器有一定关联、记忆系统就是存储器、工具接口就是输入输出设备。没有 tool call，没有 prompt，臃肿的 context 将被 memory 和 state 替代。

虽然目前这个方向看起来还比较零散，距离完整系统还远，但我个人还是非常期待。

好了，比叨完了，虽然只有短短几段，但耗费了好多脑细胞，纯个人猜想，希望能给大家启发。总而言之，下一代模型的基本学习单位不再是 token，而是带有状态、行动、时间和真实结果的 experience；它的基本能力不再只是生成，而是预测、干预、观察、修正与选择性固化；而最终的形态将是一个动态演化的神经操作系统。真正的成长，不是每次都能完成任务，而是每一次经历都让它更清楚什么值得做、为什么做，以及下一次应该如何做得更好。

附录

还有一些与本文内容相关但又没有那么直接的联系的内容，干脆都放到附录了。

使命，目标与取舍

回到梁佬的演讲稿，说一下其他方面的。其实概括起来就两个字：「取舍」，我们看到的所有的抉择、关键词、金句都可以放在这个词下面。从前面的 AGI 选择，到不在产品上花太多精力，也不在非认定的 AGI 路线投入过多，再到开源、让利等，其实每一个决策都做了明确的取舍——只做 AGI 方向上的探索，其他都不重要。所以，不加班、维护松弛环境，自然聚焦、自底向上生长，从概率上来说这也是最可能出成果的配置。

而之所以能做到这些，是因为梁佬已经到那个阶段了，每个人在不同阶段都有自己的追求，显然 DeepSeek 探的是 AI 的上限，其他皆可抛。不过对普通人和普通公司来说，可不能全部照搬（也照搬不来），但是我觉得两点可以借鉴：聚焦和团队稳定。

聚焦就不用说了，相比“我想做 XXX” 来说，“我不做 XXX” 会更难，大部分人和公司会想要很多，而不是放弃很多（包括我自己也是）。这里说聚焦并不是说我们要放弃很多，而是说应该有且仅有一条核心的主线，在这条主线上面承载很多不同形式并没有问题。这就涉及到一个公司（人也一样）的核心使命和目标了，这东西理不清就好像大海里没有指南针。

团队稳定这点其实比很多人想象的要难。这里有个人才和目标的悖论。先说 DeepSeek 为啥可以做，他们有个很宏大的目标，很难做，所以我招人的时候就筛选那种也有类似目标的人，大家一起朝着目标努力，目标没达成，只要人不变，团队是非常有可能非常稳定的。但以我经历过的很多公司来看，每家（没有例外）都是做到没活可做（公司也不支持自由探索），只能换跳槽，搞得我一个很不喜欢跳槽的人 1-2 年就得换公司。反过来其实也是一样，但反过来的情况其实不多，很少遇到说公司发展很快，员工跟不上的。就是说公司发展和个人发展要同向且同步，或者至少得同向，步子也不能差太多。如果不满足这个前提，过于稳定反而会坏事。这个话题就到这里吧。

总的来说，公司和个人一样，目标和取舍决定了选择，也决定了不同的道路。但无论怎样，只要遵从内心的声音，走的每一步都算数。如果选择太多，那就选最有价值、最有挑战的去做吧。

最后的最后，再多说一嘴，其实很多内容我自己感觉是不应该公开的，或者说不适合公开，尤其是涉及到很多对其他公司的观点。我觉得即使公开也应该经过他本人允许，整理后的稿件，而不是现在这样的裸录音+文字稿。不过，这个不公开我们就看不到了倒也是真的；D

现状：当前方案

其实，正文应该结束了，不过正好手里记了一些当前的持续学习方案，未来不一定会用，记录也不一定全面，但既然写到这里了，顺手简单记录一下，感兴趣的同学可以继续阅读。

ICL

In-Context Learning，LLM 前时代就有了，比如《MetaICL：Learning to Learn In Context | 长琴^[21]》，GPT-1/2 其实也算，不过“出圈”被大多数人知晓应该是从 GPT-3 开始的，当时还写过一篇相关文章：《GPT3 和它的 In-Context Learning | 长琴^[22]》，后面就慢慢成了 Prompt、RAG、Memory、MCP、Skill 之类。

这个方向的研究本身也很多，我本人没有特别关注，只是对「上下文工程」比较感兴趣，写过相关的文章：《重识LLM法则：上下文工程与数据进化 | 长琴^[23]》，也梳理过一点指令跟随相关的，比如《指令跟随近期工作梳理（2025年上半年） | 长琴^[24]》、《LLM指令跟随论文速览（2024-2025） | 长琴^[25]》，不过总体上了解还是比较少。个人觉得这也算是「学习」的一种。

PEFT

ICL 是动模型的输入，PEFT 我们可以简单理解为给模型挂上补丁，类似 Adapter、LoRA（包括其各种变种）、MiCA^[26] 之类的方法都算，《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning^[27]》这篇 2023 年的 paper 介绍的比较全。这类方法前两年大模型刚出来那会儿挺火，这几年算是常态了。

其中一个新的方向是 scaling——各个方向（大小、数量等）的 LoRA 适配研究，比如 MindLab 的《2606 On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters^[28]》，搞了三个方向的 scaling：向上扩展发现强大的 base 提供丰富的潜在能力，极小的 LoRA 更新就能精准引导和激活复杂行为；向下扩展提出了针对 RL 的初始化方法、跨 Rank 迁移规律，以及面向记忆的适配器设计；向外扩展支持数百万个持久化 adapter 实例，可用于个性化记忆、模拟环境、群体智能等场景。

还有一种 TTT（Test-Time Training，允许推理时通过更新一小部分“快速权重”来吸收新信息）方向的优化方案，比如 Seed 的《2604 In-Place Test-Time Training^[29]》，它将常见的 MLP 模块投影矩阵作为快速更新权重，赋予了大型语言模型在推理阶段动态适应新信息的能力。具体点来说，MLP 的 gate 和 up 不变，down 专门用来作为快速权重，训练时根据当前读到的 token，去预测和记住接下来要出现的 token。实际更新时采用 chunk 更新，拿到一个 chunk 的中间激活值，用 down 参数计算结果，算出该 chunk 对应的预测目标，做一步梯度下降更新 down 参数，更新后的参数处理下一个 chunk。值得注意的是，这里的 loss 并不是交叉熵，那太慢了，实际做法是利用隐向量内积。如公式所示（详见论文）：

$\begin{aligned} \text{Target（更新目标）:} \quad & V = \text{Conv1D}(X_0) \mathbf{W_{\text{target}}} \\ \text{Loss（损失函数）:} \quad & \mathcal{L} = -\langle Z W_{\text{down}}^\top, V \rangle_F \\ \text{Gradient（梯度计算）:} \quad & \nabla_{W_{\text{down}}} \mathcal{L} = -V^\top Z \\ \text{Update（快速权重更新）:} \quad & W_{\text{down}}^{(i+1)} = W_{\text{down}}^{(i)} + \eta \cdot V_{[i]}^\top Z_{[i]} \end{aligned}$

其中， $X_0$ 是 token embedding，最原始、最纯净的语义特征，经过 Conv1D 来计算训练目标； $Z$ 是特定 MLP 模块内部的中间激活值。

Agent

这个思路是一种整体的协同视角，一般包含多个相对独立的模块。比如 Meta 的《2603 Why AI systems don’t learn and what to do about it: Lessons on autonomous learning from cognitive science^[30]》（LeCun 还挂名了），它主要思路是借鉴认知科学来解决 AI 系统真正“自主学习”能力。出发点依然是人类，主要是幼崽，儿童从出生起就能灵活选择关注什么、何时探索或观察、以及如何根据环境切换合适的学习模式（比如观察、行动、沟通或想象）。而 AI 模型部署后几乎无法自我学习，且不同学习模式（如自监督学习、强化学习）被割裂在独立的训练环节中。

论文提出了一种包含三个子系统的认知架构：

System A（观察学习）：类似于婴儿通过看和听来认识世界，利用自监督学习（如对比学习、预测编码）从静态数据或视频流中提取抽象特征和预测未来状态，构建对世界的高效压缩表示。
System B（行动学习）：类似于幼儿通过跌跌撞撞学走路，利用强化学习通过试错来调整动作以获得奖励，它能在高维度的行动空间中探索，但往往需要大量的交互尝试。
System M（元控制）：作为整个系统的“前额叶皮层”，它不处理具体数据，而是监控系统的元状态（如预测误差、置信度），自主决定何时观察、何时行动、何时过滤数据，从而实现更高的学习模式。

其他类似思路其实挺多，不过这篇相对有意思一些，而且比一般的 agent 更进一步，我们把它拿出来作为示例。

可能有同学感觉这好像和「持续学习」没啥关系，准确来说，是的，这里的持续学习总给人的感觉怪怪的。个人觉得这里可能是因为缺乏一种「持续」的感觉，所以为什么下一代的重点是「经验学习」，持续的外部交互、评价、总结、自我提升的动态系统。这里还有一个有意思的话题：「评价」，也就是 reward 方案设计，这个我们后面专门写一篇来聊。

AI 认知更新史

这部分内容是这次思考时临时简单梳理的（AI 辅助），记录自己关于 AI 认知的变化，回看时往往也挺有意思。

语言表达观察者的内部世界

《201709 语言、AI、情感 | 长琴》的重点不是情感分类，而是：语言同时携带客观信息和主观感受；相同事物在不同观察者的认知中会产生不同映像；人记住的往往不是最短的信息，而是与自身经验产生共鸣的表达。所以，模型不能只建模文本 x，还需要建模产生和接收文本的主体状态 z。“理解用户”不是给一句话贴上 emotion label，而是推断用户为什么这样说、当前在意什么、回复后可能如何变化。

Prior、Rules 与 Sense

《201807 NLP 与 AI | 长琴》提出框架：Prior：实体、关系与常识；Rules：约束、规律与适应；Sense：具体情境中的整体表征。在当前可以看作：Persistent User / World Prior + Behavior and Transition Rules + Current Session Posterior。用户画像是 prior，当前对话与近期行为提供 posterior evidence。

分类是概念形成，不是贴永久标签

《202011 分类与 AI | 长琴》的重要判断是：分类是人认识世界的基本方法，人会从极少样本中抽象可复用模式，并用新样本强化、修正或重组已有体系。错误模式也有价值，因为它提供自我纠正的起点。因此 profile 应是有支持度、时效和置信度的概率性 belief。“某类用户”只能是当前证据下的临时解释，而不是永久事实。

LLM 的智能来自路径，但不止是路径

《202310 关于大语言模型的思考 | 长琴》已经提出：LLM 在参数空间中寻找解决问题的路径，思维链和 prompt 都在把模型引到更合适的路径；但“存在路径”和“产生智能”之间仍缺少解释。文章同时把数据、任务设计、记忆、RL、评测和多 Agent 列为重要方向。也许提示下一代系统不能只扩大“可走路径”的数量，还要显式建模：为何选择这条路径、路径产生什么后果、结果是否支持原先的内部 belief。这里特别强调了 RL；）

复杂上下文不是更长 prompt，而是环境状态

《202412 关于AI前沿的思考 | 长琴》指出：真实上下文包括组织、项目、代码、历史尝试、人的偏好、操作行为和意图。可靠应用需要数据集成、人类确认和多种方法并存。推理时扩展也可以理解为把一部分“学习”后置，让模型主动补充上下文。这与今天的结论一致：上下文长度不是状态本身；状态需要来源、结构、更新时间和可见性边界。这篇文章有比较多的判断现在看都挺有意思，比如：o1+强化、关注人的交互、2025 年语音 agent 爆发、2026 年具身爆发等。

世界模型的关键是信念修正

《202508 群聊中的AGI拼图：GPT-5发布后关于全模态、推理、世界模型与实时学习的思考 | 长琴》提出：世界模型不仅要有知识，还要知道自己知道什么、不知道什么；学习不仅包含知识学习，也包含行为学习；模型应根据外部输入和内部判断修改已有信念。这篇文章专门讨论了实时学习，也提到了开头的去中心化网络，不过缺少一个闭环：模型提出预测，现实返回结果，预测误差触发 belief update，经过验证的经验再进入长期知识。这点现在补上了。

新物种不一定共享人类先验

《202510 子非我，安知我不知鱼之乐——AI、人类与意识的边界 | 长琴》强调：AI 的底层驱动力未必与人类相同，不能把人类的情感、生存本能、欲望和意识先验直接投射给模型。功能与意识也不是一回事。这给模型设计增加了一条重要边界：系统可以建模情感和长期关系，但不能假设 engagement 就是用户福祉，也不能把“表现得像有情感”当成“拥有情感”的证据。

多尺度学习和可训练 Agent

《202601 通向 AGI 的技术路径：多模态、强化学习与新架构的交汇点——结合近期研究者访谈的一些技术判断与个人思考 | 长琴》把方向收敛到多模态世界建模、RL、自进化、新架构和多尺度学习，并提出真正的 Agent 应是一个可训练、可学习、可进化的智能体系，而非工具封装。其中“快时间尺度学习表层变化、慢时间尺度学习深层规律”直接对应本次设计中的 fast state 与 slow weights。

Vibe Coding 给出了持续学习的工程原型

《202601 为了让AI干活儿，我竭尽所能——我的 Vibe Coding 认知升级之路 | 长琴》中的复合工程其本质已经是外部化持续学习：不仅记录规范和结果，还记录排查过程、失败条件、验证方式和可复用经验；经验在关键节点沉淀，需要时再被检索，并在重复出现后从文档演进为 Skill/Command。这比某个具体 PEFT 方法更接近经验原生模型的核心：一次工作是否让下一次工作变得更容易？

主动性和判断力是稀缺资源

《202601 以 AI Coding 之管窥探世界之变 | 长琴》、《202603 从 OpenClaw 再谈 AI Coding：我们还剩下什么 | 长琴》、《202606 当我20天的账单超过4000美元 | 长琴》、《202607 AI是双刃剑 | 长琴》反复出现相同判断：AI 擅长执行，真正稀缺的是提出好问题、系统设计、判断目标是否值得、验证结果是否可靠，以及保持人的主动性。“知道”不等于“理解”。新手拿到的是孤立的点，专家连接的是带条件、边界和失效模式的网络。因此下一代模型的记忆也不能只是事实堆积，而应保留关系、适用条件、冲突、验证和后果。

认知边界要求模型保持可证伪

《202601 从平面国到硅世界：当文明被困在自己的维度里 | 长琴》提醒：一个认知体系最危险的不是无知，而是不知道自己的维度限制，并把当前世界模型当成唯一真相。落到模型设计，就是模型不仅要输出 belief，还要输出 belief 的边界、替代解释和可能推翻它的证据。校准不只是置信度数字，更包括“我依据什么、还缺什么、怎样会证明我错了”。

从 2017 年到 2026 年，近十年时间的思考，看起来好像有很多方向，但现在看来其实都可以收敛到一个核心点——文本背后的状态，这才是真正重要的东西。

好了，哔哩吧啦一大堆，汇成一句话：「我们走的每一步都不浪费」。

Reference

[1] 摘要整理稿: https://www.zhihu.com/question/2063544277611893241/answer/2063545658112528693
[2] Dynamic Deep Learning | Richard Sutton - YouTube: https://www.youtube.com/watch?v=75jr5E4OzEE
[3] 强化学习之父 Rich Sutton 最新演讲：用「去中心化神经网络」应对深度学习局限性: https://mp.weixin.qq.com/s/Zfqh8XC1xIo5EMqv-5WPEQ
[4] Richard Sutton on Pursuing AGI Through Reinforcement Learning - YouTube: https://www.youtube.com/watch?v=zZuh8YUBeDY&t=2799s
[5] 强化学习之父Richard Sutton：通往AGI的另一种可能: https://mp.weixin.qq.com/s/rxmd3BLFX2c3QgXKhYucYQ
[6] ‪Joshua B. Tenenbaum‬ - ‪Google Scholar‬: https://scholar.google.com/citations?user=rRJ9wTJMUB8C&hl=en
[7] A plan to advance AI by exploring the minds of children | MIT Technology Review: https://www.technologyreview.com/2018/09/12/140393/a-plan-to-advance-ai-by-exploring-the-minds-of-children/
[8] Human-level concept learning through probabilistic program induction | Science: https://www.science.org/doi/10.1126/science.aab3050
[9] 人工智能哲学笔记 | 长琴: https://yam.gift/2018/04/07/AI/2018-04-07-AI-Philosophy-Note/#维特根斯坦和框架问题
[10] LLM、强化、蒸馏讨论 | 长琴: https://yam.gift/2025/02/27/AI/2025-02-27-AI-Discussion/
[11] Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture: https://arxiv.org/abs/2301.08243
[12] LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels: https://arxiv.org/abs/2603.19312
[13] AdaJEPA: An Adaptive Latent World Model: https://arxiv.org/abs/2606.32026
[14] How much do language models memorize?: https://arxiv.org/abs/2505.24832
[15] Transformer Circuits Thread: https://transformer-circuits.pub/
[16] Verbalizable Representations Form a Global Workspace in Language Models: https://transformer-circuits.pub/2026/workspace/index.html
[17] 预训练：NTP和Scaling Law | 长琴: https://yam.gift/2025/02/28/NLP/LLM-Training/2025-02-28-LLM-Pretrain-NTP-and-ScaleLaw/
[18] DeepSeek R1深度技术解析及其影响 | 长琴: https://yam.gift/2025/02/17/NLP/LLM-Training/2025-02-17-DeepSeek-R1/
[19] DeepSeek R1后LLM新范式 | 长琴: https://yam.gift/2025/03/15/NLP/LLM-Training/2025-03-15-R1-New-Paradigm/
[20] Monad: https://github.com/hscspring/Monad
[21] MetaICL：Learning to Learn In Context | 长琴: https://yam.gift/2021/11/01/Paper/2021-11-01-MetaICL/
[22] GPT3 和它的 In-Context Learning | 长琴: https://yam.gift/2023/01/20/NLP/2023-01-20-GPT3/
[23] 重识LLM法则：上下文工程与数据进化 | 长琴: https://yam.gift/2025/07/27/NLP/LLM-Context/2025-07-27-Context-Engineering-and-Data/
[24] 指令跟随近期工作梳理（2025年上半年） | 长琴: https://yam.gift/2025/06/26/NLP/LLM-IF/2025-06-26-Instruction-Following/
[25] LLM指令跟随论文速览（2024-2025） | 长琴: https://yam.gift/2024/12/31/Paper/LLM/2024-12-31-Instruction-Following-Papers/
[26] MiCA: https://yam.gift/2026/04/11/NLP/LLM-Training/2026-04-11-Real-time-Learning-from-PEFT/
[27] Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning: https://arxiv.org/abs/2303.15647
[28] 2606 On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters: https://arxiv.org/abs/2606.02437v2
[29] 2604 In-Place Test-Time Training: https://arxiv.org/abs/2604.06169
[30] 2603 Why AI systems don’t learn and what to do about it: Lessons on autonomous learning from cognitive science: https://arxiv.org/abs/2603.15381