Reward 设计的本质：从 hack 到 hard

上次在讨论《从持续学习到下一代 AI 方向探讨 | 长琴[1]》时，我们说到 reward、评价系统，今天就来聊聊这个话题。Reward 对 RL 至关重要，或者说 RL 的目标其实就是 reward。无论是之前的 RL，现在的 RL，还是未来的 RL，都离不开 reward 的设计，可是关于 reward 本身的思考方面的研究却并不多见。本文就通过几篇相关的研究来和大家共同探讨一下。

Reward Hack

首先，触发这次思考的是 DeepMind 的这篇《2607 What do Reward Models Memorize?[2]》，它主要研究的是当下 RM 的常见问题，有三个发现：记忆资源严重错配，只记简单的、偏好差异大的；硬背表面特征，语气、风格啥的，但没有内容；过度泛化简单的“启发式规则” ，学会三板斧就到处用。

我们这里不关心它的具体方法（反事实记忆），重点看这几个可以统一归纳为 reward hack 的现象。相信每一个做过后训练的同学肯定都遇到过 reward hack，但凡你稍微有哪怕一丢丢漏洞，policy 就能立马发现并使劲放大。比如我曾经在训练一个输出 3 个选项的模型时，本来期望模型输出的 3 条语义相似度要尽量小，结果它把其中一条直接写成完全主题无关的内容——相似度是真小啊。

论文没有给出解决方案，它只告诉我们 RM 就是天生会投机，为了尽快降低损失，它就是会过度泛化一些简单的表面特征（比如回答的长度、是否顺从）。而当遇到不符合这些表面特征的复杂人类偏好时，那就只能“死记硬背”了。虽然没有具体方案，但开放问题中还是给了几个方向：

  • 惩罚启发式捷径。如果模型过度依赖“回答长度”或“特定大模型的语气”来打分，就给予惩罚。
  • 困难样本挖掘。强制模型在那些“长度相似、语气相似，但逻辑有细微差别”的困难样本上进行训练。
  • 基于规则的显式约束。不限于标量分数，要求模型同时输出解释，或进行多维度思考，这个就是 GRM 了。

总的来说，RM 天生就偏好那些简单特征，本质上是一个极度依赖“捷径”和“表面规则”的系统，它并没有真正学会理解复杂的人类偏好。这也是 reward hack 的根源，而且，根据我们的经验，即便你用大 size 的模型依然如此，这不是模型理解能力问题，而是训练动力源问题——简单的就是容易学。

这里最难的不是「知道怎么做」，而是「哪些是捷径」。论文给了一些类似：长度、格式、排版、顺从、迎合、语气等，但这些不一定符合所有场景。另外，即使 GRM 也只能说缓解而不是根治，难道 GRM 就不能利用这些「捷径」？而且 GRM 这个标注可比 pair 对难多了，成本也高多了。你多个维度，多人标注，这本身就更加复杂。

Reward is Enough

刚刚的 hack 咱们先 hold 住。来看这篇早几年前来自 DeepMind 的《2110 Reward is enough - ScienceDirect[3]》，这是一篇很“大”的文章：认为强化学习智能体足以成为通用人工智能的解决方案；但它又是一个落脚很“小”的文章：智能及其所有能力——知识、感知、语言、泛化——都可以理解为对 reward 最大化的服务。也就是说，本文认为「最大化奖励」足以驱动表现出自然智能和人工智能中所研究的多数乃至全部能力的行为。

这里的正向例子就是 AlphaZero，只用单一目标：最大化一个奖励信号，最终带来了对每种能力的更深理解。而且还催生了一系列此前未能得到令人满意形式化的更广泛能力——例如影响力与势力、厚势与薄势、攻击与防御之间的平衡。另外，AlphaZero 直接抛弃了人类棋谱，输入状态和规则，self play。

据此，文章认为，在更丰富的环境中——其复杂度更接近动物和人类所面临的自然世界——最大化奖励也可能会催生更多、乃至最终涵盖所有与智能相关的能力。也就是说，追求一个目标可能会产生表现出与智能相关的多种能力的复杂行为。以动物为例，生存是其最重要的目标，自然而然会进化出一系列智能表现：判断形势（认知）、做出行动抉择（能力）。

形式化一点，智能体是一个在时刻 tt 接收观测 OtO_t 并输出动作 AtA_t 的系统，它根据与环境交互历史中已发生的观测和动作序列，在时刻 tt 选择动作 AtA_t。智能体与环境系统均实时运行，当智能体耗费时间计算其下一步动作时（例如在决定是否逃离狮子时输出空操作），环境系统仍在持续运作（例如狮子发起攻击）。强化学习通过累积奖励来表示目标，奖励是由环境中的奖励信号在每个时间步 tt 发射出的一个特殊的标量观测值 RtR_t，它提供对达成目标的进度的瞬时度量。

多种多样的目标都可以通过奖励来表示，比如一个标量奖励信号可以表示目标的加权组合。奖励也可以由人来确定，比如人类可以提供对期望行为的显式强化。奖励还可以在朝向目标的进度上提供中间反馈，可以在每个时间步都提供。在考虑长期的或无限的经验流时，这种中间信号对学习是至关重要的。

文章大篇幅论证了「奖励就够了」，包括：

  • 知识和学习。智能体会在必要时具备先天知识（进化、设计），并习得后天知识。
  • 引发感知。需要多种感知能力才能获得回报，认为感知实际上可能就是为了最大化奖励而存在。
  • 提升社交。社会智能可以被理解为一种机制，即通过在一个包含其他智能体的环境中，以某个智能体的视角来最大化累积奖励。
  • 语言学习。语言能力的全面发挥，包括更广泛的技能，都是源于对奖励的追求。
  • 进行泛化。泛化可以被理解为：在代理与单一复杂环境之间持续互动的过程中，通过最大化累积奖励来实现。
  • 激励模仿。模仿有助于快速习得其他能力，这种更广泛的学习能力可能是由奖励最大化所驱动的。

所以，怎么构建一个最大化奖励的智能体？文章认为，可以考虑那些能够学会「如何从与环境互动的过程中最大化奖励」的智能体。最大化奖励的设计目标是通过「持续从经验中学习」，从而找到能够最大化未来奖励的行为来实现的。 一个优秀的强化学习智能体在学习如何在一个具有持续价值的环境中最大化奖励的过程中，可以逐渐培养出感知、语言、社交智能等能力。这里就和我们在《从持续学习到下一代 AI 方向探讨 | 长琴[1]》讨论过的下一代模型关联起来了。

其实，GRPO 可以看作是「Reward is Enough」的一次在结果可验证方向上的实证：binary correctness reward，涌现出 CoT、自我验证、回溯、extended thinking，没有任何一项是被单独设计出来的。不过这里有个隐藏条件，innate knowledge 必须在 trial-and-error 开始之前就具备，对 GRPO 来说就是预训练——语言理解、数学符号、逻辑推理的基础，都在 RL 之前就有了。没有预训练，什么都没有。这个基本已经被验证了，我们之前也专门写过《RL究竟能不能突破Base边界——关于推理能力外推、稳定性与训练条件的系统分析 | 长琴[4]》。这里不是 GRPO 本身能产生智能，而是 reward 对了，它会让能力自然生长；reward 错了，它只会更高效地长出 reward hacking。不过这里的 reward 本来就简单。

Scalar Reward is not Enough

先说明一下，这里的“杠精”不是我；）来自多位专注于强化学习的研究者联名的《2112 Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021)[5]》，标题很直接，就是专门反驳前面 DeepMind（Silver 、Sutton 等人）那篇《Reward is Enough》的。核心观点是：单标量奖励不足以成为实现 AGI 的基石，必须采用多目标/向量奖励机制。他们认为 Silver 等人的错误在于将焦点放在标量奖励的最大化上。而考虑多个相互冲突的目标是自然智能与人工智能力的重要特征，仅通过最大化标量奖励未必能产生或充分应对这种复杂性。下面来看一下具体的理由。

第一，理论与能力局限。

  • 权衡与效用无法标量化。智能体并不具备相同的生理或情感动机，真实世界环境不像围棋这类高度受限的任务，有一个明确界定的目标。现实世界的任务通常都需要在多个相互冲突的目标之间（如效率与安全、利己与合作）做出权衡。简单的加权求和（标量化）无法完美代表非线性的复杂偏好，甚至会导致寻找不到 Pareto 最优解。
  • 缺乏灵活性与泛化能力。标量奖励智能体一旦环境或目标偏好发生改变，就必须重新学习；而多目标（向量）智能体可以学习多策略，从而在目标改变时实现即时适配。
  • 复杂智能要求更高。复杂的社会智能、高级语言沟通及感知本质上都包含多目标的博弈与平衡，单标量很难支持这些高级能力的自然演化。

第二，智能能力的多目标特性。

  • 智能由多目标驱动。从生物演化角度看，虽然在宏观上可能以“繁衍/生存”为导向，但生物体内部的智能系统从来不是由单一标量驱动的。动物和人类的脑机制、神经递质（如多巴胺、血清素、催产素）以及心理需求（如饥饿、口渴、避痛、社交）都是多元且独立的系统，需要通过复杂的机制在不同情境下进行动态平衡。
  • 多目标更容易设计。直接指定多目标奖励通常比设计一个能涵盖所有相关因子的标量奖励要容易得多。如果能够为智能体设计多目标奖励结构，这比要求它们自行识别此类结构更为合理。

第三，AI 安全与伦理风险。

  • 回形针事件。单标量奖励极大化极易引发失控风险——智能体会为了极致追求某一个标量数值，做出不择手段、违背伦理或破坏环境的行为。
  • 伦理与人类价值。要确保 AGI 安全与可控，需要多目标约束，如将安全、道德、利益相关者偏好等显式列入向量目标或满意度机制。

有意思的是，Sutton 和 Silver 在 2025 年《Welcome to the Era of Experience[6]》（主张 AI 从「人类数据时代」跨入「经验时代」）中依然坚持之前的主张，针对“追求单一的奖励信号表面上似乎无法满足将通用人工智能可靠地引导至任意用户期望行为的要求”的问题，他们提出可以「基于 grounded signals（现实信号），以用户引导的方式灵活地调整奖励函数」。

举个例子，用户可能提出一个比较宽泛的目标：“改善我的身体素质”，奖励函数就可以输出一个由用户心率、睡眠时长和步数共同决定的奖励。进一步，用户还可以在学习过程中持续提供反馈，例如表达自己的满意程度，这些反馈可以用于进一步微调奖励函数。

随着时间推移，奖励函数本身也可以不断自适应，以改进其选择或组合信号的方式，并识别和纠正任何错配。这也可以被理解为一个双层优化过程：在顶层优化用户反馈这一目标，在底层优化来自环境的基于现实的信号。通过这种方式，少量的人类数据就可能促进大量的自主学习。

其实，我自己感觉来看，如果不把标的放在「标量奖励」这个点上看，二者的观点其实没有那么大的冲突，甚至可以说是相对统一的。反驳者的核心是真实世界的复杂度和建模难度，原观点应该也是认同这个复杂度，但是想通过一个简单的奖励让系统自主进化。这里可能的真分歧是「目标」，多目标自然是多个目标，但也未必不能写成一个综合目标。我只能说，Sutton 和 Silver 可能更理论化建模一些，实际落地时可能更偏反驳者一些，但其实都有其道理。这背后归根结底还是真实世界的”复杂性“。

Reward is What

到这里，我们可能心底都有个疑惑：「Reward 到底是什么」，尤其对一个复杂系统，什么算 reward？

我想起了自己在 17 年写的随笔，这里列一些观点。

  • 宇宙、世界本身就是一个“选择”与“评价”系统。物竞天择，是一个导向；适者生存，是一种结果。评价→选择，然后才是我们眼中看到的世界。这一道理用在任何领域都是成立的。大到宇宙、地球、人类，小到一家公司、一个人、一件产品。
  • 这一过程看似自然而然，其实是所有涉及到的主体“主观意识”的叠加，这种叠加构成了“评价”，然后做出了选择。所以，可以说，我们自己创造了自己，我们进行“评价”，然后进行“选择”，就此不断迭代。
  • 但是，我们凭什么做出评价？又是凭什么做出选择？我们怎么能保证整体是趋向更好？路边有个老奶奶摔倒了，我选择将她扶起来，我心里觉得高兴，周围人有的觉得我乐于助人，有的觉得我莽，是否会影响我后续的选择。个人如此，大到组织、国家、人类也同样如此。

好，太抽象的不宜多说，就到这里。当时写这些其实是想到是否有一些通用的「规则」，用来做强化。其实是有一些的，比如「最省力法则」，梯度下降是最省力、贪心也是最省力。再比如生命系统的「最小化惊讶」，最小化预测误差、自然选择、减熵维持有序，对应感知、行动和学习。

回到我们的主题，这里的 reward 不就是”评价“的结果么？所以，「reward 是什么」，其实等价于「如何评价」。评价函数一旦暴露给选择压力，就开始被博弈。考试可以说是最直观的例子了。从这个角度看，reward hack 其实是必然的。而大模型的幻觉是不是也可以从某种意义上看作是一种 reward hack？

OpenAI 的《2509 Why Language Models Hallucinate[7]》认为幻觉仅仅源于二分类中的错误——如果无法将不正确的陈述与事实区分开来，那么模型中的幻觉就会因自然的统计压力而产生。

注意，幻觉并不是预训练中数据有错误，文章揭示，即使训练数据完全无误，语言模型训练过程中所优化的目标仍会导致错误的产生。Loss 是目前预训练的关键指标，可以看作是 policy 的 reward，loss 小显然不等于事实，但训练目标是 loss 小。

另外，从后训练角度看，所有的 benchmark 几乎都是 binary 指标，在这种评分规则（reward）下，承认不确定永远不是最优策略，在此情况下模型的选择几乎一定是”笃定“某个答案。文章给出的方案是在prompt 里嵌入置信度阈值，”只有当你 >t 置信时才回答；错误答案扣 t/(1−t) 分，正确答案得 1 分“，把「承认不确定」变成策略上的最优解。

不管怎么说，大模型归根结底是一个“统计模型”——统计模型本身没问题，已经被大量证据证实能有效预测，但谁也没法保证一个 100% 确定的系统和算法。

也许，这个世界本来就是不确定的，即使人类天生偏好确定性——我们对世界的认识就是贝叶斯式的，只能不断地扩展自己的知识和经验来后验地增加信念。

身处在复杂的世界（环境）中，不确定性就更强，也许根本就没有确定的评价标准，reward 本来就是动态的，本来就是严重上下文依赖的，本来就是内部矛盾的。

但我们训练模型需要一个 RM，一个可学习的标量映射，这件事本身就是一种「有损压缩」，而且永远有损。所以，暂时也就不要期望大模型拥有稳定、忠实、可泛化的“自我知识状态”，顶多说它已有一定程度的“认知不确定性”，也表现出了弱元认知。

Reward is Hard

我们可以说，现在的 reward 设计大多叠加了几个刻意假设：

  • 偏好可以标量化。实际上是向量，安全/有用/诚实/风格不可通约，强行加权就是隐含的价值判断。
  • 偏好跨上下文稳定。即便同一人同一问题不同场景都会给出不同答案，更不用说不同人了。这不是噪声，是偏好本身的结构。
  • 偏好可从表达推断。观察到的其实只是“表达偏好”，并不是“真实偏好”，这之间有认知偏差、框架效应、疲劳效应等，更不用说，人有时候自己都不知道自己啥偏好。

这里的问题不仅仅是「怎么量的很准」，而是「能不能量」这个问题都还没有想清楚，甚至都没怎么想过。所以，为啥大模型突然转向了 coding 任务，这不是选择，而是结果。建模是 AGI，实际是做任务。

说了这么多，那有没有一个好的 reward 设计思路呢？我们不妨开开脑洞。最简单的思路——分层，大的思路：

  • 不变量层：逻辑一致、事实准确、不自相矛盾——这是约束，不是奖励，应硬编码。
  • 偏好层：真正依赖上下文、依赖个体、动态变化的部分——这层也许根本不应该用标量表达，而应该是可更新的信念分布。

这里的根本思想是：「把 reward 当 prior，而不是 ground truth」，把「怎么设计完美 reward」变成「怎么设计一个能快速发现自己哪里损失了、并且能修正的机制」。

最后，我们再回到开头的 reward hack，现在是不是有了不一样的想法，“三短一长选最长”在某些场景下本来就没毛病，到底是 hack 还是 trick，有时候也很难说的清。真实世界那就更抽象了，hack 和 trick 至少还有迹可循，那运气和命数根本就无法捉摸呀。庄子曰：“吾生也有涯，而知无涯，以有涯随无涯，殆矣。”放在 reward 上，可以说：“Reward is hard，要想设计一个静态完美的 reward，卒也”。

Reference

[1] 从持续学习到下一代 AI 方向探讨 | 长琴: https://yam.gift/2026/08/08/AI/2026-08-08-Next-AI/
[2] 2607 What do Reward Models Memorize?: https://arxiv.org/abs/2607.24484
[3] 2110 Reward is enough - ScienceDirect: https://www.sciencedirect.com/science/article/pii/S0004370221000862
[4] RL究竟能不能突破Base边界——关于推理能力外推、稳定性与训练条件的系统分析 | 长琴: https://yam.gift/2025/12/31/NLP/LLM-Training/2025-12-31-RL-Are-You-OK/
[5] 2112 Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021): https://arxiv.org/abs/2112.15422
[6] Welcome to the Era of Experience: http://incompleteideas.net/papers/TheEraOfExperience.pdf
[7] 2509 Why Language Models Hallucinate: https://arxiv.org/abs/2509.04664