谈到 GRPO，我们不由自主会想到它的“抛光”特点——在 Base 的基础上做进一步锐化，我们之前在不少文章中都提到过，比如《RL究竟能不能突破Base边界——关于推理能力外推、稳定性与训练条件的系统分析 | 长琴[1]》。为了保持模型的探索性，常见的基本做法就是控制熵，这个方向有一大堆论文研究，我们也写过一点，比如《GRPO“第一背锅侠”Token Level X2：GTPO双“T”傍地走 | 长琴[2]》、《GRPO优化在继续——CISPO和熵 | 长琴[3]》。
今天介绍一个新的思路和方向，比训练中控制更前一步，直接优化 Pass@k，而不是 Pass@1——《2508 Pass@k Training for Adaptively Balancing Exploration and Exploitation of Large Reasoning Models[4]》，来自字节 seed × 人大。至于为什么会突然关注到这个方向，那自然是工作中遇到需要保持多样性的优化问题了。发现这个新方向后感觉还挺有意思，就拿来了解一下。
上次在讨论《从持续学习到下一代 AI 方向探讨 | 长琴[1]》时，我们说到 reward、评价系统，今天就来聊聊这个话题。Reward 对 RL 至关重要，或者说 RL 的目标其实就是 reward。无论是之前的 RL，现在的 RL，还是未来的 RL，都离不开 reward 的设计，可是关于 reward 本身的思考方面的研究却并不多见。本文就通过几篇相关的研究来和大家共同探讨一下。
随着 OPD 不断成熟，现在的做法早已不再是简单的 teacher 蒸馏了，最近看了几篇相关文章，发现一个研究范式转移：从「怎么蒸馏（温度/KL方向/采样策略）」到「蒸馏什么（信号分解与归因）」。具体做法可以用一个简单公式说明：
1 | 有效信号 = f(output_A) − f(output_B) |
A、B 在恰好关心的那一维度不同，其余对齐。这个本质是反事实对比在 token-level 蒸馏上的应用——不学习教师原始输出，而是学习「教师在特定条件变化下的输出差」。简单来说，不是直接学教师，而是学教师在不同情况下的「差异」，类似于学这种「能力」。本文我们就看看它们都是怎么做的，以及会给我们什么启发。
上次提到《当我20天的账单超过4000美元 | 长琴[1]》应该只是众多使用 AI Coding 场景中的一个缩影，本文还是以我自己为例，继续聊聊 AI Coding 以及 AI。
关于重要性采样系数，之前已经介绍过不少了，不过主要方案还是 clip，比如《GRPO“又一背锅侠”：Clip的各种拉扯 | 长琴[1]》中介绍的一系列文章，更进一步的优化是《GRPO优化在继续——CISPO和熵 | 长琴[2]》的 sg 和 特定 token mask，Minimax 后续模型也都用了自家的 CISPO，但是依然没有脱离 clip 和超参数设置。
Clip 有助于训练稳定，这没问题，但它最大的问题是会抑制来自高偏差策略样本的梯度，从而丢失有价值的学习信号。本文我们介绍的 SIS（Selective Importance Sampling）来自论文 Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment (arxiv:2607.04728)[3]（文章图片、公式均来自此论文），在这个方向上再进一步。他们的出发点很简单——将那些 off-policy 的 token 转为 on-policy，自然就不需要 IS 了。具体怎么做的呢？他们将旧策略作为建议分布，执行 token 级别的拒绝测试：被接受的 token 自然就可以看作 on-policy 的，被拒绝的那就保持原来的 IS。
SIS 是即插即用的，仅修改重要性采样系数，而且它还有个正的外部性——提升训练的稳定性。关于稳定性我们在《GRPO“第一背锅侠”Token Level X：DAPO/DrGRPO与GSPO/GMPO的殊途同归 | 长琴[4]》提过，后面又专门写了两篇相关文章：《稳定压倒一切：MoE RL 训推不一致问题及解决策略 | 长琴[5]》、《MoE RL 训练不稳定性再思考：训推不一致，还是采样噪声？ | 长琴[6]》，感兴趣的同学可以进一步阅读。
这里的问题或麻烦可能在于引入一个拒绝测试，不过论文给出了一个近似做法，使整个计算保持较低计算成本。效果和稳定性双全（见下表），值得一试。
关于 Agentic RL 相关的我们之前已经介绍过几篇了：
要说这类任务和普通任务的区别，可能最明显的就是「Step」这一步的处理了。和 LLM 不同，长程 agent 任务（尤其是机器人）经常会有物理意义上的多步，那是真正的 step，而不是多步推理那种多个 token。正是因为这种相对稳定的 step 特性，所以这种类似 “锚点” 的 step 就能给 RL 带来不一样的启示。今天我们就来介绍一个有意思的设计，它通过一个分类器把稀疏的结果奖励转为稠密的过程奖励。
我们在《TRPO深度拆解：为什么做后训练应该读懂TRPO | 长琴[1]》中详细挖了一下 TRPO，开头说到不得不上就是因为看到 FiberPO 了——非常 nice 的文章，又是个人非常喜欢的类型。FiberPO 比较长，本文是系列第一篇，主要介绍 vanishing theorem。
一直对 EmbodiedAI 比较关注，大概是从 2103 A Survey of Embodied AI: From Simulators to Research Tasks[1] 开始，主要是一直对机器人感兴趣，看了《超能陆战队》后就总想自己也搞一个，再加上自己也是搞 AI 算法，关注到这个方向其实是比较自然的。后面陆续出来 RT-2: Vision-Language-Action Models[2]、SayCan: Grounding Language in Robotic Affordances[3]、2303 PaLM-E: An Embodied Multimodal Language Model[4] 等研究（都是 Google 的），不过再往后就基本没怎么关注了。工作忙起来了，事情也多起来了。
不过事情来到 2026 年就不一样了，记得我在 2025 年底跨年夜晚上发了一条朋友圈：“2025是RL、多模态、AI Coding年。2026继续，再补一个Embodied AI”，没几个月过去已经开始应验，现在半年过去简直要暴走。我自认为自己在这个方向还是比较浅薄的，所以准备补一补，多读几篇相关论文，本文就从《2602 Beyond Imitation: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models[5]》开始吧。
最近一阵用 AI 更加频繁了，工作模式、学习模式出现了非常明显的计算机化——大脑=CPU，不停切换时间片，并发处理多线任务。工作上 3-5 个是常态，另外还有 2-3 个学习相关的，还有 1-2 个是其他项目。多管齐下，半个多月就快 3900 美元了——有点顶不住了。
然后最近 AI 非常疯狂啊，表现出超巨大的虹吸效应——所有 AI 相关的领域都在疯狂吸金，其他方向要么加入 AI，要么瑟瑟发抖。感觉 AI 对整个社会的冲击大于历史上任何一次的技术冲击。这件事情本身就非常恐怖，放几年前没有人会相信。
今天这个文章预计会比较散，因为也没有啥具体主题，但最近就是非常想写一点这方面的感受，顺便分享一些自己的心得感受。