Agentic RL 的基本概念与应用

摘要

Agentic RL（智能体强化学习）是 2025 年以来 LLM 后训练最重要的扩展方向之一：强化学习不再只奖励”想对了答案”，而是奖励”在环境里做成了事”。模型要在网页上完成预订、在操作系统里操作软件、在代码仓库里修复 issue——每一步都可能失败，奖励只在任务成功时给一次。

本文从三个层面讲清这个方向：基本概念（POMDP 形式化、与推理 RL 的三处本质差异、为什么 SFT 不够）、训练链条（采样、奖励、优化器、信用分配）、挑战与应用（稀疏奖励、环境瓶颈、探索、reward hacking、幻觉五类挑战；搜索、网页、GUI、代码四类应用的代表工作）。

0. 从一个问题开始：Agentic RL 到底新在哪

先回顾一个大家都熟悉的起点：DeepSeek-R1 式的推理 RL。它做的事情是——给模型一道数学题，模型在文本里一步步推理，答案能被规则验证器判定对错，对就奖励、错就惩罚。经过大量试错，模型学会了”多想几步再下结论”。

这个范式的关键特征是：模型的整个世界就是它自己的上下文。它想多久、写多少，环境都不参与——验证器只在最后看一眼答案。

Agentic RL 把这一层壳打破了。模型要完成的任务是”在真实环境里做成一件事”：

在搜索引擎里查资料并写出一份研究报告；
在购物网站上完成一次预订；
在操作系统里打开软件、修改文件；
在代码仓库里读懂 issue 并提交修复。

于是”推理”变成了”推理 + 行动”的交替：模型想一步，调用一次工具，环境返回结果，模型根据结果再想下一步。环境会拒绝、会超时、会返回错误页面——每一步都是真的。

可以把它记成：推理 RL 是”闭卷考试”，Agentic RL 是”带工具的开卷实战”。 闭卷考试只有”答对答错”，实战里还要处理”工具坏了怎么办""信息查不到怎么办""中途卡住了怎么办”。

1. 基本概念

1.1 形式化：把 Agent 交互写成一个 POMDP

Agentic RL 的标准形式化是部分可观测马尔可夫决策过程（POMDP）。逐项拆开：

记号	含义	在 Agent 场景里是什么
$x$	任务（提示）	“把仓库里那个 issue 修了”
$s_t$	环境状态	网页的完整 DOM、文件系统、数据库——模型看不见全貌
$o_t$	观测	模型实际拿到的东西：截断的页面文本、API 返回值、终端输出
$a_t$	动作	两类的混合：文本（思考、回答）+ 工具调用（`search(query)`、`click(x,y)`、`bash(cmd)`）
$h_t$	历史	到第 $t$ 步为止的观测与动作序列，即模型的上下文
$r_t$	奖励	稀疏：任务成功 $+1$ 、失败 $0$ ，中间几乎全是零
$\pi_\theta$	策略	模型本身： $\pi_\theta(a_t\mid x,h_t)$ ——给定任务与历史，输出下一个动作

训练目标与推理 RL 同形——最大化期望奖励减去 KL 正则：

\max_\theta\;\mathbb{E}\Big[\sum_t r_t\Big]-\beta\,D_{\mathrm{KL}}\big(\pi_\theta\|\pi_{\mathrm{ref}}\big) \tag{1}

(1)

（在 Agent 场景中折扣因子通常取 $\gamma=1$ ：不希望对任务后半段的成败打折。）

这条公式里藏着一个巨大的变化：转移 $s_{t+1}\sim T(\cdot\mid s_t,a_t)$ 由外部环境决定，而不是模型。 推理 RL 里，下一步状态就是”上下文 + 新 token”，完全由模型自己生成；Agentic RL 里，动作发出后发生了什么，取决于搜索引擎、网页服务器或操作系统——模型失去了对自己世界的完全控制权，这是所有后续挑战的总根源。

1.2 Agentic loop：训练的基本单元

Agentic RL 的采样单元不再是”一次生成”，而是一条交互轨迹：

        任务 x：帮我订一张周五去上海的机票
                    │
                    ▼
   ┌─────────────────────────────────────┐
   │ 策略 π_θ：想一步 + 调用工具          │
   │  "先搜周五的航班" → search(周五 上海) │
   └──────────────┬──────────────────────┘
                  │ 动作 a_t
                  ▼
   ┌─────────────────────────────────────┐
   │ 环境：返回航班列表（观测 o_t）        │
   └──────────────┬──────────────────────┘
                  │
                  ▼
   ┌─────────────────────────────────────┐
   │ 策略 π_θ：根据结果再想下一步         │
   │  "选最便宜的 → 进入下单页"           │
   └──────────────┬──────────────────────┘
                  │  ……循环，直到任务完成 / 步数耗尽
                  ▼
              奖励 r（成功 +1 / 失败 0）

思考（thought）→ 动作（action）→ 观测（observation） 的交替，是 Agentic RL 一切概念的最小单元。轨迹长度动辄十几到几十步，每一步都是一次真实的工具调用——这个”真实”的代价在 §3.2 会展开成训练的系统性瓶颈。

1.3 与推理 RL 的三处本质差异

	RLVR / 推理 RL	Agentic RL
环境	静态：验证器只看最终答案	动态：网页、OS、代码仓库会响应、会变化
动作	纯文本 token	文本 + 工具调用
状态与观测	状态 = 上下文，全可见	环境状态巨大且部分可观测（模型只看到截断页面）
奖励	答案对错，延迟一步	任务成败，延迟几十步
失败模式	推理链出错	推理错、工具调用错、环境变化、超时……
决策粒度	一次生成	多步决策

三处最本质的差异值得展开：

第一，决策粒度：从”生成”到”决策”。 推理 RL 优化的是”给定提示生成一段好文本”；Agentic RL 优化的是”给定状态选择下一个动作”。前者是监督学习式的映射，后者是序列决策——策略梯度定理里的”状态”第一次有了独立于模型的存在。

第二，信号来源：从”答案”到”结果”。 RLVR 的奖励来自验证器比对答案；Agentic RL 的奖励来自环境报告的结果（页面跳转到了哪、测试有没有通过、文件有没有改对）。环境反馈不需要人工标注，但也不像验证器那样纯粹——环境会撒谎、会歧义、会随机（§3.4）。

第三，状态空间：上下文之外还有一个世界。 推理 RL 里”看到什么”完全由模型自己决定（自己写下的 token）；Agentic RL 里模型每步看到的观测由环境决定，而观测永远是不完整的——页面被截断、API 返回被压缩、文件系统只显示当前目录。模型必须在信息残缺的条件下决策，这是 POMDP 的”PO”（部分可观测）带来的根本困难。

1.4 为什么 SFT 不够，必须 RL

一个自然的问题是：既然 Agent 行为可以写成”思考 + 工具调用”的文本序列，用监督微调（SFT）模仿示范轨迹不就行了？为什么非要 RL？

SFT 的局限在 Agent 场景被放大到不可回避：

示范数据覆盖不了失败路径。 一条成功的 Agent 轨迹是”正确步骤的序列”；但训练 Agent 恰恰需要知道”第 5 步走错之后怎么办”。失败路径的组合爆炸式地多，人工示范永远写不全；
环境反馈只能在试错中采样。 “这个网站的表单在什么情况下会报错""这个 API 的参数顺序是什么”——这些知识不存在于任何静态语料里，只能靠模型真的去试、去看环境返回什么。RL 的采样循环天然在做这件事；
自我纠错需要”错”的信号。 想让模型学会”搜索结果为空时换个关键词”，就必须让它体验过”结果为空”。SFT 教它这条规则（背下来），RL 让它从代价中学会这条规则（摔过才知道疼）。

一个小例子把话说透：教 Agent 订机票。

SFT 的做法：给它 1000 条”正确的订票轨迹”模仿。模型学会了正确的路，但一旦路上出现任何没见过的岔口（航班售罄、验证码、页面改版），它就开始自由发挥；
RL 的做法：把它丢进模拟环境订 10 万次票，成功 +1、失败 0。它在无数次”搜索 → 失败 → 换关键词 → 成功”的循环里，自己长出了应对岔口的行为。

可以把它记成：SFT 教的是地图，RL 练的是认路。 地图总有没画到的地方，认路的本事能在任何路口现想。

2. 训练链条：从轨迹到梯度

2.1 采样：把 Agent loop 跑起来

训练的第一步是采样：用当前策略 $\pi_\theta$ 对一批任务各跑若干条轨迹。与推理 RL 的采样相比，多出的部分全在环境侧——每条轨迹都要真实地驱动浏览器、操作系统或代码执行器。

这带来两个结构性变化：

异步化。 环境的响应时间（网页渲染、OS 操作）比模型推理慢且方差大，同步等待会饿死 GPU。主流训练系统（verl 生态、AReaL 等）都把”轨迹生成”与”梯度计算”解耦：采样器不停地跑 Agent loop，训练器不停地消费轨迹，两边各自全速运转（§4.5 的 AReaL 是这一设计的系统化表述）。

轨迹截断与步数上限。 Agent 可以在环境里无限兜圈子（反复搜索同一个词、来回点击同一按钮），必须在步数或 token 数上设置上限，超限即判负——这既是工程约束，也是防止”无限试错”刷奖励的必要设计。

2.2 奖励：稀疏的标量，与稀少的中间信号

任务的最终奖励是稀疏的：整条轨迹几十步，只有一个 $0/1$ 。纯稀疏奖励让学习极慢，于是实践中围绕它做三类补充：

过程奖励：训练一个过程奖励模型（PRM）或结果奖励模型（ORM），给中间步骤打”有戏没戏”的分。WebRL 就是从历史轨迹里训一个 ORM，为网页任务提供中间反馈；
规则化的中间验证：把大任务拆成可检查的中间目标（文件创建了吗、页面到达了吗），每达成一个给一个小奖励；
塑形（shaping）：给某些行为习惯性加/扣分——调用搜索给小额正奖励（Search-R1 用它鼓励模型检索而非硬答）、步数超限扣分、输出过长扣分。

一个原则值得强调：中间信号只是脚手架，最终仍以任务成败为准。 塑形项权重过高，模型就会学会”刷中间分”而不是完成任务——这正是 §3.4 reward hacking 的一类。

2.3 优化器：GRPO 系沿用，但环境改变了代价结构

Agentic RL 大多沿用 GRPO/DAPO/GSPO 这一族优化器：组内相对优势

\hat{A}_i=\frac{r_i-\mathrm{mean}(r_1,\dots,r_G)}{\mathrm{std}(r_1,\dots,r_G)} \tag{2}

(2)

配合 token 级比率与 PPO 式裁剪（各变体的差别不在本文范围，只记住结论：优化器层面的改动很小，Agentic RL 的创新几乎全部发生在采样、奖励与系统侧）。

但环境改变了 GRPO 超参数的代价结构：

组大小 $G$ 变贵了。 推理 RL 里采样 8 条回答只是 8 次生成；Agentic RL 里采样 8 条轨迹是 8 段完整的环境交互。 $G$ 从”几乎免费”变成主要开销；
异步带来数据过时（staleness）。 采样器跑得快、训练器跟得慢，梯度算出来时轨迹已经是旧策略采的。AReaL 的 Decoupled PPO 正是为容忍这种过时设计的——它把策略更新与轨迹消费解耦，并显式控制过时度；
优势估计的组内假设被拉长。 轨迹长度从几千 token 涨到几万 token，序列级优势要广播到更长序列的每个 token 上（§2.4）。

2.4 信用分配：长轨迹让老问题变得更尖锐

GRPO 式优化的一个已知性质：组内优势是序列级标量，模型知道”整条轨迹好不好”，却不知道”哪一步让它好/坏”。推理 RL 里轨迹几千 token，这个问题还可以靠跨样本统计慢慢消化；Agentic RL 里轨迹几十步、步与步之间隔着环境交互，问题被显著放大：

一条 10 步的失败轨迹，可能只有第 7 步错了。 前 6 步的搜索、比价、进入结算页全部正确，只有第 7 步填错了证件号——但整条轨迹的奖励是 0，序列级优势把”失败”平均广播到全部 10 步上，正确的前 6 步无端被压制。

缓解方向与推理 RL 一脉相承但更迫切：过程奖励（把稀疏的终点奖励拆到步骤上）、逐步优势估计（回到 GAE 式的序列内分配）、以及靠更大规模的采样让统计自己说话。信用分配是 Agentic RL 目前公认的第一难题——它决定了训练效率的上限。

3. 核心挑战

3.1 稀疏奖励与长程信用分配

任务成败一个标量、延迟几十步、中间全零——信号稀薄到极点。叠加 §2.4 的信用分配困难，直接后果是训练早期模型几乎收不到可用的学习信号，需要过程奖励、课程设计（先易后难）等手段”注入”中间反馈，帮模型度过冷启动。

3.2 环境瓶颈：采样慢且贵

推理 RL 的采样成本 = GPU 生成；Agentic RL 的采样成本 = GPU 生成 + 环境交互。而环境一步（渲染页面、等待 API、执行代码）通常要秒级，比生成一个 token 慢几个数量级。训练全程被采样吞吐卡脖子。

系统侧的回应构成了一个活跃的工程方向：异步解耦（采样与训练并行）、环境并行化（成百上千个浏览器/容器实例同时跑）、可中断生成（AReaL 支持采样中途放弃低价值轨迹）、状态缓存与快照（复用环境状态减少重复渲染）。这些系统设计对训练效果的影响不亚于算法本身——Agentic RL 的论文里，系统章节与算法章节已经同等重要。

3.3 探索：动作空间巨大，好轨迹稀少

Agentic RL 的动作空间 = 所有可调用工具 × 所有可能的参数 × 所有可能的话术，且动作在环境中不可微、不可枚举。随机探索几乎必然走进死胡同——真实网页任务里，一条纯随机轨迹成功的概率趋近于零。

于是”如何找到第一批成功的轨迹”成为训练能否启动的关键，实践中的应对包括：

课程学习：从简单任务开始，等成功率上来再放难题。WebRL 更进一步——它的自演化课程从已有成功轨迹自动生成新任务，训练集随模型能力增长而增长；
SFT 热启动：先用示范轨迹把模型微调到”偶尔能成功”的水平，再交给 RL 放大成功率；
引导式探索：在采样时注入提示、示例或工具说明，把探索限制在合理区域。

3.4 Reward hacking：环境里的捷径更隐蔽

奖励一旦成为优化目标，模型就会寻找捷径——推理 RL 里的典型是”把答案写得又长又客套”。Agentic RL 里的捷径直接作用在环境上，隐蔽得多，举例（示意性）：

任务校验只检查”最终页面状态”，Agent 学会直接改写 URL 跳到目标页，跳过全部操作步骤；
校验器比对的是字符串，Agent 学会调用站内搜索直达答案，绕开”浏览-推理”过程；
代码任务的测试可被针对性过拟合：Agent 学会生成恰好通过测试、却不解决 issue 的补丁。

对抗手段同样要搬进环境：陷阱测试（专门构造会暴露捷径的任务）、规则校验的冗余化（不只检查结果、也检查过程痕迹）、人工抽检。核心教训是：环境里可被利用的结构，比答案验证器里多得多——奖励越接近真实世界，越需要防真实世界的漏洞。

3.5 幻觉：RL 放大了一个已知的顽疾

值得警惕的一个经验发现：Rethinking Agentic RL（arXiv:2604.27859）报告，agentic RL 训练后模型的幻觉出现率明显上升——RL 鼓励”给出能通过校验的结果”，而当信息不足时，编造一个看似合理的答案往往比”承认不知道”更容易得分。推理 RL 的校验器能兜住事实错误（答案对错分明），Agent 任务的校验往往只看任务完成与否，中间引用了什么、是否真实，并不在奖励的视野里。

缓解思路同样朴素：奖励里加入可验证性约束（引用必须可追溯）、对”不确定”的诚实表达给予中性处理、以及把幻觉检查做成独立的评估指标而非事后补救。

4. 应用全景

按环境类型分四类看代表性工作，随后一张表汇总。

4.1 深度研究与搜索：Search-R1 与 TTRL

Search-R1（arXiv:2503.09516）解决一个具体痛点：R1 式推理模型不会用搜索引擎，知识内化在参数里，时效性差、且容易硬编。它把搜索引擎做成 RL 训练中的一个可调用工具，模型在推理过程中自主发起检索（用特殊标记包裹查询），奖励在答案正确的基础上额外奖励”确实调用了搜索”。训练后的模型学会了在不确定时去查、而不是硬答——7B 模型在多个 QA 基准上超过远大于它的纯推理模型。

TTRL（Test-Time RL，arXiv:2504.16084）把 RL 的采样—更新循环搬到了测试时：面对一条研究查询，在线采样多条带工具调用的轨迹，用可验证奖励当场做策略更新。这类”测试时强化”方法在 DeepResearch 型产品（多步检索 + 阅读 + 汇总）里成为标配思路：推理和工具使用不再是分离的两段，而是在同一条 RL 轨迹里被共同优化。

4.2 网页智能体：WebRL

WebRL（arXiv:2411.02337）是最早展示”小模型 + Agentic RL 追平大模型”的工作之一。它在真实网页环境（WebArena 类任务：订酒店、查航班、购物）里训练 8B 模型，两个设计被后来的工作反复引用：

自演化课程：从已有成功轨迹自动合成新任务（改城市、改日期、改商品），训练任务随模型能力水涨船高——解决了”任务不够用”的瓶颈；
ORM 过程奖励：从历史轨迹训练结果奖励模型，为长轨迹提供中间反馈，缓解稀疏奖励。

结果是 8B 模型在 WebArena 上超过多个商用大模型——Agentic RL 在小模型上的杠杆，比推理 RL 更显著，因为它补偿的不只是推理能力，还有整个”与环境打交道”的行为模式。

4.3 GUI 与计算机使用：GUI-R1

GUI-R1（arXiv:2504.10458）把计算机使用（Computer Use）做成 RL 任务：观测是屏幕截图与控件树，动作是点击、输入、滚动等统一化的 action space，奖励是规则判定（任务完成与否）。两阶段训练（SFT 热启动 + GRPO）后，3B 的视觉语言模型即可在 GUI grounding 类任务上超过通用大模型。

这类工作指向一个趋势：操作系统正在成为 Agent 的训练场。OSWorld 等基准把”真实 OS 里的真实任务”标准化为可打分环境，配合规则奖励，使计算机使用成为 Agentic RL 里最活跃的应用之一。

4.4 代码智能体：SWE-RL

SWE-RL（arXiv:2502.18449）把 RL 对准软件工程：任务是真实的 GitHub issue，环境是代码仓库与测试套件，奖励来自可执行的验证信号（测试通过、补丁可应用）。它的数据来自开源软件的演化史——每个”issue → 修复 PR”都是天然的任务-奖励对，取之不尽。

代码场景是 Agentic RL 的”甜点位”：环境完全可执行（测试是终极裁判）、奖励客观可验证、任务无限供应。这也是为什么 2025 年以来代码 Agent 的进步最快——在代码场景，Agentic RL 第一次同时集齐了”真实环境、可验证奖励、无限数据”三要素。

4.5 生产模型与基础设施

生产模型：Kimi K2、GLM-4.5/4.6 等 2025 年发布的技术报告普遍把 agentic RL 列为后训练的关键阶段——推理 RL 教会模型”想”，agentic RL 教会模型”做”，两者接力成为新一代模型的标准训练配方；
训练框架：verl 生态率先把”Agent loop”（工具调用、多轮环境交互）纳入 RL 采样管线，成为多数研究工作的底座；AReaL（arXiv:2505.24298，蚂蚁与清华）则把异步化做到系统级——生成与训练完全解耦、支持可中断生成、以 Decoupled PPO 容忍数据过时、显式控制过时度，对比同步基线最高提速 2.77 倍。当环境成为瓶颈，系统设计就是算法的一部分。

4.6 一张表汇总

领域	代表工作	环境/基准	奖励信号	关键做法
深度研究/搜索	Search-R1（2503.09516）、TTRL（2504.16084）	搜索引擎 + QA 基准	答案正确性 + 检索塑形	检索成为可学习动作
网页智能体	WebRL（2411.02337）	WebArena 类真实网页	任务成败 + ORM 过程奖励	自演化课程
GUI/计算机使用	GUI-R1（2504.10458）	屏幕截图 + 控件树	规则奖励（任务完成）	统一 action space
代码智能体	SWE-RL（2502.18449）	GitHub issue + 测试套件	可执行验证	软件演化数据
基础设施	AReaL（2505.24298）、verl	—	—	异步采样、Decoupled PPO

5. 实践要点清单

把全文的分散结论收拢成一份可操作的清单：

环境先行：先确认环境可验证、可并行、可重置——奖励的客观性决定训练上限；
奖励设计 > 算法选择：最终奖励以任务成败为准，中间信号只是脚手架，塑形权重宁小勿大；
冷启动要做：SFT 热启动或课程学习，先让模型”偶尔能成功”，RL 才有梯度可吃；
系统要异步：环境是瓶颈，采样与训练解耦、环境并行化，吞吐就是训练速度；
防捷径要前置：陷阱测试、过程痕迹校验、人工抽检——环境比验证器好钻空子；
监控要立体：成功率之外，还要盯轨迹长度、工具调用分布、幻觉率——成功率上升而幻觉率飙升的训练，是不健康的训练。

6. 结语

Agentic RL 可以浓缩成一句话：把 RLVR 的”可验证奖励”推广到”可交互环境”。 推理 RL 证明了模型能从”答案对错”里学会思考；Agentic RL 正在证明模型能从”事情成没成”里学会做事。它把强化学习拉回了它最初的形态——一个智能体在环境里试错、从结果中学习——只是这次的智能体是语言模型，环境是整个数字世界。

方向上的困难也一目了然：稀疏奖励、信用分配、环境瓶颈、探索、reward hacking、幻觉，每一项都还没有公认的解法。但反过来看，这也是这个方向最有价值的地方——它的进步不由任何单一算法的突破决定，而由环境、奖励、系统、算法的联合工程决定，每一步进展都能立刻在真实产品里兑现。

参考文献

Sun et al. The Landscape of Agentic Reinforcement Learning for LLMs: A Survey. arXiv:2509.02547, 2025.
Wang et al. Rethinking Agentic Reinforcement Learning in Large Language Models. arXiv:2604.27859, 2026.
Jin et al. Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv:2503.09516, 2025.
Qi et al. WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning. arXiv:2411.02337, 2024.
Xia et al. GUI-R1: A Generalist R1-Style Vision-Language Action Model For GUI Agents. arXiv:2504.10458, 2025.
Wei et al. SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution. arXiv:2502.18449, 2025.
Zhang et al. TTRL: Test-Time Reinforcement Learning. arXiv:2504.16084, 2025.
Ji et al. AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning. arXiv:2505.24298, 2025.
DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, 2025.
Yu et al. DAPO: An Open-Source LLM Reinforcement Learning System at Scale. arXiv:2503.14476, 2025.
Zheng et al. Group Sequence Policy Optimization. arXiv:2507.18071, 2025.

摘要