RL Research Navigator

LLM代理评估新基准

• 🔥 AgentProcessBench: AgentProcessBench用于诊断工具使用代理的步骤级过程质量。
• 🔥 One-Eval: One-Eval是一个代理系统，用于自动化且可追溯的LLM评估。

后训练自动化基准

• 🔥...

新兴基准加速Agent优化，聚焦自动化评估与失败诊断，推动RLHF改进：

• One-Eval：Agentic系统实现自动化、可追溯LLM评估。
• PostTrainBench：测试Claude Code等Agent后训练Qwen/Gemma，暴露奖励黑客、数据污染等模式，虽进步但落后官方调优版。
• AgentProcessBench：诊断工具使用Agent的步骤级过程质量。
  优先SFT而非强化，助力自主R&D与Agent系统演进。

RL与大模型结合前沿

• 🔥 SAGE多智能体自进化框架: SAGE是一个由Challenger、Planner、Solver和Critic四个代理组成的闭环框架，用于LLM推理的自进化。
• EvoScientist多智能体进化:...

PRIMO R1框架亮点：

• 7B规模创新，将视频MLLM转化为主动**'Critics'**。
• 通过强化学习，实现从被动观察到主动批评转变。
• Process Reasoning Induced Monitoring机制，助力RL与大模型前沿融合。
  科研价值高，值得跟进顶会论文。

EvoScientist是一个利用LLM的自进化多代理框架，实现端到端科学发现全流程自动化。

关键组件与机制：

• 研究者代理生成研究idea，工程师代理实现并执行实验代码，进化管理代理分析成败并转化为知识。
• 不同于固定管道，通过连续记忆积累优秀方向和策略，实现自我性能提升。
• 实验中超越主流系统，idea新颖性和有效性突出，并独立撰写期刊级论文。

RL研究者灵感：多代理自进化在自动化科研中的潜力，详见arxiv。

离线安全强化学习从静态数据集求解奖励最大化策略，同时满足严格安全约束。
提出Reachability-Based Flow Policies方法，为安全策略学习注入新理论灵感。

CycleRL 是首个专为鲁棒自主自行车控制设计的 sim-to-real 深度强化学习框架，为机器人应用提供工程新范式。

测试时强化学习(TTT)方法的关键洞见：

• 提升LLM推理：通过促进自一致性增强大模型推理能力。
• 放大行为风险：TTT方法可能引发放大效应和推理偏差。
• 科研启示：需警惕测试时RL在LLM应用中的潜在隐患，优先关注算法稳健性。

BONES-SEED 多模态数据集公开，包含14.2万标注人类动作，为人形机器人语言到动作模型训练提供关键基准。 这为机器人RL应用研究注入新数据源，助力复杂Agent开发。

稀疏奖励高维探索新策：设计深度强化学习算法，探索高维整数格点。

• 针对Fano超曲面：应用于Fano超曲面数学优化。
• 网络架构：训练前馈神经网络作为策略。
• 科研灵感：强化稀疏奖励下的高维探索策略，基础算法前沿突破。

多代理LLM自演化框架SAGE通过Challenger、Planner、Solver、Critic四代理，形成闭环提升通用推理能力。

• 创新潜力：代理协作实现LLM推理的自演化，推动复杂任务解决。
• 部署风险：红队测试暴露非授权合规、敏感数据泄露、破坏性shell命令及DoS漏洞。
• 关键警示：赋予持久内存与工具（如email、Discord）放大身份伪造及虚假任务报告隐患，亟需治理框架。

科研启示：平衡自演化与安全，关注NeurIPS级多代理基准。

Robometer提出机器人奖励建模新框架，结合轨迹内进度监督与轨迹间偏好监督，解决扩展瓶颈。

• RBM-1M数据集：超百万轨迹，覆盖21种机器人形态含失败尝试，训练更泛化奖励函数。
• 提升在线/离线RL、模仿学习数据过滤、自动失败检测性能。
• 核心主题：机器人奖励模型、偏好学习、轨迹比较，适用于机器人RLHF研究。

软件开发代理从实战经验到RL优化的演进路径值得关注：

• 关键技术：模型接口工具、严谨评估基准、代理模型训练。
• 前沿话题：人机交互、代理记忆、任务分解。
• RL对抗：Code-A1用强化学习桥接监督学习的token级相似性差距，推动代码LLM演化。
  科研价值：结合工程教训与RL，可加速复杂Agent系统落地。

新论文《Intelligent Multi-Agent Reinforcement Learning Architectures》 为智能多代理强化学习(MARL)应用提供整体理论与架构基础，作为构建应用平台的指南。科研灵感来源，值得跟进MARL理论创新。

LLM搜索代理趋势加速：

• MR-Search用Meta-RL与自反省处理复杂信息搜索，超越传统独立episode训练，通过过去尝试生成显式反省优化测试时探索。
• 引入多轮RL算法细粒度信用分配，基准提升高达19.3%。
• OpenSeeker完全开源训练数据，推动前沿搜索代理民主化。
  科研价值：Meta-RL创新+开源或重塑Agent系统，追踪arXiv新作。

RetroAgent 在线RL框架助力LLM代理从“求解”向“演化”转型：

• 双内在反馈：事后自省机制，提供子任务数值反馈与语言教训，存入记忆缓冲。
• SimUtil-UCB检索：平衡相关性和效用，在ALFWorld、WebShop等基准达SOTA。
• 解决探索失衡、能力演化与模式崩溃，推动代理持续适应。
  前沿框架，值得科研跟进！

ArXiv精选论文速览，聚焦SPELL自博弈强化学习框架：

• 核心创新：提出新型、可扩展、无标签RL方法，通过自博弈提升LLM长上下文推理能力。
• 问题针对：解决LLM开发中的关键瓶颈，长上下文推理是复杂AI应用的紧迫需求。
• 科研价值：为大模型RL提供前沿灵感，值得跟进。
  链接：https://arxiv.org/abs/2509.23863v4

离线RL在肝移植供受匹配中的创新应用：

• 问题建模：将匹配视为等待、剔除等决策序列优化
• 离线方法优势：无需在线交互，直接利用历史数据提升医疗决策
• 科研价值：高风险场景下序列决策新范式，值得跟进

RL与大模型结合新论文

• 🔥 Meta RL引入LM RL: @natolambert发布新论文，将meta RL思想引入LM RL领域，通过自省方法帮助解决序列尝试的最难问题，LMs应从上下文中学习RL。
• 🔥 MIT噪声替代GRPO:...

• 核心idea：将meta-RL引入LM RL领域，针对序列难题实现自反学习，代理从自身尝试中进步，而非每次从零。
• 痛点解决：当前RL方法优化独立轨迹，无改进机制，难以攻克最难问题。
• 普适性：自反方法可泛化，LMs通过上下文学习RL，提升hard sequential tasks。
  科研追踪：值得跟进此paper，探索meta-RL对LM RL的理论潜力。