这一结论并非经验归纳，而是经由过程情势化分析给出的须要前提。在办法层面，该研究进一步改变了以往反思与修改仅依附人工提示的做法，将是否进行反思以及在何处进行修改纳入策略空间，使其成为可以经由过程强化进修直接优化的决定计划行动，从而避免了人工提示弗成进修、后果不稳定的问题。
最后，推理生成模块、轨迹断定模块和缺点定位模块并非互相自力，而是共享同一套参数，并在同一强化进修目标下进行结合优化，将是否触发纠错以及在何处纠错都视为策略决定计划的一部分，使模型在练习完成后，即便不显式触发多次修复，其初始生成的推理轨迹质量本身也可以或许获得明显晋升。
这类场景往往请求模型在开放情况中进行多轮搜刮与推理，使搜刮加强推理成为主流范式，同时也裸露出一个核心问题：模型在长链搜刮推理中的掉败，往往不是因为推理才能不足，而是无法有效处理缺点在推理过程中的出现与传播。
在实际义务中，搜刮成果弗成避免地包含噪声，一旦早期某次检索或信息采信出现误差，后续推理就可能在缺点语义空间中赓续自洽，最毕生成看似合理却偏离问题的谜底。然而，现有练习办法平日只根据最终谜底是否精确进行优化，使“有时成功”的轨迹与“搜刮路径靠得住”的轨迹获得雷同反馈，经久来看反而减弱了模型对半途缺点和搜刮质量的束缚。这也是多轮搜刮、多跳推理义务中机能崩溃出现体系性特点的重要原因。
在这一背景下，MBZUAI 、港中文和腾讯混元构成的结合团队提出了《Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration》。
这项工作直指搜刮加强推理中的长链推理信用分派与半途纠错缺掉，经由过程将推理生成、轨迹断定和缺点定位纳入同一的强化进修框架，使练习旌旗灯号可以或许回传至缺点初次产生的地位，从而克制缺点传播。
在智能系一切逐渐从“展示才能”走向“承担负务”的当下，这项研究的意义不在于提出一种更复杂的工程技能，而在于为搜刮型智能体供给了一种更接近真实掉败模式的进修范式：不是假设推理过程天然靠得住，而是承认缺点弗成避免，并让模型在练习中学会与缺点共处、定位并修改它们。
论文地址：https://arxiv.org/pdf/2602.03647
完全闭环，而不是单一技能
在实验成果方面，研究团队发明该办法的优势并不仅表如今整体平均机能的晋升上，而是在义务难度最高、缺点最轻易累积的场景中表示得尤为凸起。
实验评测覆盖了通俗事实型问答义务和多跳推理问答义务两大年夜类，个中前者平日只须要一到两次检索即可完成，而后者必须经历多轮“搜刮—推理—再搜刮”，中心任何一步出现误差都邑在后续推理中被赓续放大年夜。
实验成果注解，该办法在两类义务上均取得稳定晋升，但在多跳推理义务上的晋升幅度明显更大年夜，尤其是在 HotpotQA、2WikiMultiHopQA 和 Bamboogle 等须要多轮检索协同推理的数据集上，相较基线办法带来了数个百分点到十余个百分点不等的精确率晋升，个中在 Bamboogle 数据集上的相对晋升幅度跨越二十个百分点。
这一现象注解，其优势并非来源于更强的参数记忆才能，而是源于对长链推理过程中缺点传播的有效克制。研究人员指出，多跳推理义务的掉败往往并不是因为模型无法生成最终谜底，而是因为半途某一次搜刮引入了缺点或无关信息，使推理偏向产生偏移，之后即便持续搜刮和推理，也只能在缺点语义空间中反复迭代，这个办法恰是针对这一掉败模式进行设计，是以在此类义务中的优势被明显放大年夜。
这一比较注解，该办法的机能晋升并非来自“多试几回总能蒙对”的概率收益，其关键不在于整体轨迹质量分布的上限，而在于是否可以或许精确辨认缺点初次出现的地位并进行针对性处理。拒绝采样在生成掉败后会直接丢弃整条推理轨迹并从新生成，而该方轨则认为掉败轨迹的前半部分往往仍然是精确且有价值的，真正导致掉败的平日是某一次具体的搜刮步调，此次搜刮所引入的噪声会在后续推理中持续放大年夜，从而使两种策略在长链推理义务中的样本效力产生数量级差别。
为进一步分析机能晋升的来源，研究团队经由过程消融实验体系性地评估了各个构成模块的感化。实验成果显示，在仅引入半途纠错机制而不参加过程嘉奖的情况下，模型在多个数据集上的机能已经出现明显晋升，注解对推理过程中关键缺点进行定位和修复本身就能解决搜刮加强推理中的核心瓶颈。雷峰网("大众,"号：雷峰网)
在此基本上，参加用于衡量搜刮成果信息密度的过程嘉奖后，模型机能进一步晋升，说明显式区分高质量搜刮与低质量搜刮可以或许为练习过程供给加倍稳定的优化偏向。
以前几年，大年夜说话模型的才能晋升重要依附参数和数据范围的扩大。但当模型慢慢被用于研究助理、网页搜刮和复杂决定计划支撑等真实义务时，这条路径开端显露界线。
最终，在对推理生成模块与纠错模块进行结合优化的完全设置下，模型在所有评测数据集上均取得最优成果，这注解纠错才能并非静态规矩，而是一种须要在练习过程中被慢慢进修和内化的行动策略。
整体来看，该办法的机能晋升并非来源于单一技能或额外计算量的堆叠，而是由半途纠错、搜刮质量建模和结合优化合营构成的完全机制所带来的成果。
把纠错本身纳入策略空间
在实验办法设计方面，研究团队起首指出，仅依附最终谜底是否精确作为强化进修的嘉奖旌旗灯号，在搜刮加强推理义务中会体系性掉效。
研究人员分析认为，在此类义务中，模型实际上须要持续做出多标准决定计划，包含是否提议搜刮、搜刮的具体内容、搜刮产生的机会，以及在获得检索成果后是否应当信赖并应用这些信息。
然而传统强化进修只供给“最终答对或答错”的单一反馈旌旗灯号，无法区分这些中心决定计划的质量差别，从而导致依附命运运限在最后阶段拼凑出精确谜底的推理轨迹，与逻辑构造严密、搜刮路径合理的轨迹获得完全雷同的嘉奖。
经久练习后，模型会逐渐学到搜刮行动可以随便展开、早期缺点不会受到本质性处罚，只要最终谜底可以或许生成即可，这恰是现有搜刮加强办法在长链推理义务中轻易产生机能崩溃的根来源基本因。
随后，引入的纠错模块起首对整条推理轨迹进行断定，其存眷重点并非最终谜底是否精确，而是推理过程是否仍然环绕原始问题展开，是否出现明显的实体偏移、主题漂移或证据错位等现象。这一断定决定了轨迹是否值得持续修复，若标准过于宽松，缺点轨迹会被放过，若过于严格，则高质量轨迹会被反复打断，是以这一接收与拒绝之间的均衡并非人工设定，而是经由过程强化进修过程主动习得。
研究团队经由过程引入轨迹筛选、缺点定位和受控纠错三种机制，将本来难以处理的信用分派问题拆解为可操作的进修目标，并在理论分析中证实，只有当模型可以或许区分哪些轨迹值得保存、可以或许定位导致推理偏离的关键缺点地位，并在练习过程中触发数量恰当的纠错操作时，整体机能才会稳定晋升。
基于这一问题，研究团队在办法中对不合功能进行了明白分工。个中，推理生成模块负责像惯例搜刮加强办法一样，完全生成一条包含推理与搜刮行动的轨迹，该模块被许可在生成过程中犯错甚至进行摸索，不承担半途自检或修复的职责。
当轨迹被剖断为须要修复时，体系进一步定位推理过程中第一次产生本质性偏离的地位，即具体是哪一次搜刮或推理操作将体系带离了精确的推理空间。雷峰网
一旦该地位被辨认，体系会完全保存此前已经生成的推理前缀，丢弃厥后的内容，并从该点从新生成后续推理，从而避免浪费已有的精确推理信息，同时使嘉奖旌旗灯号可以或许精确回传至缺点产生的地位，促使模型逐渐学会哪些搜刮缺点最具破坏性并应当被避免。研究人员在理论分析中将这一缺点定位才能情势化为修剪才能，并证实其是整体机能晋升的须要前提。
在与拒绝采样策略的比较实验中，研究团队进一步进步了基线办法的采样预算，将每个问题的采样次数晋升至本来的两倍甚至更多，但实验成果显示，即便在这种前提下，基线办法的整体机能仍然低于该办法在较小采样预算下所取得的成果。
为防止模型出现“只修改成果而忽视缺点根源”的投契行动，研究团队在练习过程中进一步引入了过程层面的嘉奖旌旗灯号，用于衡量检索到的证据中有若干是真正支撑最终谜底的信息而非噪声内容，并明白规定该过程嘉奖仅在最终谜底精确的前提下才会生效，从而包管搜刮质量成为杀青精确谜底的须要前提，但不足以零丁驱动优化目标。
一种更切近掉败模式的进修思路
从强化进修的角度来看，这项研究解决的并不是单一模块或练习技能的问题，而是搜刮推理中经久存在的信用分派难题。在长链搜刮推理过程中，模型须要在多个时光标准上持续做出决定计划，而传统办法只能根据最终谜底是否精确进行回报分派，导致无法区分高质量推理轨迹与依附有时性的成功轨迹。
与此同时，这个办法的设计直接针对真实智能体义务中常见的掉败模式，即搜刮成果本身存在噪声、推理过程依附较长的决定计划链条，以及早期一次缺点可能对后续推理产生弗成逆影响。
经由过程在推理过程中显式建模缺点传播并供给半途干涉机制，该研究为搜刮型智能体在复杂义务中的稳定运行供给了一种更具针对性的解决思路。
Search-R2 的研究者们
这篇论文的一作是何博威，今朝在 MBZUAI 的机械进修系担负博士后研究员，合作导师为刘学传授。在此之前，他是喷鼻港城市大年夜学计算机科学系的博士研究生，师从马辰传授，研究偏向包含 Data Mining，Language Model，AI for Science（和清华/喷鼻港城市大年夜学马维英传授团队合作），和 Agentic AI。
他比来重要存眷环绕 AI Agent 的一系列前沿摸索性课题，包含智能体强化进修，智能体记忆，长时程智能体，智能体毕生演变，智能体世界模型，和智能体数据 Scaling Laws 等。
参考链接：https://scholar.google.com/citations?user=1cH0A9cAAAAJ&hl=en&oi=ao
这篇文章的合营一作为 Minda Hu，今朝是喷鼻港中文大年夜学计算机科学与工程系的博士研究生，并在 MISC Lab 从事研究工作，导师为金国庆传授。
他的研究兴趣重要包含数据发掘、机械进修和天然说话处理，并存眷机械进修、社管帐算与天然说话处理等偏向的交叉问题，当前的研究重点在于摸索若何更高效、有效地应用大年夜说话模型，以晋升模型在实际应用处景中的推理才能与整体效能。
参考链接：https://misc-lab.cse.cuhk.edu.hk/sciencex_teams/minda-hu/
除此之外，该项工作获得了麦吉尔大年夜学，喷鼻港城市大年夜学，和爱丁堡大年夜学等多位研究者的介入和供献。而该 paper 标题 Search-R2 还获得了来自 UIUC 和 Google 的 Search-R1 作者团队的官方授权
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复