多模态模型在感知、懂得与生成等方面的才能持续晋升，但其输出中仍广泛存在与客不雅事实不一致的内容，即多模态幻觉现象。
当模型面对信息缺掉、语义含糊或视觉细节复杂的场景时，往往会经由过程揣测进行补全，从而假造并不存在的病灶、物体或情节。这类问题并非偶发掉误，而是偏好优化练习过程中逐渐积聚的构造性误差所致：模型更轻易从数量宏大年夜、差别明显的简单样本中获得进修收益，却对真正艰苦、歧义性强的样本存眷不足，成果是在复杂真实场景中的靠得住性受到限制。
环绕这一问题，上海科技大年夜学信息科学与技巧学院何旭明传授带领团队在论文《DA-DPO: Cost-efficient Difficulty-aware Preference Optimization for Reducing MLLM Hallucinations》中开展了体系研究。这项工作指出，现有偏好优化办法的核心关键不在于数据范围的不足，而在于样本难度分布掉衡。
值得留意的是，DA-DPO 不依附额外人工标注，也无需练习自力的嘉奖模型或引入复杂的强化进修流程，因而具有明显的成本效力。在多项多模态评测基准上，该办法不仅明显降低了幻觉产生频率，同时在很大年夜程度上保持甚至晋升了模型的整体懂得与推理才能。
论文地址：https://arxiv.org/pdf/2601.00623v1
克制幻觉，但不克制才能
最终的实验成果注解，研究团队提出的 DA-DPO 办法在降低多模态大年夜说话模型幻觉现象方面实现了稳定而明显的改进，同时在保持甚至晋升模型综合才能方面也展示出明显优势。
在这些评测中，与原始模型和传统 DPO 办法比拟，DA-DPO 在降低幻觉率和晋升事实一致性两方面均表示出明显晋升。例如，在针对物体幻觉的测试中，模型明显削减了对图像中并不存在物体或属性的臆造描述，尤其在复杂场景和存在遮挡的情况下，DA-DPO 对随便性、想象式答复的克制后果加倍凸起。
同时，在综合才能评估方面，包含 LLaVA-Bench、SeedBench、GQA 和 MME 等基准测试显示，传统 DPO 办法固然可以或许必定程度上克制幻觉，但往往伴随总体推理与懂得才能的降低，比拟之下，DA-DPO 在削减幻觉的同时，可以或许根本保持甚至晋升模型的通用多模态才能，尤其在多轮对话、复杂视觉推理以及多选视觉问答等义务上表示更为稳健。雷峰网("大众,"号：雷峰网)
而 DA-DPO 的练习曲线则显示艰苦样本的嘉奖晋升加倍明显，简单样本的增长趋缓，从而有效缩小不合难度样本之间的嘉奖差距。经由过程对最简单与最艰苦样本嘉奖差距进行积分所获得的 AUG 指标，研究人员定量证实 DA-DPO 在全部练习过程中保持了更小的难易差别，这注解练习权重确切由简单样本向艰苦样本转移，最终转化为对细粒度幻觉的明显克制以及综合才能的稳定保持。
这注解，DA-DPO 并非以保守输出或削减表达为价值来控制幻觉，而是经由过程改进偏好进修机制，使模型在忠诚性与综合才能之间杀青更合理的均衡。
此外，实验还经由过程练习过程中的嘉奖旌旗灯号动态分析进一步揭示了上述成果背后的机制。研究团队将验证集样本按照难度划分为四个等级后发明，在通俗 DPO 练习中，简单样本的嘉奖晋升速度明显快于艰苦样本，并在练习后期形成较大年夜差距。
把权重交给难样本
实验设计环绕一个核心出发点展开：在多模态偏好数据中，大年夜量样本属于简单偏好对，而传统 DPO 在练习过程中更轻易拟合这类易于区分的样本，从而减弱了对艰苦样本的进修力度，导致模型在真实而复杂的应用处景中仍然轻易产生幻觉。
为验证这一断定并提出响应改进筹划，研究团队从模型选择、数据构建、难度估计办法、练习策略以及消融实验五个方面开展了体系而严密的实验构造。
在模型选择方面，研究人员采取了 LLaVA v1.5 7B、LLaVA v1.5 13B 以及 LLaVA-OneVision 7B 等多种具有代表性的多模态大年夜说话模型，覆盖不合参数范围和感知才能，以避免办法仅对特定模型构造有效。
在数据层面，团队并未依附单一偏好数据集，而是综合应用了三类来源不合的数据：BPO 主动构造数据（经由过程弱化图像与注入缺点生成负样本）、VLFeedback 主动偏好数据（由多模型生成答复并经 GPT-4V 评分筛选）以及 LLaVA-RLHF 人工标注数据。跨数据源的实验设计旨在验证样本难度不均衡是偏好数据中的广泛现象，而非个别数据集的有时成果。
在此基本上，实验提出了一种无需额外练习的难度估计机制。研究人员同时引入两类预练习视觉说话模型：以 CLIP 为代表的比较式模型，从图像与文本相关性的角度评估样本，以及以 LLaVA 为代表的生成式模型，从问题与答复语义一致性的角度衡量样本。雷峰网
针对每一对偏好数据，分别计算被选答复与被拒答复的得分，并以分数差值作难堪易程度的根据：差值较大年夜表示样本轻易区分，差值较小则注解样本更为艰苦。随后，研究团队经由过程高斯归一化与分布感知投票策略对两类模型的输出进行融合，使难度估计在稳定性与鲁棒性方面获得兼顾。
最后，从应用层面来看，多模态模型的幻觉问题直接影响其在安然关键义务中的实用性与靠得住性。例如，医疗影像描述中若凭空假造病灶，主动驾驶体系若误判门路要素，或司法帮助体系若揣测事实细节，都可能带来严重后果。
而在练习阶段，团队将难度评分引入 DPO 框架中的 β 参数，使该参数不再固定，而是随样本难度自适应变更，从而形成难度感知练习机制：艰苦样本被付与更高的优化权重，而简单样本的过拟合趋势则受到克制。
为验证办法的真实有效性而非有时现象，研究人员开展了大年夜范围消融实验。例如，他们分别考察仅应用比较式模型、仅应用生成式模型以及两者结合进行难度估计的后果，成果注解结合方法明显优于单一来源，同时还构建了直接删除简单样本的过滤策略进行对比，发明这一做法破坏数据多样性并导致成果波动，而 DA-DPO 的软加权方法则可以或许持续带来稳定晋升。
这篇文章的通信作者是何旭明。他是上海科技大年夜学信息科学与技巧学院的副传授、研究员和博士生导师，同时担负学院副院长和学位委员会主任。
此外，研究团队还经由过程难度分桶练习进一步注解，当练习数据集中以中等难度样本为主时，幻觉克制后果最为明显，从而进一步支撑了如许一个关键不雅点：相较于纯真扩大年夜数据范围，样本难度构造的合理性对模型机能晋升具有更为关键的感化。
从「数据更多」到「难度更准」
为此，团队提出了 DA-DPO 框架，经由过程预练习模型对样本难度进行估计，并在练习过程中动态调剂样本权重，使模型的进修重点自适应地转向复杂且更易掉足的样本，从而缓解简单样本主导练习所带来的偏置。
整体来看，这项研究具有重要的学术意义和实际应用价值。起首，从理论层面看，研究团队经由过程对练习动态、嘉奖变更轨迹以及样本难度分布的体系分析，揭示了一个此前在多模态偏好优化范畴未被充分看重的问题：传统 DPO 固然在情势上实现了偏好对的优化，但在练习过程中存在明显的难度偏置，模型更偏向于进修简单、差别明显的样本，而对语义复杂、区分细微、切近真实应用情境的艰苦样本进修不足。
恰是这种偏置，使得即便在大年夜量偏好数据练习之后，幻觉问题仍然难以获得有效克制。DA-DPO 的提出并非纯真的工程技能，而是将样本难度作为显式身分引入偏好优化目标之中，从根本上重构了偏好进修问题的视角，强调晋升模型对齐才能的关键不在于一味扩大年夜数据范围，而在于合理设计样本难度构造与权重分派。
这一理念对后续研究具有明显启发意义，自适应采样、艰苦样本发掘以及在线难度建模等偏向都可在此基本长进一步成长。
其次，从办法和工程实现角度看，DA-DPO 具有成本低、效力高、可落地性强的特点。该办法不依附新增人工标注，也无需额外练习完全的嘉奖模型，更不须要引入复杂的强化进修流程，而是应用现有预练习模型对样本难度进行评估，并在原有 DPO 框架中参加简洁有效的 β 动态调节机制，即可获得稳定的机能晋升。这种低成本与高收益并存的特点，使其异常合适在工业级多模态体系中安排与推广。
DA-DPO 在不明显减弱模型才能的前提下有效降低幻觉产生频率，从而明显晋升模型在此类高风险范畴中的可托度与安然性。当然，研究团队也指出该办法的局限性：难度评估依附于当前预练习模型的断定才能，当目标范畴与预练习语料存在较大年夜差别时，难度评估可能不敷精确。是以，将来工作有须要摸索范畴自适应的难度估计办法以及自监督式难度建模机制。
总体而言，这项研究不仅供给了一条切实可行的技巧路线，更提出了一个对多模态偏好进修方法产生重要影响的核心不雅点，这也是其最为关键的学术意义地点。
在多模态世界里寻找谜底的人
本文的第一作者是 Longtian Qiu。他是上海科技大年夜学信息科学与技巧学院 PLUS Group 的硕士研究生，师从何旭明传授，今朝攻读人工智能偏向的硕士学位。
本科阶段同样就读于上海科技大年夜学计算机科学专业，Longtian Qiu 的重要研究兴趣涵盖少样本/低样本进修、视觉—说话预练习以及提示进修等范畴，而这些偏向也是当前多模态进修与视觉说话懂得研究中的重要议题。
参考链接：https://faculty.sist.shanghaitech.edu.cn/plus/author/longtian-qiu/
研究人员起首在多个幻觉评测基准上开展了充分实验，包含 AMBER、MMHalBench、Object HalBench 和 POPE 等，这些基准覆盖图像描述、开放式视觉问答以及目标级别幻觉辨认等不合义务类型，所采取的评价指标涵盖幻觉率、覆盖率、F1 分数及一致性得分等多个维度。
他于 2008 年在加拿大年夜多伦多大年夜学获得计算机科学博士学位，随后在加州大年夜学洛杉矶分校（UCLA）从事博士后研究。此后，他先后在澳大年夜利亚国度信息通信技巧研究院（NICTA）和澳大年夜利亚国立大年夜学担负研究员及高等研究员，积聚了丰富的国际科研与合作经验。自 2016 年起参加上海科技大年夜学，并于 2017 年起任副传授，经久在 PLUS Lab 领衔团队开展前沿研究工作。
何旭明传授的研究兴趣重要集中在计算机视觉、机械进修与科学智能等范畴，尤其存眷开放世界场景懂得、多模态数据的懂得与生成、少样本与非均衡数据进修、毕生进修以及新类别发明等具有挑衅性的科学问题。在这些偏向上，他已揭橥一百余篇学术论文，涵盖 Nature Communications、IEEE TPAMI、Nano Letters、NeurIPS、ICLR、CVPR、ICCV 等国际顶级期刊与会议，在学术界产生了广泛影响。
其科研成果被广泛引用，并指导学生多次获得重要学术嘉奖，包含 IEEE CVPR Workshop 最佳论文奖、IEEE FG 最佳学生论文奖及 ICCV OOD-CV 比赛冠军等。除此之外，何旭明传授还曾获上海市优良教授教化成果一等奖，多次担负 ICCV、ECCV、CVPR、NeurIPS 等国际顶级会议的范畴主席，并担负国际期刊 TMLR 副主编，现任上海市智能视觉与影像工程技巧研究中间主任。
参考链接：https://faculty.sist.shanghaitech.edu.cn/faculty/hexm/index.html
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复