跟着深度进修技巧在计算机视觉范畴的快速成长，神经收集模型已经在主动驾驶、智能安防、医疗影像分析以及智能终端等关键场景中获得广泛应用。
例如，在主动驾驶体系中，视觉模型须要辨认门路标记和行人；在智能安防体系中，人脸辨认模型被用于身份验证；在医疗影像分析中，深度进修模型可以帮助大夫辨认疾病特点。
然而，近年来的研究赓续注解，这些高机能模型在安然性方面仍然存在明显隐患。个中，对抗样本问题被认为是深度进修体系面对的最重要安然挑衅之一。
例如，经由过程在一张交通标记图像上参加人类几乎无法察觉的渺小扰动，主动驾驶体系可能会把“限速标记”误判为“停止标记”；在人脸辨认体系中，只需在图像中参加细微噪声，就可能使模型将一小我误辨认为另一小我。这些渺小的输入变更却能导致模型产生完全缺点的猜测，这种现象不仅揭示了深度神经收集在决定计划界线上的脆弱性，也对实际体系的安然性提出了严格挑衅。
在浩瀚对抗进击研究偏向中，迁徙进击（Transfer-based Attack）尤为受到存眷。这类进击不须要拜访目标模型的构造、参数或梯度信息，而是经由过程一个可拜访的代理模型生成对抗样本，再应用这些样本进击其他未知模型。这种进击方法在实际场景中更具威逼性，因为实际安排的模型平日处于黑盒情况。
在如许的研究背景下，计算所程学旗团队针对这一问题进行了深刻分析，并在论文《RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning》中提出了一种新的进击办法。
研究团队发明，现有迁徙进击办法生成的对抗样本往往过度依附代理模型中的少量关键参数，从而限制了进击在不合模型之间的泛化才能。为懂得决这一问题，他们在进击过程中引入随机参数剪枝策略，经由过程赓续生成具有不合参数构造的模型变体，使生成的对抗样本可以或许适应加倍多样的模型情况，从而明显晋升进击在不合模型之间的迁徙才能。
论文地址：https://arxiv.org/pdf/2504.18594
进击机能大年夜幅晋升，RaPA 优势明显
从实验成果的角度来看，研究团队提出的进击办法 RaPA（Random Parameter Pruning Attack，随机参数剪枝进击）可以或许明显进步对抗样本在不合模型之间的迁徙进击才能，也就是说，在一个模型上生成的进击样本更轻易欺骗其他模型。雷峰网
实验成果注解，在多半模型组合中，RaPA 的进击成功率均达到最高或接近最高。例如，在卷积神经收集生成进击样本并进击 Transformer 模型的情况下，现有最优办法的平均进击成功率约为 33%，而 RaPA 可以将平均进击成功率晋升到约 45%，解释这种办法可以或许更轻易欺骗构造不合的模型。
在跨模型构造进击义务中，RaPA 的优势加倍明显。卷积神经收集生成进击样本并进击 Transformer 模型被认为是对抗进击中难度较高的场景，因为两类模型在构造和练习方法上差别较大年夜。实验成果注解，当应用 ResNet50 作为进击模型时，平均进击成功率晋升约 11.7%；当应用 DenseNet121 作为进击模型时，平均进击成功率晋升约 17.5%。这些成果注解 RaPA 生成的对抗样本具有更强的通用性和迁徙才能。
此外，研究人员还在多种防御机制存在的情况下测试了 RaPA 的进击后果，包含对抗练习模型、JPEG 紧缩防御、随机化防御、图像降噪防御以及扩散模型防御。实验成果注解，在所有防御前提下 RaPA 的进击成功率仍然最高。例如，在对抗练习模型上，RaPA 的进击成功率约为 88%，明显高于其他进击办法。
研究人员还测试了另一种偏向的迁徙进击，即 Transformer 模型生成进击样本并进击卷积神经收集模型。实验成果显示，在这一场景中 RaPA 的平均进击成功率达到约 51%，同样高于所有比较办法。这一成果解释这种进击办法不仅在跨架构进击义务中有效，在惯例迁徙进击义务中也表示出更好的机能。
研究人员还进一步测试了计算资本变更对进击后果的影响，经由过程增长进击迭代次数以及增长每轮计算次数进行实验。实验成果显示，当计算量增长时，其他进击办法的机能晋升幅度较小，而 RaPA 的机能晋升最为明显。例如在应用 ResNet50 的情况下，进击成功率可以额外晋升约 15.9%。这些成果注解，在更多计算资本支撑下，RaPA 的进击后果可以或许获得进一步加强。
多模型、多办法比较下的实验验证
研究人员开展的实验义务属于目标迁徙进击研究。目标迁徙进击指的是起首选择一个模型作为代理模型，在这个模型上生成对抗样本，然后应用这些对抗样本去进击其他未知模型。与通俗对抗进击不合，这种进击并不是只让模型产生随便率性缺点分类，而是请求模型输出指定的缺点类别。例如一张本来被辨认为狗的图像，在进击之后欲望模型将其辨认为猫，是以这种进击义务比通俗进击加倍艰苦。
实验应用的数据集为 ImageNet-compatible dataset，这个数据集来源于 NIPS 2017 对抗进击比赛。数据集中的图像来自 ImageNet，同时包含真实标签以及目标进击标签，是以既可以或许用于正常分类评估，也可以或许用于目标进击研究，异常合适进行目标迁徙进击实验。
在实验模型方面，研究团队应用了多种不合类型的模型进行测试。起首是卷积神经收集模型，个中包含 VGG16、ResNet18、ResNet50、DenseNet121、MobileNetV2、EfficientNetB0、Inception 系列模型以及 Xception，这些模型都是经典的卷积神经收集构造。
其次是视觉 Transformer 模型，包含 ViT、LeViT、ConViT、Twins 和 PiT，这些模型采取 Transformer 架构进行图像辨认。除此之外，研究人员还测试了 CLIP 模型。CLIP 是一种同时应用图像和文本进行练习的模型，其构造和通俗视觉模型存在较大年夜差别，是以可以用于评估进击办法在不合类型模型之间的迁徙才能。
在实验设置方面，研究人员对进击参数进行了同一控制。实验中对最大年夜扰动强度进行了固定，同时进修步长也保持一致，并且每种进击办法都应用雷同的计算资本。研究人员特别指出，不合进击办法在每一轮计算中可能须要的计算次数并不雷同，是以在实验中同一规定每轮计算次数雷同，从而包管不合办法之间的比较是公平的。
为了验证办法的有效性，研究团队选择了多种当前主流进击办法作为比较基线。第一类是输入变换类办法，例如 DI、RDI、SIA 和 BSR，这些办法经由过程改变输入图像的情势来加强进击后果。第二类是梯度优化类办法，例如 SI 和 MI-FGSM，这类办法经由过程改进梯度计算过程来进步进击成功率。第三类是特点混淆类办法，例如 Admix、CFM 和 FTM，这些办法经由过程混淆不合图像或特点来加强进击样本的迁徙才能。第四类是模型集成类办法，例如 MUP 和 SE-ViT，这些办法经由过程构造多个模型并进行集成来晋升进击后果。
在具体进击流程方面，RaPA 办法起首以原始图像作为初始输入。随后在每一次进击迭代过程中，随机选择一部分模型参数并将其临时封闭，这些参数重要包含全连接层参数以及归一化层参数。经由过程这种方法，原始模型在每一次迭代中都邑产生一个新的模型版本。
接着在同一次迭代中生成多个不合的随机剪枝模型，也就是说，一个原始模型会被扩大为多个构造略有不合的模型。然后应用这些不合模型分别计算进击所需的梯度信息。所有模型获得的梯度会被同一进行平均处理。之后根据平均获得的梯度对图像进行更新，从而生成新的对抗样本。全部过程会赓续反复多次迭代，直到进击过程停止并获得最终的对抗样本。
一种更具通用性的对抗进击策略
她于 2006 年在山东大年夜学获得统计学学士学位，随落后入中国科学院持续深造，并在 2011 年获得概率论与数理统计博士学位，导师为马志明传授。在参加中国科学院之前，她曾在微软亚洲研究院从事研究工作，并担负计算与进修理论研究团队负责人以及理论研究中间结合负责人，积聚了丰富的机械进修理论研究经验。
研究团队在研究过程中发明，现有很多对抗进击办法在生成对抗样本时存在一个重要问题，即生成的进击样本往往过度依附代理模型中的少量关键参数。实验分析注解，当删除这些最重要的参数时，进击成功率会出现明显降低，这解释进击样本在生成过程中对特定参数产生了较强依附。这种依附性会导致进击样本难以适应其他模型构造，从而降低对抗样本在不合模型之间的迁徙才能。
针对这一问题，研究人员提出了一种新的解决思路，即避免让进击过程依附固定的一部分模型参数。为此，研究团队在进击过程中引入随机剪枝策略，经由过程随机樊篱模型中的部分参数，使每一次进击时所应用的模型都邑产生变更。因为每一轮进击都对应不合的模型参数构造，生成的对抗样本须要在赓续变更的模型情况中进行优化，是以进击样本不再依附某些固定参数，而是可以或许适应更多不合的模型情况。
在这种机制下，因为进击过程中模型构造赓续变更，对抗样本在生成时须要同时适应多种模型情势，是以生成的进击样本具有更强的泛化才能，并且更轻易迁徙到其他模型上实现进击。这种办法不仅可以或许有效晋升进击样本的迁徙机能，同时在实现上也比较简单。全部办法不须要从新练习模型，也不须要额外的数据，只须要在进击过程中随机樊篱一部分模型参数即可完成。雷峰网("大众,"号：雷峰网)
此外，研究人员还指出，这种办法可以或许与多种已有进击技巧进行结合应用，例如 Admix、CFM 以及各类输入变换办法。在这些办法的基本上引入随机参数剪枝策略，可以进一步加强进击样本的迁徙才能，从而获得更好的进击后果。
RaPA 背后的科研力量
陈薇，中国科学院计算技巧研究所传授，她经久从事机械进修基本理论与人工智能安然方面的研究，今朝重要研究可托机械进修，欲望使机械进修模型尤其是深度进修模型在练习过程、模型构造和决定计划成果上加倍可解释、可懂得并且可以或许被人类有效控制。
陈薇曾被评为中国科技范畴具有影响力的女性科技人物之一，并被评为中国智能计算范畴立异人物，还入选中国科学院大年夜学的小米青年人才筹划，在学术界具有较高的影响力。
研究人员在 ImageNet 相干数据集上，将这种办法与多种已有进击技巧进行比较，包含 DI、RDI、SI、Admix、SIA、BSR、ODI、CFM 和 FTM，这些办法都是当前晋升对抗进击迁徙性的主流技巧。
参考链接： https://weichen-cas.github.io/
朱胜宇，现任中国科学院计算技巧研究所副研究员，重要从事机械进修、因果揣摸与发明以及信息论等偏向的研究。今朝担负博士研究生导师，开展人工智能基本理论及相干应用研究工作。
在学术研究方面，朱胜宇经久从事机械进修理论、因果揣摸以及分布式进修等偏向的研究，在多个国际重要期刊和会议上揭橥了大年夜量论文。个中在期刊方面，他在信息论、旌旗灯号处理、控制体系以及神经收集等范畴的国际期刊上揭橥了多篇论文。在会议方面，他在机械进修与人工智能范畴的重要会议上揭橥多篇论文，包含人工智能、机械进修以及计算机视觉等偏向的国际会议。
参考链接：https://www.ict.ac.cn/sourcedb/cn/jssrck/202502/t20250207_7525316.html
程学旗，中国科学院计算技巧研究所研究员，智能算法安然全国重点实验室主任，数据科学与大年夜数据分析范畴专家，国度出色青年基金获得者，国度高层次人才，北京学者，CCF 会士，IEEE Fellow。
中国计算机学会大年夜数据专家委员会主任，中国中文信息学会副理事长，经久从事收集数据科学、大年夜数据体系、认知计算、算法安然等偏向研究。在重要学术会议和 IEEE 汇刊上揭橥论文 200 余篇，七次获得本范畴顶级国际学术会议最佳论文奖，谷歌学术引用三万多次，获授权创造专利 143 项。获国度技巧创造二等奖 1 项、国度科技进步二等奖 3 项。
参考链接： https://people.ucas.ac.cn/~cxq?language=en&utm
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复