基于梯度扰动探索对抗攻击与对抗样本(2)

上式中第一项ξ 是一个需要经验确定的权重参数，用来平衡攻击的隐蔽性与攻击强度。第一项的最小化意味着需要尽量使样本在模型中的输出不为其对应标签。第二项中的τ 初始化为最大允许的扰动幅度，通常为数据最大变化量的无穷范数的6.25%，每当第二项优化到0时，τ会以0.9x的速度递减。如下图所示逐步更新第二项的意义在于逐渐限制最大允许扰动幅度，从而增强对抗攻击的隐蔽性。

综上所述， C&W算法在继承简单多步迭代攻击的基础之上，改进其目标优化函数，使其逐步收紧对扰动幅度的限制，从而达到减小对抗样本扰动幅度的要求，进而使对抗样本的隐蔽性提升。

4. 基于集成的黑盒攻击算法

在实际的应用场景中，攻击者可能无法获取到AI模型的一些详细信息，例如模型的参数和神经网络的结构，但是攻击者可以利用神经网络模型之间具有迁移特性的特点，采用黑盒攻击算法对目标进行攻击。

基于logits集成的黑盒攻击算法是利用集成学习思路的一种黑盒攻击方法。基于logits集成是通过集成多个模型的logits输出，以生成能够使得多个模型分类错误的对抗样本为目标进行训练，从而使得对抗样本能够对另外的零知识的模型具有黑盒攻击能力。常用的对抗攻击方法是利用单个模型的梯度进行快速生成或者利用logits输出进行优化来找到对抗样本。而基于logits集成是利用多个模型的logits输出，以得到对所有模型都具备攻击能力的对抗样本为目的，即这个对抗样本是所有模型的对抗样本，实现上通过攻击多个模型的集成模型来实现。另外还可以考虑给各个模型赋上权重，权衡不同模型之间的相对重要性，以适用于不同的实际应用场景。集成后的logits表达式如下式所示。

其中表示第k个模型的logits输出,表示第k个模型的logits的权重。模型的损失函数如下：

基于logits集成的思想借鉴了集成学习的思想，从原来的单模型对抗样本目标，升级为多模型集成对抗样本目标。基于logits线性加权集成的结构如下图所示。

这种方法的优点在于，首先在大规模数据集上具有好的迁移能力;其次既可以迁移无目标攻击，也可以对有目标攻击进行迁移，即可以带着目标标签一起迁移。此外，理论表明，基于logits集成的攻击能力明显优于预测集成和损失函数集成的攻击能力。

对抗样本

通过上面介绍了对抗攻击的几种算法，我们可以借助这些对抗攻击算法来生成对抗样本。目前对抗样本应用最多的领域是图像识别方向，攻击者可以利用攻击算法对图像中的像素点进行修改，改变了输入图像之后可以误导AI模型识别系统做出错误的判断。

我们利用FGSM算法对VGG模型进行攻击，生成对抗样本的关键过程如下。

首先我们载入一张火烈鸟的图片，并利用VGG模型进行预测。结果发现VGG模型可以正常识别火烈鸟的图片。

当我们在火烈鸟图片的梯度上升方向上增加一个噪声信号之后，迭代增加400次并限制噪声信号的幅度范围。再次用VGG模型识别图片是发现模型会将火烈鸟识别成鹤。根据FGSM算法的原理对火烈鸟图片进行修改，在原始图像上叠加的噪声就是在限制幅度范围内对图像的梯度进行上升计算。

注意到叠加了噪声信号的对抗样本和原始样本实际上肉看观察不到区别，利用程序绘制出噪声信号也会发现噪声幅度很小几乎可以忽略。但是对于VGG模型而言是别的结果却是完全不同的。随着梯度上升迭代次数的增加，噪声信号越来越大、生成的对抗样本迷惑性越来越强，最终导致VGG模型受到了FGSM算法的攻击。

总结

经过对对抗攻击的调研发现，对抗攻击受到越来越多的研究人员和大众的关注。虽然已经有不少研究提出了许多新颖的攻击算法用于产生对抗样本，但是与攻击对应的防御问题一直没有得到很好地解决。

目前的对抗攻击防御解决方法主要包括对抗学习过程加入对抗样本进行训练，以及引入胶囊网络等集成的方式对攻击方法进行防御。然而这些方法都还不成熟，而且没有形成完整的体系，至于防御效果也不明显。可以说目前还没有一个完善的抵御对抗攻击的模型或者方法产生。因此无论是对抗攻击领域还是防御方法都还存在着很大的发展空间。

【本文是51CTO专栏作者“绿盟科技博客”的原创稿件，转载请通过51CTO联系原作者获取授权】

戳这里，看该作者更多好文

（编辑：ASP站长网）