寻找公共数据中的漏洞以防止AI被篡改

公共数据集是许多AI应用程序的首选资源。它们是免费的，易于访问且易于使用的。微软的COCO和ImageNet是两个主要的提供商，它们使公众可以访问成千上万个带有标签的真实图像来训练AI系统。但是，我们对这些数据集真正了解多少?

当数据科学家使用这些信息时，他们通常会看到各种图像和环境的局限性，但是最近，一个根深蒂固的问题浮出水面。使用公共数据集训练的许多神经网络都使用人眼看不见的决策因素(通常称为黑匣子)-具有统计意义的算法模式，会影响系统的决策过程。这些模式称为非稳健功能，它们提供了可以进行对抗攻击的背景。

对抗性攻击背后的想法是，训练一个神经网络来欺骗另一个神经网络做出错误的决定。这些攻击可以直接嵌入数据内部，甚至可以应用于公共基础设施以混淆AI。华盛顿大学，密歇根大学，石溪大学和加利福尼亚大学伯克利分校的一组研究人员进行了一个这样的例子，他们故意破坏了路牌，以愚弄自动驾驶汽车。

最近的研究强调了另一种攻击手段：对抗性重新编程，它看到将操纵数据包含在数据集中。这导致网络学习未经培训的任务。通过一纸伽玛雷丁F. Elsayed，伊恩·古德费洛和雅舍佐尔-迪克斯坦在细节，这种攻击是如何发生的解释。在他们的示例中，他们操纵在知名公共图像数据集上训练的网络来对数字进行分类，而不是对图像进行分类。在世界上有越来越多的自治应用程序的情况下，其影响是深远的。

由于神经网络需要学习大量数据，因此公司和政府自然会尝试重用现有数据或从供应商那里购买而不是自己购买。但是，想象一下为美国陆军创建的AI应用程序，该应用程序接受了与敌国关系密切的供应商出售的数据的培训。重新编程此数据将允许相反的状态颠覆对其进行训练的任何AI的动作。