单词可以改变AI程序判断求职者或评估医疗要求的方式

人工智能在理解语言方面取得了长足的进步，但仍然会遭受令人震惊的，潜在的危险的算法近视。

研究表明，解析和分析文本的AI程序如何被精心设计的短语混淆和欺骗。对您来说，直截了当的句子可能具有欺骗AI算法的奇怪能力。

这是因为文本挖掘的AI程序越来越多地出现问题使用来判断应聘者，评估医疗报销，或处理的法律文件。少数单词的战略更改可能会使假新闻逃避AI检测器;挫败寻求内幕交易迹象的AI算法;或从健康保险索赔中触发更高的支出。

“这种攻击非常重要，”麻省理工学院的研究生Di Jin说，他与香港大学和新加坡科学技术研究机构的研究人员一起开发了一种愚弄基于文本的AI程序的技术。金说，如果将这种“对抗性例子”用于金融或医疗保健中的自动化系统，可能会变得尤为有害：“即使这些领域的微小变化也可能造成很多麻烦。”

Jin和他的同事设计了一种称为TextFooler的算法，该算法可以欺骗AI系统而无需更改文本的含义。该算法使用AI来建议应将哪些单词转换为同义词，以使机器傻瓜。

为了欺骗一种旨在判断电影评论的算法，例如，TextFooler更改了该句子：

“在不可能的情况下扮演的角色，与现实完全疏远了。”

这导致算法将评论归类为“正面”，而不是“负面”。该演示突出了关于AI的一个令人不安的事实-它既可以非常聪明，又可以令人惊讶地愚蠢。

研究人员使用几种流行的算法和数据集测试了他们的方法，他们能够将算法的准确性从90%以上降低到10%以下。人们通常认为这些改变的短语具有相同的含义。

机器学习通过发现数据中的细微模式来工作，其中许多是人类无法察觉的。这使得基于机器学习的系统容易遭受奇怪的混乱。例如，图像识别程序可以被看起来完全符合人眼的图像所欺骗。例如，对直升机图像中像素的细微调整可以使程序误以为它在看狗。最具欺骗性的调整可以通过AI进行识别，首先使用与用于训练算法的过程有关的过程。

研究人员仍在探索这种弱点的程度以及潜在的风险。大多数漏洞已在图像和语音识别系统中得到证明。当使用算法在计算机安全和军事系统以及任何有欺骗意图的地方做出关键决策时，使用AI超越AI可能会产生严重的影响。

斯坦福大学以人为本的AI研究所上周发布的一份报告着重指出，对抗性示例可能会欺骗AI算法，这表明这有可能导致税务欺诈。

同时，得益于新的机器学习技术和大量的训练数据，人工智能程序在解析和生成语言方面也变得更加出色。去年，OpenAI演示了一种名为GPT-2的工具，该工具在接受了从网络上提取的大量文本的训练后，能够生成令人信服的新闻报道。基于相同AI改进的其他算法可以比以前更准确地总结或确定一段文本的含义。