研究发现人工智能不懂“不”

参考消息网5月22日报道 据英国《新科学家》周刊网站5月19日报道，蹒跚学步的孩子可能很快就掌握了“不”这个词的含义，但许多人工智能模型却很难做到这一点。当涉及理解包含否定词（如“no”和“not”）的命令时，它们显示出了很高的失败率。

这可能意味着，医疗人工智能模型无法意识到，标记为“肺炎迹象”的X射线片子与标记为“无肺炎迹象”的X射线片子之间存在巨大差异——对于一些病人而言，如果医生在诊断或考虑治疗方案时依赖人工智能助手对图像进行分类，就有可能带来灾难性后果。

如此精密的人工智能模型竟然会在这么基础的问题上犯难，的确有点出人意料。不过，麻省理工学院的库迈勒·哈穆德说：“在某种意义上讲，它们确实都不太擅长于此。”

哈穆德和同事评估了一系列人工智能模型对各种视频和图像（包括医学影像）搭配字幕中否定词的理解程度。他们编译了数千对图像，即其中一张图像包含目标物体，另一张图像则缺少目标物体，然后生成相应的标题来描述物体的存在或不存在，制造了近8万个测试问题。

研究人员测试了视觉语言模型，该模型结合了一些语言理解和图像分析能力。他们专注于10个不同版本的开源CLIP AI模型，它最初是由开放人工智能研究中心（OpenAI）开发的，然后再根据所谓的MIT许可证进行发布，可供任何人使用和开发。除此之外还包括最近出现的第11个模型，即最先进模型之一“AIMV2”。其中两个版本的CLIP接受过专门训练，用以解读医学影像。

在第一个测试中，研究人员要求人工智能模型检索包含某些物体的图像，同时排除其他指定的相关物体——如检索不包含椅子的桌子图片。就是在这一点上，人工智能模型遇到了困难。虽然它们中的大多数在根据给定物体检索图像时的成功率为80%，但当被要求检索缺乏特定物体的图像时，这一比例就下降到了65%或更低。

第二个测试则要求人工智能模型从四个选项中选择最为准确的图像标题。医学影像训练版本的CLIP被要求在根据X射线片子描述病情的两个选项之间做选择。同样，标题选项中不仅包含图像中存在的信息，也包含图像中缺失的信息——例如，一个标题描述为X光显示肺炎征象，另一个标题则声称没有肺炎征象。在这项关系到否定语的任务中，表现最好的模型的准确率仅为40%或更低——尽管对于人类而言这项任务易如反掌。

这些结果显示了视觉语言模型是如何存在确认性偏差的。换句话说，它们忽略了描述中的否定词或排除词，如“no”和“not”，并简单假设它们总是被要求去确认物体的存在。研究人员将于6月11日至15日在田纳西州纳什维尔举行的计算机视觉和模式识别会议上展示他们的发现。

人工智能聊天机器人使用的视觉语言模型和大语言模型均是基于谷歌研究人员最初开发的transformer模型。没有参与此项研究的澳大利亚皇家墨尔本理工大学的卡琳·弗斯普尔说，transformer模型“特别擅长在单词串中捕捉特定背景含义”，但像“not”和“no”这样独立于背景含义的否定词，“可在任何给定句子中的诸多地方出现”。这使得人工智能模型较难完全理解并准确响应包含此类否定词的要求。

“在临床应用中，信息否定至关重要——了解病人存在什么症状和体征，以及确认其没有什么症状和体征，对于准确描述病情和排除某些疾病而言非常重要。”弗斯普尔说。她的研究表明，语言模型常常无法对包含否定词的句子做出正确推论。（编译/文怡）

法国“魔法工具”公司推出的用于运送医疗器械和药物的机器人（美联社）