推动AI在常识推理方面的最新技术水平

2019-06-28 17:08:21

对于任何事物的最新技术水平,百分之十是相当大的提升。这就是Salesforce研究刚刚为深度学习语言模型的常识推理所取得的成果。

在其论文中,解释自己!利用语言模型进行常识推理,明天在计算语言学协会(ACL)2019年会上展示,Salesforce研究人员揭示了两个重要贡献:CoSE,一个关于常识解释的数据集; 和CAGE,一个用于常识自动生成解释的模型。ZDNe借此机会与两名负责此项工作的Salesforce Research Scientists进行了问答,Nazneen Rajani和Bryan McCann。

创建常识推理数据集

作为提醒,Salesforce研究侧重于问答,作为通过爱因斯坦促进数据访问的一种方式。我们之前已经看到其他Salesforce研究人员如何调查知识图的使用情况。

Rajani和McCann的工作采用了不同的方法,但也建立在之前的一些贡献上。对于一些世界领先的研究人员来说,常识推理是一个开放的问题。例如,构建CAGE的关键因素之一是OpenAI GPT。配音这个语言模型最近打开由伊隆·马斯克的OpenAI来源为“太危险了”在野外被释放可能是过于谨慎。

然而,它是语言模型的最新技术。正如Rajani和McCann指出的那样,这些自然语言处理网络仅限于文本,作为生活在现实世界中的不良替代品。因此,研究人员通过让他们阅读一系列令人难以置信的文本来训练模型,包括所有维基百科,数千本书,以及其他方法,也可以通过查询Google来获得结果。

这些模型使用名为Commonsense Question Answering(CQA)的多项选择测试进行测试,该测试包含需要常识推理才能回答的问题。在典型的深度学习方式中,模型在CQA的一些示例上进行训练,然后在不同的问题集上进行测试。与人类相比,已知这些读得很好的神经网络在这项任务上的表现非常糟糕。

Rajani和McCann创建了一个以CQA为模型的数据集,但除了问题的答案之外,它们还包括解释。这就是他们创建CoSE的方式,CoSE是Commonsense Explanations的数据集。正如Rajani所说,CoSE v1.0有8500个例子,v1.11有10,962个例子,包括训练和验证集。对于深度学习标准,这不是很多数据。

Rajani和McCann承认这一点,并且增加数据集是他们未来工作的目标之一。McCann表示,他们希望将此数据集收集流程扩展到该领域的其他基准,包括自由格式文本,结构化信息和来自图像或视频的视觉信号,以便他们可以训练解释许多不同领域的模型。

使用Mechanical Turk上的众包产生了解释。要求Turkers提供问题的答案,解释答案,并突出引导他们解释问题的部分。让我们注意到,最近使用Mechanical Turk进行知识图表质量处理的研究表明,众包是这类任务的可行解决方案。

拉贾尼提到有一些例子需要重新注释,即使他们对解释的质量有最初的限制,因为他们已经陷入困境。设计任务并收集数据大约需要三周时间。CoSE可以被其他研究人员使用并进一步增强,并且可以在GitHub上获得。