AI技术甚至可以从不平衡的数据集中实现高度精确的学习

2020-02-25 11:49:09    来源:    作者:

富士通实验室有限公司(Fujitsu Laboratories Ltd.)今天宣布开发“广泛学习”,这是一种机器学习技术,即使操作员无法获得培训所必需的数据量,也可以进行准确的判断。现在,通常使用AI来利用各个领域的数据,但是在要分析的数据量较小或不平衡的情况下,AI的准确性可能会受到影响。富士通的广泛学习技术使判断变得比以前更准确,并且即使检查了哪种假设,即使数据不平衡,也可以统一实现学习。它是通过首先提取具有高度重要性的假设来实现这一目标的,该假设是由所有数据项组合构成的大量假设组成的,然后通过基于假设的重叠关系来控制各个假设的影响程度。此外,由于假设被记录为逻辑表达式,因此人类也可以理解判断背后的原因。富士通的新型广泛学习技术甚至允许在医疗保健和市场营销等领域使用AI,因为在这些领域中,做出判断所需的数据非常稀缺,可支持操作并使用AI促进工作流程的自动化。

AI技术甚至可以从不平衡的数据集中实现高度精确的学习

近年来,人工智能技术已开始用于医疗,营销和金融等各个领域。人们越来越期待使用AI决策来支持这些领域的运营和自动化任务。然而,要实现这些技术的潜力仍然面临的挑战之一是数据可能不平衡。具体而言,根据行业的不同,可能难以获得足够的数据来对AI进行判断的目标进行培训。实际上,这使得这些技术中的许多技术无法产生足够准确的结果以供实际使用。此外,AI部署缺乏进展的主要原因是,即使AI提供了足够准确的识别或分类性能,

基于深度学习的 AI技术通常,通过对大量数据(包括要判断的大量目标数据)进行训练来做出高度准确的判断。但是,在现实世界中,很多情况下数据不足,目标数据极少。在这些情况下,当面对未知数据时,人工智能技术很难做出高度准确的判断。此外,基于深度学习的现有AI的机器学习模型是一个黑匣子模型,无法解释AI做出判断背后的原因,从而造成了透明性问题。因此,展望未来,有必要开发新的AI技术,以根据不平衡的数据实现高度准确的判断,并且它也是透明的,以解决社会中的各种问题。

AI技术甚至可以从不平衡的数据集中实现高度精确的学习

考虑到这些挑战,Fujitsu Laboratories现在开发了Wide Learning,这是一种机器学习技术,即使在数据不平衡的情况下也能够做出高度准确的判断。广泛学习技术的功能包括以下两点。

1.创建数据项组合以提取大量假设

该技术将数据项的所有组合模式视为假设,然后根据标签类别的命中率来确定每个假设的重要程度。例如,当分析谁购买某些产品的趋势时,系统会针对未购买商品的人(类别标签)组合来自数据项的各种模式,例如拥有驾照的20-34岁之间的单身女性,然后将这些组合模式作为假设时,分析实际购买商品的数据中有多少次匹配。达到一定水平以上命中率的假设被定义为重要的假设,称为“知识块”。这意味着即使目标数据不足,系统也可以提取所有值得研究的假设,

2.调整知识块的影响程度以建立准确的分类模型

该系统基于多个提取的知识块和目标标签建立分类模型。在该过程中,如果组成知识块的项目与其他知识块的项目频繁重叠,则系统控制它们的影响程度,以减少其对分类模型的影响的权重。这样,即使目标标签或标记为正确的数据不平衡,系统也可以训练能够进行准确分类的模型。例如,在没有购买商品的人占商品购买数据集的绝大多数的情况下,如果在不控制影响程度的情况下对AI进行了训练,则知识块将包括一个人是否具有独立于性别的许可证不会对分类产生太大影响。

富士通实验室对此技术进行了试验,并将其应用于数字营销和医疗保健等领域的数据。在UC Irvine机器学习存储库中使用营销和医疗保健领域的基准数据进行的测试中,与深度学习相比,该技术将准确性提高了约10-20%。它成功地降低了系统忽略可能订阅服务的客户或病情患者的可能性约20%至50%。在营销数据中,测试使用的大约5,000个客户数据条目中,只有约230个用于购买客户,这造成了一组不平衡的情况。这项技术将深度学习分析的结果,从促销中排除的潜在客户数量从120个减少到74个。此外,判断对于在社会中实施该技术也很有用。即使基于新数据的结果确定需要对模型进行校正,也可以进行更适当的修改,因为用户可以理解结果的原因。

AI技术甚至可以从不平衡的数据集中实现高度精确的学习

富士通实验室将继续将该技术应用于需要AI判断背后的推理的任务(例如金融交易和医疗诊断)以及处理低频现象(例如欺诈和设备故障)的任务,以将其商业化。一种新的机器学习技术 在2019财年为富士通有限公司的富士通以人类为中心的AI Zinrai提供支持。富士通实验室还将有效利用这项技术的独特功能进行解释,继续研究和开发主题,例如在为应用该任务的任务中做出判断和决策提供更好的支持,以及整个系统的设计,包括与人的协作。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。