人工智能设计深层神经网络的人通常会在人脑中找到灵感

2020-02-12 15:52:31    来源:    作者:

大脑最重要的特征之一是它是一个“嘈杂的”系统:并非每个神经元都包含完美的信息,这些信息可以完美清晰地通过突触传递。有时,部分或冲突的信息由大脑转变为行动,有时,直到随着时间的推移积累了更多的信息,才对部分信息起作用。

人工智能设计深层神经网络的人通常会在人脑中找到灵感

“这就是为什么当您在不同的时间用相同的输入刺激大脑时,您会得到不同的反应,”五年级博士Mohammad“ Reza” Mahmoodi解释说。加州大学圣塔芭芭拉分校电气和计算机工程教授Dmitri Strukov的实验室候选人。“嘈杂的,不可靠的分子机制是重复刺激相同的刺激而获得实质上不同的神经反应的原因,这反过来又导致了复杂的随机或不可预测的行为。”

Mahmoodi说,人脑非常擅长填补丢失的信息的空白,并通过噪声进行分类以得出准确的结果,因此“进垃圾”并不一定会产生“垃圾”。似乎最适合嘈杂的信息。在随机计算中,噪声用于训练神经网络,将其“规范化”以提高其健壮性和性能。

人工智能设计深层神经网络的人通常会在人脑中找到灵感

Mahmoodi解释说,尚不清楚在什么理论基础上将感知过程中涉及的神经元反应分为“噪声”和“信号”,但是大脑中计算的嘈杂本质激发了随机神经网络的发展。而且,这些已成为解决机器学习,信息理论和统计问题的最先进方法。

Mahmoodi及其合著者Strukov和Mirko Prezioso在一篇论文 中写道:“如果您想要一个随机系统,则必须产生一些噪声。”该 论文描述了创建这种噪声系统的方法。“ 基于高性能的神经计算和neurooptimization非易失性存储器的通用随机点产品线路 ”被发表在最近一期的Nature杂志上通信的问题。

基于随机计算运行的最著名的网络是所谓的“玻尔兹曼”机,它可以解决困难的组合优化问题。这些问题的特征在于,可能存在的解决方案的数量实际上是无限的,但没有一个绝对是最好的解决方案。一个著名的例子就是旅行推销员的问题,即推销员需要穿越美国的每个州来销售产品,但必须通过尽可能短的路径来做到这一点。

由于空间如此之大,并且其中路线的可能组合几乎是无限的,因此不存在明确的最佳,完美解决方案。不过,马哈茂迪指出:“您可以使用神经网络和启发式算法来找到一种半优化的解决方案。重要的是您可以在合理的时间内产生良好的响应。”

这可以通过应用一种称为“模拟退火”的算法来简化,该算法受物理学中的结晶过程启发。

“获得晶体结构,”马哈茂迪说,“将固体加热到很高的温度,然后慢慢冷却。如果将其缓慢冷却,所有分子都将找到能量最低的位置,最完美的位置,并且您会得到美丽,完全均匀的晶体。”

在模拟退火中使用了类似的方法。“确实,”马哈茂迪解释说,“当我们开始解决问题时,我们会使用过多的噪声,这与晶体形成中的温度过高类似。结果是神经网络中的计算是随机的或随机的。然后,我们逐渐减少注入的噪声,同时转向确定性或完全可预测的计算,继续进行晶体形成类比称为“降低温度”。此过程提高了网络探索搜索空间的能力,并提供了更好的最终解决方案。”

对于团队来说,最大的问题是他们是否可以建立一个快速,节能且可以在可调温度(噪声)下运行的随机神经网络。大多数人工神经网络有两个共同点:大量的权重,它们本质上是网络在训练中学习的可调参数;以及庞大的计算模块基础,主要执行乘法和加法运算。

因此,构建节能高效的高吞吐量神经网络需要能够在给定区域中存储更多信息的设备以及能够更快地以更高的能源效率执行计算的电路。尽管已经有很多乘法电路以及随机神经元的演示,但是结合了两种功能的有效硬件实现仍然缺失。

在Strukov实验室中,Mahmoodi和其他人正在研究对实现神经网络至关重要的两种主流技术:忆阻器和嵌入式闪存。

人工智能设计深层神经网络的人通常会在人脑中找到灵感

Mahmoodi说:“我们很幸运能够在UCSB制造最先进的模拟忆阻器技术。” “每个忆阻器或闪存单元都很小,可以存储五位以上的数据,而数字存储器(如SRAM)则要大得多,并且只能存储一位。因此,我们使用这些更小,更高效的设备来设计具有模拟和数字电路的混合信号神经网络,因此比纯数字系统要快得多,效率也更高。

他补充说:“实际上,在我们的论文中,我们报告了基于忆阻器或嵌入式闪存的紧凑,快速,节能且可扩展的随机神经网络电路。” “电路的高性能归功于混合信号(数字和模拟)实现,而有效的随机操作是通过利用电路的固有噪声实现的。我们证明,我们的电路可以比CPU更快地有效地解决优化问题,数量级高,并且能效更高。”

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。