忆阻器或赋予AI芯片时间感知能力|gpu|弛豫|忆阻器|神经元|神经网络

“你有时间吗？”随着密歇根大学（University of Michigan）最新的忆阻器发现，人工智能芯片可能很快就会注意到事件的顺序。

密歇根大学的一个研究小组利用新的忆阻器技术创建了一个时间感知神经网络。虽然这项技术目前只是在小规模上实现，但其特性可能会导致人工智能的重大范式转变。

封装的1晶体管1-忆阻器（1T1M）芯片，忆阻器阵列的光学显微图像，以及忆阻器的单元结构。图片由Nature提供

与感知器等早期神经网络相比，现代人工智能模型远远超出了简单的模式识别。最新的部署，如 Copilot 或 GPT4，可以生成新的材料。然而，这种性能会消耗相当大的功率。

在神经放松时间中寻找灵感

研究人员研究了人脑中的神经元，以了解他们如何在忆阻器（神经元的硬件模拟）中复制计时。神经元通过一种称为“松弛时间”的东西来编码有关一系列事件何时发生的信息。神经元接收并发送一些电信号。神经元只有在接收到一定的输入信号阈值时才会发送自己的信号，并且必须在一定的时间范围内达到这个阈值。如果时间过长，神经元就会放松并释放电能。人类可以理解事件发生的时间和顺序，因为这些神经元在我们的神经网络中以不同的速率放松。

到目前为止，忆阻器的工作原理与此不同。当一个忆阻器接触到一个信号时，它的电阻会减小，允许更多的下一个信号通过。随着时间的推移，更多的放松会导致更高的电阻。然而，加州大学团队的研究表明，基底材料的变化可以产生不同的弛豫时间，类似于神经元弛豫时间的自然变化，从而使忆阻器具有计时机制。

研究人员挖掘“原子世界的厨房水槽”

使用熵稳定氧化物（ESO），UM 忆阻器表现出随时间变化的弛豫时间，可以在159到278 ns之间进行调节。依赖时间的神经元激活可以在硬件中编程，从而在部署模型时不需要耗电的GPU。

ESO可以通过控制氧化物的比例来调整其弛豫时间，从而在电神经元中实现可编程的时间依赖性。图片由密歇根大学提供

UM小组使用钇、钡、碳和氧（YBCO）衬底开发了这种ESO，该衬底在-292°F以下具有超导特性。该项目的一位研究人员将这种熵稳定的氧化物称为“原子世界的厨房水槽”;也就是说，研究人员添加的元素越多，它就越稳定。

经过训练后，该设备可以识别数字 0 到 9 的声音（在许多情况下甚至在音频输入完成之前），同时与基于 GPU 的系统相比，始终保持更好的运行效率。未来，该团队相信他们可以进一步改进用于制造设备的能源密集型过程。

第一个具有计时行为的忆阻器

在现代神经网络中，GPU 技术完成了大部分训练和识别。GPU 从内存中提取已知权重，将它们用于乘法和累加，并将它们发送回内存。这可以重复任意次数，结果是模型输出。这种方法非常适用于小型模型。随着模型变得越来越先进，内存移动的数量开始凸显冯·诺依曼架构的弱点。许多研究人员和开发人员正在转向内存计算或硬件支持的技术，以加快这种数据传输并降低能耗。

UM小组并不是第一个在人工智能和高级计算中使用忆阻器的团队。以前的许多小组已经探索了用于内存计算的新材料。然而，UM是第一个表现出时间依赖性行为的研究小组，这对于复制人脑的运作方式至关重要。

实现更节能的 AI 芯片

虽然 UM 小组对他们的可调 ESO 能否很快投入商用没有任何误解，但他们的研究标志着向硬件支持的人工智能性能又迈进了一步。