青岛大学金明亮、宿杰&NUS葛树志团队：非冯诺依曼柔性神经形态视觉传感器|传感器|宿杰|机器视觉|神经网络|葛树志|金明亮|阵列|青岛大学

欢迎星标果壳硬科技

研究背景

现有的机器视觉在自动驾驶、人脸识别、无人机导航、工业检测、视频监控等方面已经达到了一定水平，但是面对复杂环境，比如高速运动、极端昏暗条件下，其综合性能还有待提高。目前，机器视觉系统面临的挑战有以下三点：

如何采集良好的视觉数据。
硅基半导体技术在跟上摩尔定律方面已经达到了极限，在芯片升级方面存在瓶颈；
处理器与存储器间的信息传输存在缺陷。

人类视觉系统是我们感知系统中最重要的组成部分，它负责感知和处理人体获得的80%以上的信息。面对如此庞大的信息，人类视觉系统表现出低冗余、低功耗、强鲁棒性等优越的性能。这是现有的机器视觉系统无法比拟的。因此，重新审视人类视觉系统，借鉴其感知与处理信息的机制，有助于发展更高性能的机器视觉。在人类视觉系统中，视网膜在功能与结构上的特点可以辅助解决以上问题：

视网膜曲面的结构保证较好的成像效果。若将机器视觉系统中感光模块制作为曲面，可进一步减少算力消耗；
人类神经网络有助于神经网络算法的进一步发展。更优秀的算法可建立性能更高的机器视觉系统；
视网膜作为感知模块的终点与信息处理的起点，仅由一个模块完成了两个模块的工作。若将机器视觉系统中感光模块与预处理模块进行集成，不仅能提升整体集成度，而且也能避免存储器壁(memory wall)的问题。

研究成果

近日，青岛大学金明亮团队、宿杰团队、新加坡国立大学葛树志团队发表综述文章，概述了一类受视网膜启发的具有“感存算一体化”功能的柔性神经形态视觉传感器的制作方式。相关成果以“On Non von Neumann Flexible Neuromorphic Vision Sensors”为题发表在npj Flexible Electronics上。

图人类视觉系统、传统机器视觉系统和神经形态视觉系统的比较

本文从人类视觉系统出发，比较和讨论了人类视觉系统和传统机器视觉系统之间的差异。由于视觉信息的多样性和数据量较大，使用非冯诺伊曼结构的柔性神经形态视觉传感器可以有效地弥补基于冯诺伊曼架构的传统机器视觉系统的局限性。首先，本文讨论了视网膜信息处理机制的模仿方式，并概述了非冯·诺伊曼计算架构的原理和电路实现方法。