美国能源部劳伦斯伯克利国家实验（Lawrence Berkeley National Laboratory ）的科学家开发了一种有趣且应用潜力巨大的新型智能传感器，如同训练有素的搜救犬：它首先“嗅探”出示例样本——比如一种农作物或叶子的光谱特征。然后，它能够在全新的、此前从未见过的环境中寻找指定的目标。
光谱成像工具（即捕捉超出肉眼可见RGB光谱颜色的相机）对于获取物体材料和结构属性的信息至关重要。将其与机器学习相结合，为识别现实世界中的物体特征提供了一条强大的应用方法，这些应用包括半导体制造、污染物追踪和作物监测。
现在，通过将AI算法嵌入相机传感器本身，的研究人员已经消除了长期困扰光谱成像技术性能的数据处理瓶颈。其结果是一个能够快速、高效地识别化学品和表征材料的智能传感器。
“我们的重点是使现有光谱机器视觉技术的速度、分辨率和能效提升两个数量级以上。”领导这项设备研究的Ali Javey表示。Javey是Berkeley Lab的高级教职科学家，同时也是加州大学伯克利分校材料科学与工程教授。这项工作与加州大学洛杉矶分校的Aydogan Ozcan紧密合作完成。
该传感器设计展示了如何将新颖的功能构建到半导体器件本身，以提高其效率和实用性，并开启一类新的AI视觉硬件。
用光构建算法
传统光谱成像技术将传感器和计算模块分离开来。传感器首先捕获一堆图像，每一张对应某种颜色。然后，密集的图像堆栈被发送到数字处理器进行进一步计算，从而产生物体识别结果。
问题就出在这里。
“传感器必须收集并向数字处理器发送比普通相机多得多的数据，大致比普通相机大十到一百倍。”Berkeley Lab材料科学部门博士后、该研究的第一作者Dehui Zhang表示。
因此，传感器和计算机硬件往往不堪重负，使物体识别任务变得极其缓慢且能耗极高。
相反，Berkeley Lab团队开发的传感器在图像捕获——即光电检测——过程中本身就执行AI计算和光谱分析。
“光电检测可以被感知为一种自动的物理计算过程。”Zhang解释道。
当光线照射到传感器时，其强度会自动映射到电流的强度上。由于传感器对光的响应度可以轻松调节，研究人员拥有一个旋钮，用于选择哪些光谱特征被突出显示，哪些被抑制。
因此，传感器被电路读取的电流，就充当了对图像光谱内容的推断。“我们证明了这一计算过程在数学上类似于通常用于数字机器学习的算法。”Zhang说。
这一类比使得将传感器用作机器学习计算机并对入射光本身执行机器学习计算成为可能。
训练机器
任何AI或机器视觉模型首先都需要学习它应该识别什么。这意味着向它“展示”足够多的感兴趣光谱特征的示例——例如，来自真实叶子与人造叶子的红外线图案；或者图像中属于鸟类羽毛而非树皮（颜色相似）的像素——使其能够在未经试过的测试案例中找到这些特征。
在训练步骤中，研究人员向传感器展示了森林环境中彩色鸟类的数十张图像。传感器没有检查每张图像的每个像素，而是“嗅探”了一个随机选择的像素子集，每个像素被标记为属于鸟类或不需要的背景。
外部计算机向传感器发送电信号，命令它“识别鸟类”或“识别背景”，并记录每个命令下传感器的输出。然后，软件确定教导传感器突出鸟类区域同时抑制其他所有内容的最佳命令组合。
在测试步骤中，他们向传感器展示了一张新图像并告诉它找鸟，使用训练期间开发的命令组合。传感器仅对属于鸟类的像素输出正信号。这一结果意味着传感器已经从示例中学习识别目标物体，即使它们属于从未见过的图像。
“对我来说，最令人兴奋的部分是赋予传感器智能的概念。”Javey说。
普通传感器仅仅收集原始环境信息，将智能识别任务留给数字处理器。通过联合设计半导体材料、器件和算法，使传感器能够在不需要数据数字后处理的情况下学习和计算。
但这项技术的应用远不止识别鸟类。使用能够探测可调响应度的中红外光的黑磷光电二极管，研究人员实验性地展示了其他几种有趣的可能性。他们成功识别了半导体样品中的氧化层厚度——制造巨头需要其完美均匀——以及不同植物叶片的水合状态、光学图像中的物体分割，以及培养皿中的透明化学品。
“我也对这种设备未来更广泛应用持乐观态度。”Javey说。未来，智能传感器不仅可以用于光谱机器视觉，还可以用于“其他先进光学传感及更多领域”。
这项工作由美国能源部基础能源科学办公室资助。它获得了能源部微电子能效研究先进技术中心的支持，这是能源部三个微电子科学研究中心之一。
热门跟贴