你有没有想过,现在的图像识别技术,其实挺笨的?

一架无人机在天上飞,要看清下面是一棵树还是一辆车。一套工业检测系统,要快速判断产品有没有瑕疵。一个摄像头在帮你做面部识别解锁手机——技术在想“看清”的时候,背后其实绕了一大段路。光进到镜头里,先变成电信号,再存起来,再搬来搬去,算来算去,最后才告诉机器:“这是一只猫。”

每一步都在耗电,每一步都在浪费时间。

南京大学缪峰、梁世军团队和新加坡国立大学联手,在8月19日的《自然·传感》杂志上发了一篇论文。他们做了一颗叫“光语芯”的芯片,把上面那套流程彻底推翻了。

打开网易新闻 查看精彩图片

一句话说清楚:光进来,词元直接出去。

以前是怎么干的?

你可以把传统的视觉感知想象成一条流水线:

1 感光:光打到传感器上,变成电信号

2 缓存:数据临时存起来

3 搬运:把数据搬来搬去

4 分块:把图像切成小块

5 嵌入:转成模型能看懂的数字

每一步都要耗电,尤其是“搬运”这一步,是最费电的。

手机上那个摄像头,拍一张照片,背后数据被搬来搬去无数次。手机没电了,很大一部分电就是被这么“搬”没的。

南京大学缪峰教授说得直接:“我们希望在传感器中直接完成词元化,从物理层面绕过这条路径。”

“光语芯”怎么干的?

它把“流水线”砍掉了。

“光语芯”的每一个像素点,都同时干三件事:感光、存储、计算。

光一照进来,信息立刻以电荷形式存好。然后芯片直接在上面算,输出的就是AI模型能直接用的词元。

不需要缓存,不需要搬来搬去,不需要中间商赚差价。

梁世军打了个比方:“我们在芯片上实现了‘光进来,词元直接出去’的物理计算,从根本上消除了数据搬运这个最大的能耗来源。”

这颗芯片从被动的“记录仪”,变成了主动的“语义生成器”。

效果怎么样?

两个数字:

第一,省电。 词元化阶段的能效,比传统方案提升了超过10倍。

第二,准。 基于“光语芯”做的图像识别,准确率达到了87.3%,已经非常接近传统软件的水平了。

省电十倍,精度几乎不降。

它能用在哪儿?

缪峰说,这颗芯片颠覆了“先感光、再缓存、后计算”的老路子。具体能用在哪儿?

机器人:机器人要实时感知环境,但身上带不了大电池。“光语芯”省电,能让机器人工作时间更长。

无人机:低空飞行需要快速避障,延迟高了就撞墙。“光语芯”处理速度快,几乎是零延迟。

智能安防:摄像头要24小时开着,耗电是大问题。“光语芯”功耗极低,可以在没电源的地方长期部署。

还有智能家居、自动驾驶、工业检测——凡是机器需要“看”的地方,都用得上。

缪峰说,这项技术能为后摩尔时代突破边缘AI算力与功耗天花板开辟全新维度。

以前机器看东西,流程是:看→存→搬→算→告诉你是谁。

现在“光语芯”的流程是:看→直接告诉你是谁。

中间那些“存、搬、算”,全砍了。

省电十倍,速度更快,精度几乎不降。这颗芯片不是让机器看得更清楚,是让它看得更聪明、更省事。当机器人、无人机、摄像头都不再为“看清东西”消耗大量电力的时候,很多以前做不到的事情,可能就要变成现实了。

评论区聊聊:你觉得这颗芯片最先会用在什么地方?

信息来源:人民网、科技日报

#芯片##新科技#