让机器拥有像生物一样的眼睛。

来源:i黑马(ID:iheima)

采访:马宁浩

作者:夏小舒

01

灵感乍现的上午

2015年12月9日,这个日子他记得很清楚。

那天上午,曹亮(黑马怀柔科技加速实验室成员)真正攻破了三维立体视觉的技术瓶颈。

2015年,国内工业测量相机基本依靠进口品牌,三维图像测量领域仍是空白。正值此时,曹亮接触到了一个三维图像测量需求:检测摩托车发动机连杆。工厂每天要检测的连杆数量多达数千根,全靠人工测量。不仅工作量巨大,还容易出错。

为了寻求解决方法,曹亮与公司的技术人员用了将近一年的时间去探索到底怎么做三维立体的机器视觉成像,尝试了各种方法:激光扫描、结构光三维测量、多角度图像测量……最后,一篇关于平行双目测量原理的硕士论文引起了曹亮的注意,这篇论文提出了一个简单清晰的算法:把倾斜双目改为平行双目。

12月9日上午,面对着屏幕上的两幅平行双目采集图像,曹亮陷入了思考:人眼能依靠双目获得三维图像,那机器的三维也要双目吗?双目可以解决垂直方向的对应关系,那水平方向的匹配关系又如何解决呢?

再加个双目如何?

四目!对,一定是四目!

电光火石,大脑在飞速旋转:双目是在一条线上对齐,只能有一个方向的几何约束,计算三维几何需要至少三个线性方程进行解算,四目又增加了三条对齐线的约束,超定线性方程组,算法简单了!

三目?不美,不同构,不好设计!

机械的三视图代表立体,矩阵相机布置和图像传感器同构!

是的,一定是四目!极致简单的算法!简单的就是最好的!

平面矩阵结构,三维矩阵相机,抓住它了!

当时的他并没有想到,此时的灵感乍现会对他以后的人生产生多么巨大的影响;他更没有想到,今后需要用那么长的时间来证明这项灵感的价值。

在那个灵感乍现的上午后,曹亮拿着四张模拟图像的透明打印纸给周之琪讲矩阵相机的原理和算法。周之琪是清影的董事长,也是曹亮大学的同班同学。当时两个人正在一起创业,公司的名字叫北京福斯达轨道交通技术有限公司,从事铁路图像检测,是清影的前身。

经过十五分钟的演示和讨论后,周之琪说:“我们投600万,用三年时间完成原理验证。做到‘一套相机,一群专利,一个应用。’”。于是两人一拍即合,停掉了福斯达的所有业务,带着原班人马,创立清影,专攻三维立体机器视觉

02

质疑与认可

当时的曹亮和周之琪没有想到,他们的发明后续会引来如此多的质疑。

在思考三维成像原理的过程中,微软研究院的童欣研究员在机器视觉的未来期望中提出的设想给了他们极大启示。童欣提出了三个设想:“everyone”、“everytime”、“everything”,也就是任何操作人员,在任何场景下,对任何物体,都可以提取满意的机器视觉感知效果。

机器视觉的终极目标是什么?将“人眼”作为机器视觉的目标追求,是机器视觉行业的第一性原理吗?那么细分下去,人眼的特点又是什么?机器视觉该如何向人眼学习?机器视觉未来发展的方向和实施步骤是什么?这些是曹亮和周之琪需要回答的问题,也是每一个机器视觉行业的从业者都需要回答的问题。

从平面矩阵相机结构出发,“三维、快速、高精度、被动式、嵌入式、低功耗”是人眼的六项基本特点,目前三维矩阵相机已经基本具备了这六个特点。创业之初,曹亮和周之琪就确立了清影公司的愿景和目标:“让机器拥有生物一样的眼睛”,并把三维矩阵相机原理命名为“通用式三维即时视觉感知技术”。

如同所有雄心壮志的创业者一般,他们认为,一旦捅破三维矩阵相机的这层窗户纸,必然会引起市场的极大反响,紧接着应者如云,创业马上就会成功。

但没想到第一次亮相,却引来不少质疑。

当时他们刚刚做出硬件原型,还没有完成矩阵相机的最终算法。为了尽快获得市场认可,两人通过朋友得到了一次向术界汇报的机会。正值机器学习在业内掀起一波高潮,“通用式”人工智能在学术界引起巨大争议,“通用式”这三个字引起了大部分学者的不适和反感。

因此,“通用式三维即时视觉感知技术”中的“通用式”就显得极为扎眼,被大多数人认为是“骗子”。并引起学术大牛的公开斥责:“曹亮,你就是个骗子!你知道什么叫通用式吗?”

技术原理受到了大牛的质疑,资金方面也得不到投资人的认可。矩阵相机的原理看似简单,是捅破一层“窗户纸”的简单事儿。曹亮能够给周之琪讲明白,能给外行人讲明白,但就是不能跟业内专家和投资人讲明白。

五年前,也曾有投资人看好清影,拉了微软中国研究院的研究员做参考。研究员给出了意见:“曹总,这事你只干了10%,离成的时候远着呢。”于是这笔投资作罢。

还有一个投了地平线的投资人说:“你用四个相机干的事儿,我用一个相机就可以搞定。”回忆至此,曹亮仍有点愤愤,他很无奈:“如果单相机理论是对的,那么全世界一定会出现一个由单眼进化而来的生物。但是全世界至今都没有发现。”

创业6年,清影最不缺的就是质疑,而这只不过是其中很小一部分。一项从原理阶段起步的创业发明,要比其他创业项目面临更多的困难:宣传技术理念、找投资、找用户、做产品,哪个都不轻松。面对质疑和资金困难,曹亮和周之琪选择用事实说话:“双目不行,机器视觉一定是四目的。”

东方不亮西方亮。在学术界备受打击和质疑的三维立体成像技术,却在注重结果的产业界寻得了广泛认同的土壤。

南方电网申请了一个测量电网冰层厚度的科研项目,计划用冰雷达进行测量。当时有一位博士后,带着在国外研究的领先冰雷达技术回国。但没想到,实际测量时冰雷达根本无法发挥作用,科研项目面临着中断的风险。机缘巧合之下,他们通过网络找到了清影。并且自己带了一截电线实物,来现场测试。当时曹亮用矩阵相机,在距离八九米远的地方拍摄测量,电脑显示出来的结果与现场测量的尺寸一模一样。当场他们就决定废除激光雷达的合同,与清影签订合同。

实际上,清影的三维立体机器视觉技术在工业上的应用场景非常多,公司不缺业务。在采访途中,曹亮还接到一个电话,处理测量钢管直径的业务。从前瞻研究院整理的资料也可以得知:目前中国机器视觉行业的市场规模已达121亿,预计2025年将达到246亿。新的需求层出不穷,各相机厂家和业内从业公司产能和业务能力基本处于饱和状态。

需求迥异,不可能全部满足。目前清影面对的挑战之一,就是如何挑选出真正值得投入的、能够批量复制生产的、形成规模的好项目。

得到产业界的认可后,曹亮也着力在学术界填补理论上的空白。清影目前正在和西南交大测绘学院的李志林教授和叶沅鑫教授的团队进行深入合作,计划在全球顶级刊物发表论文,打造全球范围内的学术影响。

两位教授在航空摄影测量专业深耕多年,对三维图像匹配算法有深入的了解。叶沅鑫教授团队采用传统立体匹配方法对比双目和四目算法后,对四目算法的独创性和准确度给予了肯定。

“要是当时我知道行业内双目的先进算法,我可能就不敢这么干了。”在与教授交流后,曹亮最大的感慨就是“后怕”,他评价自己是“无知者无畏”。成也萧何,败也萧何。他认为自己的本科学历是学术背景不足的一大劣势,但其实这才正是他创立清影最大的优势:没有被学术框架限制,从实践出发,直接解决应用问题。

衡量一项技术是否有价值的关键指标,就是看技术能否投入实际应用产生价值。

03

商业化与自证

曹亮和周之琪正在搭建双螺旋。其中,一为商业化,二为资本化。

这个双螺旋如何运转呢?一方面通过商业化获得投资人的认可,推动资本化;从资本化中获取资金后,又可以反过来助推商业化上一个新台阶。两者相互推进,构成一个盘旋上升的双螺旋。

目前,该螺旋的1.0版本已经搭建好了。

清影三维立体机器视觉技术的商业化,主要有两个市场:

一是存量市场,主要是工业测量领域。

二是增量市场,包括无人机和自动驾驶领域。

清影认为,工业测量是机器视觉的传统主战场,可以体现许多优势:除了直接测量物体的外观尺寸外,还能检测物体表面的缺陷和瑕疵;检测的同时还能保留实时图像,实现产品质量的可追溯。

随着技术的发展,工业测量对机器视觉提出了更高的要求。目前机器视觉面临着几个技术瓶颈:无法适应室内外及复杂光照的环境、无法适应多品种小批量的柔性化测量、无法适应移动式测量、无法实现高精度的大型工件和复杂工件测量、无法适应特殊物体和特殊环境的测量。

目前在机器视觉行业,大部分以工厂流水线固定台位、固定产品的二维图像测量为主要技术手段。在简单的室内环境中,产品部件间的距离和流水线上的距离是固定死的,用一个二维单相机就能够解决测量问题。但是一旦跳到室外或者复杂的三维环境中,单相机就无法应对了。

而这些问题,都可以借助清影的被动式三维即时成像技术得到解决。为此,清影在工业测量领域,选择了难度系数最大的项目,作为三维矩阵相机技术示范应用的突破口。

第一个案例是自由锻的锻件测量。

自由锻加工是生产大型锻件的常见方式,而这个过程中对于大型锻件的自动测量,却是一个全球性的技术难题。其面临的技术难点主要有两个:第一,高温红热物体本身就是光源,很难依靠激光等手段进行实时大面积的尺寸测量。第二,工件尺寸大,加工过程中位置不停变动。高热、高振动的特点使得传统图像测量方式难以适配。

为此,清影与北京机电研究所、国家锻造技术中心合作,于2019年8月在武汉重工安装实验,解决了高温高振动条件下,大型红热物体的三维测量问题。项目应用成功后,吸引了各大型重工企业的目光。一重、二重、中信重工、兰石重装等企业纷纷派人参观,后续具体的落地项目也在持续推进。

第二个案例是装配式建筑测量。

装配式建筑测量是与北京建工合作的一个项目。主要是测量装配式墙板构件的标准化生产要素:平面度、对角线、钢筋分布、预埋件位置等。这些如果采用人工测量,不仅工作量大,也不能生成可追溯的影像资料。

而清影的矩阵相机可以克服以上缺点,在构件的生产流水线上进行动态测量,得到标有尺寸数据的三维立体图像。测量方法也非常方便,就是把墙板的CAD设计图和三维图像重叠,对比重合度。找到公共平面后,把满足一定标准的高点和低点标记出来。北京建工对于这套设备的需求量是20套,而全国至少在千套以上。

现在,清影已经在两个领域证明了理论的可行性。但全国的大型锻造厂和建筑机构数量有限,市场的上限比较低。而天花板更高的市场在无人机和自动驾驶领域。

就无人机而言,目前清影的应用场景主要是导线覆冰测量。回到之前清影获得产业界认可的南方电网项目。在这个项目中,清影与南方电网超高压公司曲靖局合作,将无人机与三维矩阵相机结合,于2019年11月完成了首套覆冰厚度测量系统。

清影产品的发展过程,也是一个需求驱动,与客户共创产品的过程。在后续的实际使用过程中,清影会根据客户的使用反馈,不断地对产品进行迭代升级和更新

根据实际应用需求,清影将大疆M600无人机改为新一代M300 RTK无人机,并且采用共享屏幕、电源、数据的方式,实现了自动识别覆冰导线、自动计算覆冰厚度、自动生成覆冰报告的全自动化测量。

M300无人机覆冰自动测量系统,现已被列入南方电网的标准产品采购目录中,将在今年冬天得到广泛应用。

然而,导线覆冰测量只是细分领域的尝试之一。三维矩阵相机既有高精度的优势,又可以继承深度学习技术,再加上无人机的灵活性,无人机三维测量系统的应用场景将得到极大扩展。包括电网的自动巡检、判断故障、校对精度,林业勘测、高铁桥梁巡检、光伏太阳能板测量、智慧城市的三维建模等。

面对诸多应用场景,清影如何解决产品的普适性问题呢?曹亮表示,核心的设计就集中在一个三维算法的芯片盒子上。将算法嵌入在FPGA芯片中,就可以实现本地化高速运算。清影主要解决芯片算法问题,客户可以根据不同需求定制相机的结构外壳。

而这样的芯片盒子,在无人车领域也赋予了清影独特的优势:不必更换无人车已有的高清摄像头和激光雷达,只要加入研发芯片,搭配矩阵结构外壳就可以实现图像视觉的三维立体化。车辆搭载矩阵相机之后,可以自动识别周边道路的状况、判断物体的具体距离,实现对三维环境的实时感知,让机器有一双像人一样的眼睛。

清影的商业模式得到了市场的初步认可,接下来就要构建资本化的螺旋。

目前清影已经获得了俞敏洪旗下江苏敏一智能制造产业基金(以下简称敏一智能)的天使轮投资。敏一智能作为投资方,最关心的问题不是营收,而是矩阵相机的技术原理。最集中的疑问体现在:“为什么不是双目,而非得是四目?”

于是他们请来上海交大的一位教授参考,这位教授巨细无遗地给曹亮列了一份问题清单:从技术路线、四目视觉、仿生学,再到商业化、市场需求、成本、场景应用、团队,面面俱到。

这些问题看似是投资人对曹亮的刁难,实际上却架起一座投资人与企业间的沟通之桥。只有从根本上打消投资人的顾虑,他们才能够真正站到公司身后来,给予支持和帮助。

达成合作后,敏一智能在清影的成长发展中担任了重要角色。它不仅仅是财务投资者,更是战略投资者,在产能上也可以为清影赋能。敏一智能在丹阳的一家公司有数百个加工中心、数千条生产线。清影提供设计图纸后,他们能够用最优、最具性价比的生产方式提供支持。

从资本化中获取了资金,曹亮将用它们继续来助推商业化,搭建双螺旋的2.0版本。

融资后完成,三维检测的需求让曹亮和周之琪应接不暇,烦恼也随之而来:如何用有限的资源打造清影的核心能力?如何从独立而零散的项目需求中,寻找能够快速助推清影发展的核心产品和项目?又该如何进行产品的升级迭代?

为了寻找答案,他们不断讨论改进,综合投资人、技术团队、用户等各方意见。从三个方面确定了清影的发展方向——以无人机和工业三维测量系统为营销目标;以装配式建筑构件测量系统和便携式三维测量终端为产品研发目标:以高速动态三维感知终端与无人驾驶结合为技术研发方向。在用户的需求反馈中完善产品,从产品的功能需求中反馈技术更新,再用技术进步反哺产品升级。进一步满足用户需求,完成产品的更新迭代。

下一步,清影计划与沃尔沃和蔚来开展合作。预计在2022年10月前,产值达到2000万。明年或会启动B轮融资,如果项目进展顺利,计划在2024年上市。

04

结语

“让机器拥有像生物一样的眼睛。”

一进公司,就能看见墙上这句醒目的标语。它是清影成立以来便明确的目标与愿景。在他们看来,生物80%的信息来自于视觉,三维立体视觉技术是未来通用人工智能的入口。

机器拥有了“眼睛”之后,会发生什么?

以餐厅的服务机器人为例,它在送水的时候可以直接提取水杯的颜色、大小、直径。通过这些信息,它就能够“看见”这个水杯,达到精准识别的目的。

与现在用海量数据进行暴力计算的机器学习相比,这种模式可以节省大量的能源,更加省力和环保。如果可以达成,这将是对资源使用的一次革新。

可是想要达到这个目标,清影还面临着诸多挑战:如何通过提取需求的共性进行产品持续的升级迭代、如何扩充团队做好更深的技术研发、如何改善产品形态、拓展更多的应用场景、探索一套更适合清影的商业模式……

不过,就像过去面 对 的质疑一样,这些挑战或也终将烟消云散。

互动话题

大家认为机器视觉的应用场景边界在哪

2022.1.13-1.14

第14届创业家年会邀您云相聚

破解“专精特新”时代的创业与投资机遇

如果说创业是一场人生修炼

黑马营就是向上生长最好的土壤

欢迎加入黑马营“一亿中流”加速计划

点击关注i黑马,加入我们,一起成长。