知情郎一直很关注AI驾驶技术方面的专利。
今天，聊个华为这方面最新公开的专利——交通遇险和路怒症检测方法。
据摘要来看，这项专利提供了一种用于确定车辆驾驶员的交通遇险的系统，包括多个传感器、多个处理器。这套系统通过获得驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统(OBD)估计和GPS估计等数据，执行相应的AI算法，并基于这套算法对驾驶员行为进行分类评估，确定司机为正常状态或异常状态，系统会警告司机要稳当开车。
简单读了专利，很有趣，因为华为的工程师构思了一套技术方案：让车能自动识别路怒症患者。
何谓路怒症患者？
路怒症患者，亦被称之为“激进型驾驶者”，驾驶员的行为表现为十分粗鲁、猖狂，十分草率，极易导致安全事故。
关于什么是激进型驾驶，NHTSA给出的定义是：“一项由驾驶员个人的不当行为所引发的，导致车辆安全事故和人员伤亡的行为。”
一句话总结就是：带着愤怒去开车！
具体行为定义：超速；在错误车道行驶(如非法使用应急车道、无故频繁变道)，过于靠近附近行驶车辆。
事实上，现实生活中许多驾驶员根本没有意识到他们是不是“怒驾者”。
从学术角度讲，路怒症是一种心理障碍，在心理学上他属于应激障碍，它是压力之下的一种情绪反应，与开车者的性格有关，再加上整天置身于日趋激烈的生存环境，如果不善于自我调节，一旦有诱因极易爆发。
驾驶是一项重复枯燥且风险性高的工作，尤其是在连续较长的时间驾驶时候，司机往往处于精神紧张情绪压抑的状态。在遇到红灯或与乘客发生争执，被压抑的情绪极易暴露出来，如果人长期处于路怒状态，会造成情绪失控、抑郁、失眠、食欲不振，使免疫力下降的情况。
知情郎的不少朋友，其实也有路怒症倾向，特别当工作家庭生活不顺畅时，情绪抑郁要发泄时，开起车来就有点疯狂！
要是遇到堵车或者被人超车时，情绪就会特别激动，一副想吵架的架势！
你懂的，通过开车飙车缓解压力是一种有益身心的放松行为，但对其他机动车道的车主而言，这就是灾难。
官方也披露，“路怒族”是常态！
根据一项900司机的调查研究显示， 35%的司机有“路怒症”。而另一项调查则称，八成中国驾驶员患有不同程度的路怒症，交通事故中也有近20%因为路怒症而发生。
专利如何识别路怒症
先解读下华为最新专利的技术背景。
以往的车辆驾驶员路怒症检测系统重点关注血压、心率监测等侵入性系统，以及主要使用图像和录音的非侵入性系统。此外，以前的侵入性系统使用广泛的传感器安装和复杂的数据采集，而非侵入性系统依赖于对微妙提示的解读。
华为工程师的思路是，设计一种更完善的方案，用摄像头、影像音像分析，实时监控司机多种模态(例如面部表情、手势、车速等)，用于检测驾驶员脾气的变化。
简单说，这是一个交通遇险和路怒症监测系统，可以监测驾驶员或乘客以检测交通遇险和路怒症程度，并在检测到交通遇险或路怒症时发出通知。
在方案中，检测司机手段很多，包含但不限于司机热成像、语音、视觉信息以及其它模态，例如驾驶行为表现和手势。当然，还有车速的变化与变道等情况。
通过多模态方法，这套系统能够获得多维度的信息，再经过机器深度学习后，判定司机危险驾驶风险情况，进行警示规避车祸。
下为专利附图，解释具体操作流程 ：
亮点1：哪些路怒症特征是有用的？
华为工程师设计的这套识别系统难点之一，在于如何理解并确定司机的哪些行为、表情确实到了路怒症爆发期，自身狂怒状态会影响正常驾驶。
要知道，路怒症的表象特征有很多！
总不能摄像头拍到司机皱眉骂娘的表情和姿态，就判定司机出问题了，然后系统开始无休止的语音警告司机了。
这极其影响司机正常驾驶体验，当初就有这样的案例。
原来有位司机开小鹏的新能源车，在使用小鹏辅助驾驶功能的时候，因为眼睛比较小，所以总被小鹏的辅助驾驶功能判定为“开车睡觉”，导致被扣除了智驾分，还一直被系统实时警告司机别瞌睡。
类似的情况有不少，比如，通用汽车的Super Cruise判定眼睛过小的司机为过度疲劳、岚图FREE会在冬天为了让他别困打开冷风、蔚来ET7认定他开车疲劳和走神……
所以，如何建立能预测、识别路怒症的系统模型最重要。
毕竟，每个司机的性格、状态都是独一无二的，他的路怒症表情变化也仅是针对他自己的正常状态而言。
关键就是要让系统能够适应各种类型驾驶员的交通遇险/路怒症驾驶行为表现和非交通遇险/路怒症驾驶行为表现。
对此，华为的工程师首先要对路怒症进行分级，对司机逐步升级的愤怒行为进行评估风险。
在工程师眼里，路怒症可以分四级。
- 在第一阶段，当驾驶员被某人惹怒时，他们通常会开始进行非威胁性的姿势或面部表情来表现出恼怒；
- 在第二阶段，愤怒的驾驶员在表现出不满后，可以通过按喇叭、闪灯、恶意制动、尾随、挡车等方式加重情况；
- 在第三阶段，攻击性驾驶员可能诅咒、吼叫和威胁其他驾驶员；
- 在第四阶段，最坏的情况是一些驾驶员可能会开火、用物体打车、追赶车辆或者跑出道路。
然后，根据多模态方法(例如，图像、音频、车辆数据等多个数据流)，如下面结合下图所描述的，其中每个模态可用于检测有助于系统了解驾驶员的交通遇险和路怒症程度的特征。
驾驶员的交通遇险和路怒症程度的预测维度很多，包括：
1）识别车辆内的所述驾驶员和乘客；
2）识别驾驶员和乘客的手和面部，跟踪所述手和面部姿势、热状态；
3）识别环境的状态，例如交通状况、所述车辆附近的物体、所述车辆周围的声音(例如，其它车辆鸣笛)、道路状况和限速；
4）驾驶行为表现数据，例如加速、速度、转向角和其它嵌入式传感器数据；
融合上述指标、状态和数据，以判断所述驾驶员是被激怒还是遇到危险。
汇总各类数据后，进行深度学习，使得系统能够适应和获知不同的驾驶员可能会展现的愤怒和沮丧表情的方式，并确定如何发出警告和驾驶辅助以符合驾驶员的偏好。
亮点二：人物表情偏差分设计
上图是各种实施例提供的示出了检测驾驶员或乘客表情以及计算驾驶员或乘客表情估计的偏差得分的框图。
解释下何谓偏差分！
正常司机的表情和狂怒状态的司机表情肯定不一样，偏差分就是双方表情之间的偏差度，与正常表情偏差越大，说明这司机状态越不正常！
具体如何生成所述驾驶员或乘客表情估计的所述偏差得分？
包括：
使用检测跟踪验证(detection tracking validation，简称DTV)对所述驾驶员或乘客的正面人脸图像进行局部处理；
从所述正面人脸图像的分割后的人脸区域构造人脸流帧使用编码器将全卷积网络(fully convolutional network，简称FCN)应用于所述人脸流帧，包括使用多个卷积、池化、批量归一化和校正线性单元(rectified linear unit，简称ReLU)层；
将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络(recurrent neural network，简称RNN)以通过高斯混合模型(Gaussian mixture model，简称GMM)获得正常驾驶表情模型；
比较实时驾驶员或乘客表情与所述正常驾驶表情模型，以计算所述驾驶员或乘客表情估计的偏差得分。
最有意思的摄像头可以对驾驶员皮肤温度的变化进行评估司机是否怒气上升。
例如NIR摄像头、热红外摄像头和/或智能手机摄像头。在各种实施例中，温度测量可以来自温度的瞬时变化(例如，特定时间的温度)，或者也可以随着时间(例如，测量一小时以上温度变化)进行跟踪。
华为工程师的设计是，随着驾驶时间的推移，车内司机体温的变化可以帮助所述系统结合其它特征判断是否随着时间的推移正在发生危险。
例如，如果车辆车厢内的温度随着时间的推移而升高，则驾驶员的体温也可能升高。这种温度升高可以由摄像头测量，然后作为未来的交通遇险的指示。
例如，图像传感器在检测到所述驾驶员的手和脸后会感测驾驶员挥动其拳头的图像，同时脸部和手的温度升高，同时驾驶员的嘴张开(例如，尖叫)。这些情况可以理解为所述驾驶员可能出现的交通遇险和路怒症的迹象。
亮点三：检测心跳、血压
另外，华为工程师还设计更复杂的系统，如可附着到方向盘的生物信号传感器来检测心跳、血压。
例如，用于车辆的变速箱离合器可以具有嵌入在所述结构中的传感器，所述传感器能够测量心跳和手部温度。
此外，这些生物信号传感器可以嵌入车辆的其它部分，例如单选按钮和控制面板按钮。
在驾驶过程中，方向盘是车辆触摸最多的部分之一，因此在各种实施例中，方向盘可以包括一个或多个生物信号传感器，以帮助更好地了解驾驶员的当前状态。
此外，在一实施例中，可以从位于车辆内部的OBD端口获取从嵌入在车辆的结构和设备中的这些触摸传感器收集的数据。
更多的实施例可以包括使用附着在车辆座椅上或附着在车辆内部且用于感测乘员的心跳的雷达、电容式或电感式传感器。
在一实施例中，这些座椅传感器能够以无触控的方式工作。可替代实施例还可以包括使用车辆内部的图像传感器来执行远程光电体积描记术(remote photoplethysmography，简称rPPG)。
远程光电体积描记术是一种使用图像传感器来检测皮肤发生的变化的技术，例如，由于血压的变化而直接导致心跳速率的变化。
这是一种无触摸技术，意味着也可以使用用于检测面部表情和活动识别的相同图像传感器来进行光电体积描记术。
在各种实施例中，图像传感器的选择可以是RGB成像传感器或近红外成像传感器。rPPG提供的附加信息也可以与从热成像摄像机获取的信息相结合。使用机器学习算法，所述系统可以进一步学习识别所述驾驶员皮肤中与压力水平以及路怒症相关的变化。
此外，除了rPPG等技术之外，还可以使用其它方法来检测驾驶员面部的血流变化，包括使用欧拉视频放大方法来放大人面部的微妙变化。这可以进一步帮助机器学习算法跟踪随着时间推移发生的变化，并预测驾驶员是否会出现交通遇险并容易出现路怒症。
热门跟贴