广告
座舱内感知系统的算法及集成方式
2021-07-08 01:20:05· 来源：Astroys
上周简单介绍了座舱内感知系统中用到的摄像头，这次谈谈算法和集成的部分。座舱内感知系统涉及到的主要算法算法部分笔者不是特别专业，只能简单谈一谈对一些企业
上周简单介绍了座舱内感知系统中用到的摄像头，这次谈谈算法和集成的部分。
座舱内感知系统涉及到的主要算法
算法部分笔者不是特别专业，只能简单谈一谈对一些企业做法的理解。
Face ID的算法部分重要的就是数据源的质量和数量，大部分公司用开源数据集，那么如果有一些量产项目的真实场景视频数据的公司就会有优势。商用车领域已要求强制安装DMS，一些公司是有大量商用车领域积累下来的数据的。
DMS算法部分一般是采用Landmark方法来判断疲劳和困倦状态，我看现在行业一般采用68个key point。
视线追踪一般是先判断眼睛和眼球轮廓的位置，然后再判断瞳孔的位置。如果采用IR摄像头，在LED照射的情况下会出现角膜的反射现象，做的好的公司会在这部分做一些补偿方法。
现在流行的多模感知的部分，有一项代表性的功能就是利用读唇来提高各声区语音识别准确率。这部分其实也只是能够判断哪个位置的人在讲话，仅限于识别少数几个关键词。当然关键词可以根据客户需求来增减，会涉及到成本。
对于一些吸烟、吃东西、打电话等危险动作的判断，采用的基本上是计算机视觉中的物体识别的方法，需要对具体功能需求进行物体标注，才能识别。
手势识别这部分其实也比较有限，人的手和胳膊必须要在摄像头的FoV范围内做动作才能够根据关节key points来识别动作。
另外现在欧美那边对识别空车里的小孩有强制要求，很多车厂在此功能基础上拓展，想要对遗落在车里的其它物体也进行识别，并利用手机app推送消息给车主。但这部分也需要采用物体识别的方法，只能识别设定的几个物体，钱包、手机、电脑、钥匙之类，没办法识别无限种物体。如果要求那种无限种物体都可识别，就要采用Semantic Segmentation，但是车内场景光线、阴影条件变化多端，很多座椅的材质等都会影响到算法，效果并不好。
座舱内感知系统的集成方式
一些DMS厂商在自己开发单独的芯片，比如Seeing Machines有自己的FOVIO ASIC（同时也可以单独提供算法），国内地平线也是采用征程2芯片做多模感知控制。
之前DMS厂商较多考虑的平台有NXP的S32V系列/i.MX8系列，安霸的H22、H32，英特尔的Atom，OV的OA8000，赛灵思的Zynq-7000，TI的TDA2P/TDA3x/DRA726，瑞萨的R-Car E3/M3/H3/V2H/M2等，MTK的Autus I20/T10等。但未来无论是座舱还是ADAS/AV域控SoC这块可能少数几家胜出，座舱是高通占大头，ADAS/AV这一块则是英伟达和Mobileye的天下。Mobileye从EyeQ5开始就可以集成域控制器了。
所以车厂就有了两个选择，DMS这块要么集成在座舱域，要么集成到ADAS/AV域。比如高通平台的DMS合作伙伴是Seeing Machines，Mobileye的合作伙伴是Cipia。集成到座舱域或ADAS/AV域分别有各自的利弊。
DMS集成到座舱域则有利于与座舱内的其它HMI或是硬件结合，比如现在很多车厂都要求根据视线集中在显示屏幕上的时间，来自动激活显示画面等。或者视线追踪和AR-HUD相结合，实时调整Eyebox的位置等。但如果DMS涉及到比较复杂的计算机视觉算法，座舱域的SoC相比ADAS/AV域的SoC的计算能力较弱，会面临计算能力吃紧的情况。反之如果集成到ADAS/AV域的好处是计算能力会比较强，而且有利于DMS和ADAS的一些安全信息相结合，但和座舱内的其它系统相结合就没那么灵活了。
座舱内感知系统涉及到的主要算法
算法部分笔者不是特别专业，只能简单谈一谈对一些企业做法的理解。
Face ID的算法部分重要的就是数据源的质量和数量，大部分公司用开源数据集，那么如果有一些量产项目的真实场景视频数据的公司就会有优势。商用车领域已要求强制安装DMS，一些公司是有大量商用车领域积累下来的数据的。
DMS算法部分一般是采用Landmark方法来判断疲劳和困倦状态，我看现在行业一般采用68个key point。
视线追踪一般是先判断眼睛和眼球轮廓的位置，然后再判断瞳孔的位置。如果采用IR摄像头，在LED照射的情况下会出现角膜的反射现象，做的好的公司会在这部分做一些补偿方法。
现在流行的多模感知的部分，有一项代表性的功能就是利用读唇来提高各声区语音识别准确率。这部分其实也只是能够判断哪个位置的人在讲话，仅限于识别少数几个关键词。当然关键词可以根据客户需求来增减，会涉及到成本。
对于一些吸烟、吃东西、打电话等危险动作的判断，采用的基本上是计算机视觉中的物体识别的方法，需要对具体功能需求进行物体标注，才能识别。
手势识别这部分其实也比较有限，人的手和胳膊必须要在摄像头的FoV范围内做动作才能够根据关节key points来识别动作。
另外现在欧美那边对识别空车里的小孩有强制要求，很多车厂在此功能基础上拓展，想要对遗落在车里的其它物体也进行识别，并利用手机app推送消息给车主。但这部分也需要采用物体识别的方法，只能识别设定的几个物体，钱包、手机、电脑、钥匙之类，没办法识别无限种物体。如果要求那种无限种物体都可识别，就要采用Semantic Segmentation，但是车内场景光线、阴影条件变化多端，很多座椅的材质等都会影响到算法，效果并不好。
座舱内感知系统的集成方式
一些DMS厂商在自己开发单独的芯片，比如Seeing Machines有自己的FOVIO ASIC（同时也可以单独提供算法），国内地平线也是采用征程2芯片做多模感知控制。
之前DMS厂商较多考虑的平台有NXP的S32V系列/i.MX8系列，安霸的H22、H32，英特尔的Atom，OV的OA8000，赛灵思的Zynq-7000，TI的TDA2P/TDA3x/DRA726，瑞萨的R-Car E3/M3/H3/V2H/M2等，MTK的Autus I20/T10等。但未来无论是座舱还是ADAS/AV域控SoC这块可能少数几家胜出，座舱是高通占大头，ADAS/AV这一块则是英伟达和Mobileye的天下。Mobileye从EyeQ5开始就可以集成域控制器了。
所以车厂就有了两个选择，DMS这块要么集成在座舱域，要么集成到ADAS/AV域。比如高通平台的DMS合作伙伴是Seeing Machines，Mobileye的合作伙伴是Cipia。集成到座舱域或ADAS/AV域分别有各自的利弊。
DMS集成到座舱域则有利于与座舱内的其它HMI或是硬件结合，比如现在很多车厂都要求根据视线集中在显示屏幕上的时间，来自动激活显示画面等。或者视线追踪和AR-HUD相结合，实时调整Eyebox的位置等。但如果DMS涉及到比较复杂的计算机视觉算法，座舱域的SoC相比ADAS/AV域的SoC的计算能力较弱，会面临计算能力吃紧的情况。反之如果集成到ADAS/AV域的好处是计算能力会比较强，而且有利于DMS和ADAS的一些安全信息相结合，但和座舱内的其它系统相结合就没那么灵活了。
广告
广告
编辑推荐
最新资讯
-
直播｜中汽中心 工程院：汽车智驾技术主题
2024-11-24 11:43
-
直播｜中汽中心 工程院：无人驾驶车路云一
2024-11-24 11:42
-
直播｜中汽中心 工程院：基于无人驾驶矿卡
2024-11-24 11:41
-
直播｜中汽中心 工程院：超声波雷达测试系
2024-11-24 11:40
-
直播｜中汽中心 工程院：基于车路云图的无
2024-11-24 11:40
广告
广告
