寻找供应商
广告
首页 > 汽车技术 > 正文

毫米波雷达在多模态视觉任务上的近期工作及简析

2022-09-28 23:40:29·  来源：自动驾驶之心  
　
为了称呼方便，将生成的occupy grid map中的unit统称为点云，其中，绿色代表模型生成的正确点云，红色代表lidar检测到但是模型没有生成的点云，蓝色代表模型生成但是GT不存在的点云。

  1. 模型架构：使用传统的UNet生成occupy grid map，输入是BEV表示下的Radar的点云，输出为occupy grid。

  2. 模型细节：

  • 为什么在极坐标系下检测？

    作者提到，CNN对于尺度变化的鲁棒性要强于对方向形状的鲁棒性变化。下图所示，在polar space中路宽相较于cartesian space变化更大，但是cartesian space的两侧点云出现了blur。

图片


  • 毫米波数据预处理

    考虑到这样一个问题：毫米波本来检测不到的目标，是否应该强制使其检测？

    答案肯定是否，因为毫米波和lidar的性质差异，对于树木等一些反射性相对较差的目标，毫米波是检测不到的，同时radar检测到被遮挡的物体，此时lidar又是检测不到的，两个传感器之间的差异，如果强制检测，会导致相当多的FP预测，因而会降低性能；

    因此，通过数据预处理，首先过滤反射强度低于某个阈值的点云，然后将lidar提供的GT数据中radar无法检测到的数据滤除，得到训练数据。

图片

如上图所示，由实验得到，通过预处理，模型的FP大大降低；

  • 如何解决传感器检测距离差异问题呢？

    POLAR SLIDING WINDOW INFERENCE：将lidar检测区域内的点云作为GT用作traning region，然后逐步滑动窗口，每次窗口所包含的radar点云仅作为inference，生成occupy map。简单来说，就是lidar内的有限数据用于训练，而lidar外的radar用于推理生成occupy map并拼接生成最终的远距离occupy map。

    流程如下图所示，这里的内外圆之间的距离是检测的范围，也就是滑动窗口，训练是通过对比不同的滑动窗口的内容与网络预测的同心圆之内的检测结果进行对比训练。

图片


  • 如何保持radar的透视性能？

    通过上面所述的滑动窗口，可以完美解决lidar监督数据下，lidar-invisible的目标但是radar-invisible的目标点云没有输入而导致的透视性能丧失问题，因为在t窗口不能看到的点云，可以在别的窗口看到。

  1. 总结：

图片


图片

以上是效果图，可以看到，原本的radar输入是非常混乱的，带有非常多的噪声，第二列是训练数据可以看到lidar的点云非常规则能够反映区域内比较完整的几何信息，第三列是输出的结果，通过lidar数据的监督，能够在lidar区域以外，生成噪声较小，能够反映路面分布的点云图。第四列是人工标注的GT，最后生成的result与GT相较radar更为接近。在BEVDepth对网络预测深度监督时，深度本身的模态无关的信息，不加改变地监督深度预测网络是可行的，但是对于radar和lidar两种模态，各自有各自的特性，强制地把一种模态地特征监督另一种模态而不加变化，势必会导致本文中出现的虚警等情况。

   首页   下一页   上一页   尾页 
分享到：
 
反对 0 举报 0 收藏 0 评论 0
  • 汽车测试网V课堂

    汽车测试网V课堂

  • 微信公众号

    微信公众号

  • 汽车测试网手机站

    汽车测试网手机站

• 如何正确模拟不同类型的流体流动 • 细数国内外800V电驱动产品和技术
• 重磅！本田全球首次公开第三代燃料电池系统！加快燃料电池 • SGDet3D：基于4D雷达和相机的语义和几何信息融合的3D目标
• 自动驾驶端到端模型：技术演进、应用实践与未来展望 • 基于EHT等效温度的夏季乘员舱热舒适性研究
• 高集成测试成主流？详解IT2800系列源表在光模块测试中的六 • 传感器仿真模型的可信度评估方案
• DeepSeek技术优势及汽车智能化应用 • 热应力仿真案例分享
0 条相关评论
广告
  • 广告

编辑推荐

最新资讯

  • 广告
  • 广告
沪ICP备11026917号-25