「算法融合」的前提条件

为什么叠层传感器要优于多传感器融合?各独立传感器的「融合」(含前融合、后融合)带来哪些固有的物理与数学上的不可能?

要回答这个问题,要搞清楚多传感器能够所有场景条件下100%目标细节融合的前提条件—— 「要求所有传感器时间同步、空间同步」 ,同时隐含的另一个重要条件是「各传感器作为一个整体是刚体」 ,即彼此空间位置在任何条件下都保持不变。

叠铖的超宽光谱摄像头是一款革命性的全场景、全天候的辅助/自动驾驶车载摄像头,其超宽的光谱感知为各类应用场景提供了强大的全天候(雨天、雾天、太阳逆光、车灯炫光、夜间无光、弱光)、高识别率、低算力需求的综合感知能力,可极大的提升辅助/自动驾驶系统的安全性和适用性。

优势说明图

前提条件会导致高阶无人驾驶的「算法融合」失败

全天候能力不足

当前的主传感器,不论是激光雷达还是可见光相机都无法全天候可靠工作。例如:

1、激光雷达易受太阳光干扰,下午太阳光直射激光雷达时会使激光雷达数据失效。

2、激光雷达雨天无法穿透水汽。路面积水导致镜面反射亦带来数据错误。

3、可见光相机易受环境光照影响,夜间远光灯直射、白天太阳光直射都会导致可见光相机无法有效成像。

算法识别率不足

现有常规感知方案依赖于视觉+激光雷达。由于它们环境适应性不足,导致目前在雨雾天、强弱光等环境条件下,算法的可靠感知难度明显提高,极易漏检和误检行人、车辆等有效目标,辅助/自动驾驶感知算法的识别率和安全性受到极大影响,制约了当前辅助/自动驾驶的市场接受度。

算力不足

可见光和激光雷达需要不断提升感知算法网络的参数规模以提升算法识别率,使得当前自动驾驶对芯片算力要求不断提高。受限于芯片能力及车规等要求,当前的车端算力提升较慢。同时,国外芯片进口被封禁,国产芯片代工被限制。当前处境就是不但芯片上车难,而且缺芯片。辅助/自动驾驶的感知算法模型规模受限,而导致的结果就是算法感知的精度不足,难以满足自动驾驶所要求的安全性。

传感器信息矛盾

当前的较为主流的多传感器组合方案普遍存在信息矛盾问题。因为各传感器的安装位置、角度、工作波段、工作模式、刷新频率、算法复杂程度等存在极大的差异,所以不同传感器面对相同场景的算法识别结果不一致(例如:激光雷达感知到的目标在视觉上没有被感知到),就带来了业界十分经典、又十分困难的信息矛盾问题。这时候选择相信谁和忽略谁,都是对决策的巨大考验。选择相信任何一方,都有可能是错误的决策。而且,辅助/自动驾驶的流畅性要求是降低频繁人为接管,对决策的正确性和时间窗口都有极高的要求。所以,传感器信息矛盾问题是亟待妥善解决的自动驾驶核心问题。

超宽光谱叠层图像传感芯片的主要优势

全天候优势

超宽的成像光谱,为叠铖的传感器提供了卓越的全天候性能,在各种不同的光照条件下(如:夜间弱光、车灯炫光、太阳逆光等)、不同的天气下(如:雨天、雾天、灰尘等)依然能够可靠成像,极大的提升了辅助/自动驾驶感知系统的可靠性和可用性。/自动驾驶的流畅性要求是降低频繁人为接管,对决策的正确性和时间窗口都有极高的要求。所以,传感器信息矛盾问题是亟待妥善解决的自动驾驶核心问题。

高识别率优势

更丰富的多光谱图像数据,提供了更多维度的真实物理参数,即原始数据包含了更多的物理特征和图像特征,(例如视频中的人除了有图像信息,还有体温信息,更容易与其他物体区分识别),更丰富的特征使得算法对相同目标的识别率直线提升。 /自动驾驶的流畅性要求是降低频繁人为接管,对决策的正确性和时间窗口都有极高的要求。所以,传感器信息矛盾问题是亟待妥善解决的自动驾驶核心问题。

低算力需求优势

由于超宽光谱传感器本身卓越的环境适应性,以及比现有传感器提供更多维度的物理特征,它输入到算法网络中数据的有效性大大提高,使得感知算法在达到以往相同算法识别率的模型参数量大幅降低(缩小至2%~30%),可有效降低对车端算力资源的消耗,并且大幅减少辅助/自动驾驶系统对车载动力电池的能量损耗。/自动驾驶的流畅性要求是降低频繁人为接管,对决策的正确性和时间窗口都有极高的要求。所以,传感器信息矛盾问题是亟待妥善解决的自动驾驶核心问题。

时空同步无信息矛盾优势

叠铖的超宽光谱摄像头,作为一个独立的传感器单元,没有时间同步问题,且超宽光谱视频提取出的多通道数据天然空间同步,每一个物体都只有一个时间空间坐标,完全克服了信息矛盾问题。/自动驾驶的流畅性要求是降低频繁人为接管,对决策的正确性和时间窗口都有极高的要求。所以,传感器信息矛盾问题是亟待妥善解决的自动驾驶核心问题。