康謀技術 | 多傳感器數(shù)據融合技術與策略解析

一、多傳感器融合的先決條件

當多種傳感器裝在同一輛車上時，使用同一個系統(tǒng)來采集并處理數(shù)據。為了確保這些傳感器采集的數(shù)據能有效精準識別同一個物體，需要對這些傳感器進行統(tǒng)一時鐘和坐標系，即最終實現(xiàn)：同一個目標在同一個時刻出現(xiàn)在不同類別的傳感器的同一個世界坐標處。

圖1：傳感器融合先決條件

1、統(tǒng)一時鐘

確保所有傳感器數(shù)據在時間上的一致性，為后續(xù)處理提供同步基準。關于時間同步的詳細內容可見往期內容：

《自動駕駛：揭秘高精度時間同步技術（一）》

《自動駕駛：揭秘高精度時間同步技術（二）》

2、統(tǒng)一坐標系

統(tǒng)一坐標系包含兩步，一是運動補償，二是傳感器標定。

① 運動補償：確保數(shù)據時效性

運動補償是針對周期性采集數(shù)據的傳感器，如激光雷達（LiDAR），其數(shù)據采集周期可能長達100毫秒。由于車輛在運動，采集周期的開始和結束時刻，車輛的位置已經發(fā)生了變化。這就需要對采集的數(shù)據進行運動補償，以確保數(shù)據反映的是車輛在某一固定時刻的環(huán)境狀態(tài)。

② 傳感器標定：確立坐標轉換

傳感器標定是確保每個傳感器的數(shù)據都能準確映射到世界坐標系中的過程。它包括內參標定和外參標定兩個部分。

二、多傳感器融合方法

在多傳感器采集系統(tǒng)中做好統(tǒng)一時鐘和統(tǒng)一坐標系后，就可以將這些數(shù)據進行融合了。關于具體做法，這里舉一個簡單的例子：

1、相機與LiDAR融合

在實現(xiàn)激光雷達與相機標定、運動補償和時間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點云數(shù)據投影至二維圖像平面，實現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數(shù)據，形成深度標簽圖像，從而為自動駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據支持。

2、融合方式

根據數(shù)據在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。

圖2：常見的融合方式

3、應用場景

在多傳感器融合中，前融合、深度融合和后融合各有優(yōu)勢和適用場景。