芯耀
2166
智能汽車(chē)AI 時(shí)代，攝像頭作為“汽車(chē)之眼”變得非常重要，我們之前文章《智能汽車(chē)要用多少個(gè)攝像頭？分別干啥？什么原理？》簡(jiǎn)單的介紹了判斷汽車(chē)攝像頭的幾個(gè)指標(biāo)，當(dāng)時(shí)查找資料時(shí)候看到下面這篇分析汽車(chē)攝像頭分辨率（以 Mpixel 為單位）和幀速率 (fps) 的文章，寫(xiě)的還不錯(cuò)，簡(jiǎn)單同時(shí)帶有數(shù)據(jù)分析，可以作為對(duì)智能駕駛愛(ài)好者對(duì)攝像頭參數(shù)理解或者從業(yè)工程人員對(duì)設(shè)計(jì)硬件選型參考。
在當(dāng)前智能駕駛中，基于攝像頭的 ADAS 因其應(yīng)用、更高的可靠性和對(duì)新要求的適應(yīng)性而被廣泛采用。ADAS 攝像頭通常部署在汽車(chē)的前部、側(cè)面和后部，提供駕駛和停車(chē)輔助。前置攝像頭系統(tǒng)最常安裝在汽車(chē)的前部，后視鏡后面。后置攝像頭安裝在靠近車(chē)牌的后側(cè)，而側(cè)面攝像頭安裝在汽車(chē)兩側(cè)靠近鏡子的位置《了解布置位置可以點(diǎn)擊視覺(jué)為王-小鵬以及特斯拉的自動(dòng)駕駛方案》。
本文介紹了汽車(chē)攝像頭系統(tǒng)的分辨率（以 Mpixel 為單位）和幀速率 (fps) 選擇的見(jiàn)解，重點(diǎn)是單目前置攝像頭，當(dāng)然也可以用于后/側(cè)攝像頭選擇參考。
ADAS 前置攝像頭 (FC) 系統(tǒng)從現(xiàn)實(shí)世界中捕獲并識(shí)別感興趣的對(duì)象（例如行人、汽車(chē)和兩輪車(chē)）。如下圖所示，ADAS FC 系統(tǒng)由攝像頭模塊（鏡頭和傳感器）組成，用于將場(chǎng)景捕獲為一系列圖像（即視頻），然后在嵌入式處理器芯片上進(jìn)行分析以識(shí)別感興趣的對(duì)象。
ADAS 前視視像頭的關(guān)鍵功能是識(shí)別感興趣的對(duì)象以及與汽車(chē)的距離，并在正確的時(shí)間應(yīng)用緊急休息以避免碰撞。這些目標(biāo)必須在給定解決方案的高精度檢測(cè)、低成本、低功耗和小尺寸的嚴(yán)格限制下實(shí)現(xiàn)。該解決方案必須能夠在夜間或弱光駕駛等不同場(chǎng)景下工作。整體解決方案中的三個(gè)參與者相互交互以實(shí)現(xiàn) ADAS 系統(tǒng)的目標(biāo)：
- 現(xiàn)實(shí)世界：這包括汽車(chē)和可能成為潛在事故目標(biāo)的感興趣對(duì)象（例如行人、車(chē)輛、兩輪車(chē)等）。
- 攝像頭模塊：由鏡頭和傳感器組件組成。它以固定間隔 (fps) 將現(xiàn)實(shí)世界捕獲為圖像像素（分辨率）。
- 算法：它通常會(huì)找到感興趣的對(duì)象（例如行人）并在可能的碰撞情況下提醒駕駛員。由于行人目標(biāo)可能存在于未知距離，它通常在一系列具有固定行人模型尺寸（例如 64×32 像素）的縮小圖像（稱(chēng)為圖像金字塔）中搜索給定的行人。使用屬性（稱(chēng)為從像素中提取的特征）而不是實(shí)際像素來(lái)執(zhí)行搜索，以獲得更好的魯棒性。一旦找到匹配的行人，就會(huì)計(jì)算到行人的距離和碰撞時(shí)間 (TTC)。這些算法屬于計(jì)算機(jī)視覺(jué) (CV) 和機(jī)器學(xué)習(xí) (ML) 領(lǐng)域，并在嵌入式 SoC（片上系統(tǒng)）上運(yùn)行。
下圖顯示了三個(gè)參與者以及實(shí)現(xiàn) ADAS 系統(tǒng)目標(biāo)的各種參數(shù)。
第 1 部分：揭秘分辨率/Mpixel通常，成像傳感器的 Mpixel (MP) 決定了可以檢測(cè)和識(shí)別給定對(duì)象的最遠(yuǎn)距離。下圖顯示了多種配置下與行人的距離與 Mpixel 的典型關(guān)系。
上圖中的曲線假設(shè)現(xiàn)實(shí)世界中行人的高度為 1.5m，圖像傳感器的物理尺寸為 1/3”（標(biāo)準(zhǔn)OF值計(jì)算方法是其實(shí)際對(duì)角線長(zhǎng)度 1/3英寸大概就是6mm）?；九渲脤?duì)應(yīng)于給定鏡頭的 450 FOV（視場(chǎng)）和行人高度，在捕獲的圖像中為 64 像素。如圖 3 所示，1MP 到行人的最大距離為 34 m，8 MP 增加到 101m。對(duì)于汽車(chē)圖像傳感器，目前使用 1 MP，在不久的將來(lái)會(huì)增加到 2 MP，并在較長(zhǎng)時(shí)間內(nèi)達(dá)到 8 MP。
表 I 總結(jié)了增加 Mpixel（0.3 MP 到 8 MP）和最遠(yuǎn)行人距離（24m 到 101m）的影響以及假設(shè)和可能的權(quán)衡。隨著分辨率的提高，它帶來(lái)了下一組問(wèn)題，例如低光性能差和計(jì)算/功率要求高。對(duì)于給定的分辨率（例如 2MP），有多種方法可以增加最遠(yuǎn)行人距離，總結(jié)如下。
- 在圖像金字塔搜索過(guò)程中使用較小尺寸的行人模型：這導(dǎo)致距離增加 2 倍（51m 到 101m），因?yàn)槟Ｐ统叽鐪p少了 2 倍（第 4 行）。通常，較小尺寸的行人模型會(huì)降低檢測(cè)的準(zhǔn)確性，并產(chǎn)生更多的誤報(bào)。
- 使用更小的模型尺寸和復(fù)雜的特征：這會(huì)導(dǎo)致更高的距離和相似的檢測(cè)精度（第 5 行）。與從行人中提取的傳統(tǒng)特征（例如 Haar、HoG）相比，復(fù)雜的特征（例如 Co-Hog、卷積神經(jīng)網(wǎng)絡(luò) -CNN）需要更高的計(jì)算能力（以及成本）。
- 使用窄 FOV（即更高的焦距）：這意味著在現(xiàn)實(shí)世界中跨越較低的正面區(qū)域，從而產(chǎn)生更高的距離（51m 到 59m）（第 6 行）。在 FOV 的極端減少（例如，達(dá)到 250 FOV）將導(dǎo)致需要額外的傳感器來(lái)覆蓋類(lèi)似的正面區(qū)域。
在更高 MP（例如 8MP）的情況下，一種可能的折衷方案是使用更寬的 FOV 鏡頭來(lái)覆蓋前方和交叉路口。這消除了額外的傳感器，從而降低了成本（第 10 行）。
第 2 部分：揭秘幀率 (fps)通常，成像傳感器的幀率決定了避免物體碰撞的最大停止距離。下圖顯示了汽車(chē)的停車(chē)距離與停車(chē)距離的典型關(guān)系。汽車(chē)速度的多種配置的幀速率。
停車(chē)距離是在應(yīng)用中斷之前檢測(cè)行人期間覆蓋的距離和在中斷期間覆蓋的距離的相加。圖的假設(shè)是行人檢測(cè)期間的七幀延遲，其中包括大約三幀的處理延遲和大約四幀的跟蹤延遲，以提高檢測(cè)質(zhì)量。另一個(gè)假設(shè)是根據(jù)英國(guó)公路法規(guī)打破距離。如上圖所示，假設(shè)汽車(chē)速度為 80 Km/Hr，停車(chē)距離從 55m 減少到 45m，因?yàn)閹俾蕪?10fps 到 15fps（文章寫(xiě)的時(shí)候）再到 30fps（現(xiàn)在基本都在30fps）。
表二顯示了增加車(chē)速（30Km/Hr 到 250Km/Hr）和對(duì)停車(chē)距離（8m 到 390m）的影響以及各種參數(shù)和假設(shè)。對(duì)于給定的汽車(chē)速度（例如 80 Km/Hr），有多種方法可以減少剎車(chē)距離，如下所示。
- 使用更高的幀速率：隨著幀速率的增加（10 到 30 fps），這會(huì)降低延遲（750 毫秒到 284 毫秒）。這也提高了對(duì)象（例如行人）跟蹤的性能，但代價(jià)是更高的處理能力（第 4 行和第 5 行）。
- 使用基于流和切片的架構(gòu)：這減少了延遲（750 毫秒到 210 毫秒），因?yàn)榭缍鄠€(gè)子組件的通信以較小的粒度發(fā)生，例如行/子圖片（第 6 行）。這種復(fù)雜的系統(tǒng)需要更多的時(shí)間來(lái)開(kāi)發(fā)，并且可能存在算法框架級(jí)別的依賴(lài)挑戰(zhàn)。
其他挑戰(zhàn)
攝像頭ISP圖像信號(hào)處理流程圖
所以其實(shí)我們當(dāng)前看到國(guó)內(nèi)很多智能駕駛的方案都還在堆料階段，而汽車(chē)行業(yè)其實(shí)本質(zhì)是應(yīng)用產(chǎn)業(yè)，用最優(yōu)的成本達(dá)到可以拓展升級(jí)的配置才是最優(yōu)的方案。這些就值得我們主機(jī)廠產(chǎn)業(yè)應(yīng)用人士思考的核心競(jìng)爭(zhēng)力。
參考文章以及圖片
原文-ADAS Front Camera: Demystifying Resolution and Frame-Rate - EE TIMES攝像頭以及圖像技術(shù)基礎(chǔ) pdf - Jon Chouinard pdf可下載Surround view camera system for ADAS on TI’s TDAx SoCs - TI PDF 可下載
*未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄
