芯耀
676
ToF相機在車內(nèi)應(yīng)用主要有三處，一是汽車B柱上的人臉識別或者說Face ID，二是汽車中控的手勢識別Gesture，三是駕駛員狀態(tài)監(jiān)控DMS。未來可能再增加車內(nèi)人員存在監(jiān)測Occupant Detection。
圖片來源：佐思汽研
2D平面相機主要做車內(nèi)的DMS，典型代表是凱迪拉克CT6，2017年初研發(fā)，通用凡搭配Super Cruise都是此類設(shè)計，供應(yīng)商為中國寧波均勝旗下的均勝安全系統(tǒng)，算法由澳大利亞上市公司SeeMachine提供，硬件為Xilinx的 Zynq-7000 FPGA。福特的Blue Cruise也是類似的設(shè)計，包括了F-150，MustangMach-E 和 Evos車型，算法由See Machine提供，硬件為Xilinx的 Zynq-7000 FPGA。寶馬早期的DMS由安波福提供，算法是Smart Eye，核心芯片則是英偉達。英偉達的東西自然不便宜。不過自ix、i4開始，寶馬轉(zhuǎn)向ToF。
2D平面相機自然不能做Face ID和手勢控制，從手機領(lǐng)域就能看出，沒有人敢這樣做，沒有深度數(shù)據(jù)，2D平面相機很容易被欺騙。手勢控制也自不必多言。在DMS領(lǐng)域，2D平面相機也面臨諸多挑戰(zhàn)，一是強光或快速光線變化，如陽光照射攝像頭、林蔭大道等場景，2D平面相機會致盲或者反應(yīng)不過來。二是算法，深度學(xué)習(xí)模型越來越大，消耗的算法資源越來越多，意味著硬件處理器的成本越來越高。三是準確度，沒有深度數(shù)據(jù)，或者用深度學(xué)習(xí)推測的深度數(shù)據(jù)不僅精度很低且耗費大量運算資源。2D平面相機通常只能計算眨眼次數(shù)，眼簾開合程度這種平面信息，對歐美人種，大眼還能湊合，亞洲人眼小，瞇成一條縫很常見，準確度非常低，可能頻繁誤報，駕駛員一上車就會關(guān)掉DMS。眼球追蹤，頭部姿態(tài)算法是未來DMS的主流，用2D平面相機來做，準確度低且消耗運算資源多，成本高。
為了解決陽光問題，廠家們推出了NIR紅外，940nm處的太陽光能量比850nm處的要少得多，因此將光路的工作波長改為940nm基本上消除了致盲問題。
圖片來源：互聯(lián)網(wǎng)
然而問題來了，CMOS圖像傳感器的量子效率在940nm遠低于850nm，這意味著必須使用更強大的LED來照亮駕駛員的臉。由于距離很近，且是一直開啟，這不像激光雷達，只會偶爾掃到，可能百分之一秒，這是一上車就開啟的，很難做到人眼安全，駕駛員有失明的風險。所以只能降低功率，結(jié)果就是效果很差，準確度很低，尤其是夜間，最需要DMS的時候。
還有一個隱私問題，4月7日，工信部發(fā)布了《智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準入管理指南（試行）》（征求意見稿），對智能網(wǎng)聯(lián)汽車網(wǎng)絡(luò)安全提出了多項要求。《征求意見稿》顯然針對未來車載數(shù)據(jù)隱私問題，提出了新的明確要求，“智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)應(yīng)依法收集、使用和保護個人信息，實施數(shù)據(jù)分類分級管理，制定重要數(shù)據(jù)目錄，不得泄露涉及國家安全的敏感信息。”2D平面相機無法根本上解決隱私問題。
還有一個小麻煩，2D平面攝像頭都是在轉(zhuǎn)向柱上的，這就意味著你要轉(zhuǎn)向柱廠家與你配合，成本自然要增加了，小廠家估計就沒有轉(zhuǎn)向柱廠家為你訂做此類產(chǎn)品。
結(jié)構(gòu)光主要還是用在手機上，因為它距離有限，很難超過1米，車內(nèi)應(yīng)用幾乎沒見過。結(jié)構(gòu)光要依賴光源投影的pattern。結(jié)構(gòu)光最大的缺點是無法應(yīng)對動態(tài)環(huán)境，也就是室外環(huán)境，光線環(huán)境的快速變化讓結(jié)構(gòu)光很容易受到干擾。其次是材料成本高，再次是響應(yīng)速度慢，需要消耗比較多的運算資源。再次是尺寸大，無法做到水滴屏，必須是大劉海。理論上結(jié)構(gòu)光可以縮小尺寸，但有效距離也會大幅度縮小，必須臉緊貼屏幕，顯然這是不實用的。
立體雙目在車內(nèi)應(yīng)用只有最新的奔馳S級，奔馳在立體雙目領(lǐng)域耕耘超過25年，即便是在整個計算機視覺領(lǐng)域，奔馳都是立體雙目技術(shù)的最頂尖公司。立體雙目利用視差圖提供深度信息，對光線變換敏感度降低，但仍有標定復(fù)雜，消耗運算資源多，成本高的缺點。也只有奔馳這種將立體雙目爛熟于心的廠家才能玩得好。
ToF相機具備一切優(yōu)勢，包括陽光干擾、光線變化干擾、隱私、有效距離、深度精度、體積方面。dToF相機就是Flash激光雷達，iToF就是FMCW激光雷達。其物理重建3D過程包括點云數(shù)據(jù)生成和點云配準，點云數(shù)據(jù)生成主要是坐標變換，點云匹配最常見的是ICP算法（ICP算法由Besl and McKay 1992, Method for registration of 3-D shapes文章提出，該算法已經(jīng)在PCL庫中實現(xiàn)）。ICP算法本質(zhì)上是基于最小二乘法的最優(yōu)配準方法。通過選擇對應(yīng)兩個點云的關(guān)系點，然后重復(fù)計算最優(yōu)變換，直到滿足正確配準條件。
3D人臉識別處理的是3D的數(shù)據(jù)，如點云、體素等，這些數(shù)據(jù)是完整的，立體的，準確度高，且無需深度學(xué)習(xí)的卷積加入，算法簡潔可靠，魯棒性高具備可解釋性，消耗運算資源很少。中控CPU（如常見的高通665）的運算資源就足以覆蓋，無需單獨外加運算SoC，這是ToF相機最強大的地方。此外，因為測距精度高，F(xiàn)OV寬，能夠監(jiān)測大范圍的頭部運動，同時也更容易集成到車內(nèi)后視鏡，而不是集成到轉(zhuǎn)向柱上。
那為什么很少聽說ToF相機在車上的應(yīng)用呢？原因有兩點，一是B柱上的人臉識別Face ID剛剛出現(xiàn)，這個應(yīng)用場合，非ToF相機莫屬。眾多新興造車將在明年開始上這個功能，人臉車鑰匙。二是，早期的ToF的光源也是近紅外，近期才改用VCSEL，只有VCSEL才能發(fā)揮ToF的潛力。
圖片來源：互聯(lián)網(wǎng)
LED的功率密度低，脈沖速度低，效率低，波長穩(wěn)定性低，用于消費類電子尚可。最大缺點是FOV窄，用于手持設(shè)備尚可，用于車內(nèi)不行。
圖片來源：互聯(lián)網(wǎng)
不過VCSEL進步很快，ToF終修成正果。
ToF又可以分為iToF（間接飛行時間）和dToF（直接飛行時間）兩類。dToF和iToF的原理區(qū)別主要在于發(fā)射和反射光的區(qū)別。dToF的原理比較直接，即直接發(fā)射一個光脈沖，之后測量反射光脈沖和發(fā)射光脈沖之間的時間間隔，就可以得到光的飛行時間。而iToF的原理則要復(fù)雜一些。在iToF中，發(fā)射的并非一個光脈沖，而是調(diào)制過的光。接收到的反射調(diào)制光和發(fā)射的調(diào)制光之間存在一個相位差，通過檢測該相位差就能測量出飛行時間，從而估計出距離。iToF的最大問題就在于最大測距距離和測距精度之間的矛盾。舉例來說，當調(diào)制頻率為100MHz時，那么無論飛行時間是1ns還是11ns反應(yīng)在調(diào)制相位差上都是36度，因此其最大測距距離就被調(diào)制周期所限制了；iToF有效距離通常不超過2米，但在車內(nèi)應(yīng)用足夠了。另一個小缺點，iToF由于在檢測相位差的時候使用了積分，所以環(huán)境光也會在積分過程中對于iToF電路造成干擾，因此iToF在明亮環(huán)境下的性能會受到影響。但仍比2D相機要好得多。iToF的測距精度也比dToF高，制造難度也比dToF低。
dToF 深度算法相對簡單，但是因為要檢測光脈沖信號（納秒甚至皮秒級），對光的敏感度要求很高，因此接收端通常選擇 SPAD即單光子陣列，早期SPAD成本高，良率低，像素低，目前隨著松下、佳能、索尼和三星的大力研發(fā)，這些缺點都已不存在。當然同樣成本下，iToF的分辨率會高一點。dToF則完全不受環(huán)境光的影響。全球范圍內(nèi)可以提供3D ToF圖像傳感器的供應(yīng)商，包括松下、佳能、索尼、英飛凌、Melexis、ADI、EPC Photonics、三星以及Artilux等多家公司。目前能過車規(guī)的主要是Melexis和松下。日本廠家技術(shù)能力強，畢竟CCD時代，日本廠家是壟斷的，CCD時代的經(jīng)驗累積讓日本廠家以dToF為方向，歐美廠家則以難度低的iToF為主。
圖片來源：互聯(lián)網(wǎng)
上圖為Melexis的產(chǎn)品特性簡介，顯然這是iToF，調(diào)制頻率是100MHz，絕大部分iToF都是這個頻率，高調(diào)制頻率大約是200MHz。FOV高達110°，波長選擇940納米，也是因為這個波長，量子效率最高。
圖片來源：互聯(lián)網(wǎng)
Melexis達到了最高的車規(guī)級，運行溫度范圍高達105℃，而一般是85℃。2020年8月Melexis宣稱其車載ToF傳感器出貨量已達到100萬片。英飛凌則有REAL3傳感器，分辨率略低為352*288，也達到了105℃溫度上限。
國內(nèi)因為松下將半導(dǎo)體業(yè)務(wù)專賣給中國臺灣新唐半導(dǎo)體，并且蘇州松下半導(dǎo)體也轉(zhuǎn)至新唐名下，因此國內(nèi)方案就近選擇松下的CCD ToF傳感器比較多，通常與之配合是ADI的控制IC。
圖片來源：互聯(lián)網(wǎng)
ADI ToF系統(tǒng)框架圖，ToF傳感器一般都是松下的MN34906，控制IC也可以用ADDI9043。高通的Robotics RB3平臺就是這種設(shè)計。分辨率是VGA級，90*70的FOV。
圖片來源：互聯(lián)網(wǎng)
ADI更多考慮戶外應(yīng)用，特別適合放在B柱子上的Face ID應(yīng)用。
對于dToF，其有效距離更遠，像素也可以更高，因此更適合做激光雷達，車內(nèi)應(yīng)用有些浪費了。ToF吸引了全球所有光電大廠，傳統(tǒng)2D相機是被動傳感器，已無潛力可挖，而ToF是主動傳感器，潛力無限，ToF傳感器飛速發(fā)展，ToF相機將在DMS和Face ID領(lǐng)域取代傳統(tǒng)2D相機。
