特斯拉FSD算法技術(shù)解讀 - 國內(nèi)FSD測試特斯拉真輸了么？

最近特斯拉FSD進入中國，雖然網(wǎng)絡(luò)上各種媒體老師的測試我們都贏了，但Jack認為特斯拉FSD算法依然是最強，還是FSD香。

此次國內(nèi)特斯拉FSD的各種測試主要評價指標都是接管率，而且特斯拉的接管主要出現(xiàn)在對于道路地圖以及中國特殊交規(guī)不熟悉的方面，但在如下方面特斯拉至少領(lǐng)先國內(nèi)各家一代：

感知控制算法與駕駛體驗?- 媲美老司機的油門，剎車，方向控制。這種老司機的駕駛體驗在避障繞行，選擇路徑時候的響應(yīng)，提前，絲滑規(guī)劃上發(fā)揮的淋漓盡致。

全場景無感覆蓋能力- 只要有GPS定位信息，他就會尋找可通行的路徑抵達目的地，如果沒有GPS信息也會自行尋找可行駛路徑漫游自動駕駛行駛。

這些背后是真正端到端人工智能大模型的優(yōu)勢，至于本次各家測試暴露的定位、地圖適配以及交規(guī)問題都屬于本土適配問題，不是技術(shù)難題。所以，特斯拉算法依然值得學(xué)習(xí)和研究。我們之前了解特斯拉的算法主要是通過特斯拉的發(fā)布會等媒體溝通渠道獲取，本文另辟蹊徑通過特斯拉FSD自動駕駛算法專利，從以下幾個方面去探索特斯拉人工智能算法：

算法基礎(chǔ) -?軟硬結(jié)合的閉環(huán)架構(gòu)

感知秘訣 - 基于VRU和非VRU的BEV和Occ

規(guī)控秘訣 - 考慮延遲，實時建模

希望能找到特斯拉FSD以及其人工智能算法優(yōu)勢點，獲取一些有用信息和思路。此外最近DeepSeek不是火了么，我之前文章《什么是 DeepSeek？為什么它會顛覆人工智能領(lǐng)域？》也分析過，DeepSeek其實用了最厲害的一招—— Distillation也就是蒸餾的方法站著前人的肩膀上獲得的了二次創(chuàng)新的成功，那么自動駕駛機器人等physical AI方面是不是也可以采用蒸餾的方法來蒸餾特斯拉FSD算法？畢竟FSD也是端到端大模型，或許看完本文會有答案。

算法基礎(chǔ) - 軟硬結(jié)合的閉環(huán)架構(gòu)

根據(jù)特斯拉WO2024073115A1專利內(nèi)容，特斯拉架構(gòu)師一套組織緊密，從訓(xùn)練到部署，再到數(shù)據(jù)回流，迭代的閉環(huán)，這一套算法架構(gòu)適用于所有Physical AI包括自動駕駛和人形機器人。

首先算法層面，特斯拉 FSD 算法其實并不是一個整體實體，我們?？吹降氖疽鈭D一個大模型網(wǎng)絡(luò)，它由較小的專用子網(wǎng)絡(luò)組成，每個子網(wǎng)絡(luò)都專用于自動駕駛的特定方面或功能。這種模塊化設(shè)計意味著特斯拉可以通過整體訓(xùn)練來優(yōu)化整個算法，或者單獨訓(xùn)練來改進其中一個。

當(dāng)一個部分得到改進時，人工智能的端到端特性也意味著其他部分將學(xué)會適應(yīng)改進，從而表現(xiàn)得更好。它還允許在部署和初始平臺訓(xùn)練期間實現(xiàn)更高效的處理和適應(yīng)性。這些子網(wǎng)絡(luò)可能負責(zé)以下任務(wù)：

識別和解釋交通信號檢測和跟蹤移動物體，包括車輛、行人、自行車等保持車道位置并行駛道路生成周圍環(huán)境的 3D 地圖規(guī)劃路徑并做出實時駕駛決策

這種分工使 FSD 能夠更高效、更精確地處理自動駕駛的復(fù)雜性。這些算法通過Hydranet算法縫合起來，整個系統(tǒng)，從前端到后端，都可以一起訓(xùn)練。這種訓(xùn)練方法現(xiàn)在包括端到端人工智能，通過讓每個單獨的組件學(xué)習(xí)如何與系統(tǒng)中的其他組件交互來優(yōu)化整體系統(tǒng)性能。有了這個上層算法結(jié)構(gòu)之后，底層硬件如何承接這些算法運算？

特斯拉采用了定制編譯器的方法由于不同的硬件組件擅長不同的功能 - 而且它們也需要不同類型的指令。CPU、GPU 和專用 AI 加速器 (NPU) 都具有獨特的架構(gòu)和功能。Tesla 使用編譯器工具鏈將 FSD 轉(zhuǎn)換為針對每個硬件組件量身定制的機器代碼。這可確保指令在每個處理器上以最佳方式執(zhí)行，從而最大限度地提高性能和效率。

為了進一步優(yōu)化性能，特斯拉采用了一種分配任務(wù)的系統(tǒng)，可以智能地將每個 FSD 子網(wǎng)絡(luò)分配給最合適的硬件組件。這確保計算要求高的任務(wù)由最強大的處理器處理，而較簡單的任務(wù)則委托給更高效的單元。這種戰(zhàn)略性的任務(wù)分配最大限度地提高了系統(tǒng)的整體效率，確保每個組件都在其最佳性能范圍內(nèi)運行。硬件執(zhí)行指令的順序?qū)π阅芤财鹬陵P(guān)重要的作用。

特斯拉的系統(tǒng)包括一個“執(zhí)行調(diào)度程序”，它可以確定最有效的操作順序，最大限度地減少延遲，最大限度地提高實時響應(yīng)能力。為確?？煽啃院桶踩裕厮估南到y(tǒng)支持冗余硬件配置。這意味著，如果關(guān)鍵組件發(fā)生故障，備用組件可以無縫接管，防止運行中斷。這種冗余和故障轉(zhuǎn)移功能對于維護自動駕駛系統(tǒng)的安全性和完整性至關(guān)重要，尤其是在駕駛時。

特斯拉為 FSD 內(nèi)置了物理和軟件冗余，確保其在自動駕駛時保持最低安全標準。此外，特斯拉算法架構(gòu)，還涵蓋整個數(shù)據(jù)拓展鏈路，它基于根據(jù)觸發(fā)信號傳輸選擇性的傳感器信息。這些觸發(fā)信號可能包括錯誤的預(yù)測、用戶干預(yù)或未能正確進行路徑規(guī)劃。這樣一個閉環(huán)系統(tǒng)，確保不符合預(yù)期的數(shù)據(jù)得到回傳，供算法迭代。那么海量的數(shù)據(jù)如何處理也是一個大問題，特斯拉不少專利分享過，下次有機會解讀分享下。

感知秘訣 - 基于VRU和非VRU的BEV和Occ

其實，我們開車的時候最怕的是安全事故，根據(jù)特斯拉專利US20230057509A1介紹，特斯拉感知算法對于道路上可能的交通參與者，按照可能傷害進行分區(qū)，分為兩部分：

弱勢道路使用者（VRU），VRU 定義為行人、騎自行車的人、嬰兒車、滑板者、動物，基本上是任何可能受傷的人。非 VRU ，另一部分針對不屬于該類別的其他所有序列，例如，汽車、應(yīng)急車輛、交通錐、碎片等。

將其分為兩個分支使 FSD 能夠查找、分析并確定某些事物的優(yōu)先級。本質(zhì)上，在整個虛擬攝像機系統(tǒng)中，VRU 的優(yōu)先級高于其他對象。

特斯拉處理所有原始圖像，將其輸入到 VRU 和非 VRU 分支，并僅挑選出關(guān)鍵和必要的信息，用于物體檢測和分類。有了這些感知物體的信息，然后，系統(tǒng)將這些對象根據(jù)距離等關(guān)系，繪制3D BEV圖。并在不同高度創(chuàng)建“虛擬相機”。虛擬相機可以看作是用于拍攝電影的真實相機。它允許系統(tǒng)從特定角度觀看場景，從而可以更廣泛地觀察交通情況。形成3D映射占位- BEV+Occupancy時空關(guān)系組合。

現(xiàn)在，將所有這些數(shù)據(jù)結(jié)合起來。這兩個虛擬攝像頭是同步的，它們的所有信息和理解都會反饋到系統(tǒng)中，以保持車輛周圍情況的精確 3D 地圖。 而且不僅僅是攝像頭。虛擬攝像頭系統(tǒng)和 3D 地圖與汽車的其他傳感器協(xié)同工作，將運動數(shù)據(jù)（速度和加速度）納入 3D 地圖的分析和制作中。

特斯拉汽車屏幕上顯示的 FSD 可視化效果最能理解該系統(tǒng)。它可以同時拾取和跟蹤駕駛環(huán)境中許多移動的汽車和行人。當(dāng)然，我們看到的只是它所跟蹤的所有信息的一小部分。其實可以特斯拉算法可獲取更多未顯示在屏幕上的屬性。例如：

行人其距離有多遠、移動的方向以及行進速度有多快。其他移動物體（例如車輛）可能具有其他屬性，例如寬度、高度、速度、方向、規(guī)劃路徑等。即使是非 VRU 物體也會包含屬性，例如道路，其寬度、速度限制等將根據(jù) AI 和地圖數(shù)據(jù)確定。自車本身具有一系列屬性，例如速度、寬度、長度、規(guī)劃路徑等。

當(dāng)將所有這些道路上物體的屬性結(jié)合起來時，自動駕駛最終就會對周圍環(huán)境以及如何最好地駕駛有很好的了解，也就形成了我們常聽到的BEV+Occupancy時空關(guān)系組合，當(dāng)然這個時空關(guān)系還有兩個指標一個是刷新率一個是分辨率都很高，國內(nèi)應(yīng)該沒有能比的。

那么下一步就是基于這些信息進行路徑規(guī)劃和駕駛，當(dāng)然規(guī)劃控制和環(huán)境認知是同步進行的。

規(guī)控秘訣 - 考慮延遲，實時建模自動駕駛系統(tǒng)

不管是端到端還是其他結(jié)構(gòu)，他都離不開幾個關(guān)鍵組件組成：

傳感器套件：從安裝在車輛上的各種傳感器收集原始數(shù)據(jù)。

感知系統(tǒng)：處理傳感器數(shù)據(jù)以了解車輛的環(huán)境。

規(guī)劃系統(tǒng)：根據(jù)感知環(huán)境和車輛狀態(tài)確定最佳軌跡。

控制器：將規(guī)劃的軌跡轉(zhuǎn)換為車輛執(zhí)行器的特定命令。

執(zhí)行器：執(zhí)行命令來控制車輛的運動。

其實自動駕駛不但感知算法從接收到光信號到感知成環(huán)境信息有延遲大概小幾百毫秒之內(nèi)，當(dāng)然上文講到特斯拉算法應(yīng)該是100ms之內(nèi)；而且執(zhí)行系統(tǒng)也有，當(dāng)這兩者相差大或者匹配不好的時候，規(guī)劃控制就會不絲滑。

特斯拉WO2024039866A1專利，介紹過其規(guī)劃控制系統(tǒng)內(nèi)的創(chuàng)新，這對于生成安全、舒適和高效的軌跡并考慮整個系統(tǒng)固有的延遲至關(guān)重要，從而讓乘客體味到“老司機”般的絲滑開車控制。

首先特斯拉采用了動態(tài)延遲建模和實時軌跡優(yōu)化的方法特斯拉算法能夠?qū)崟r模擬各種車輛部件的延遲，從而能夠更準確地預(yù)測和控制車輛狀態(tài)。這解決了自動駕駛的一個關(guān)鍵挑戰(zhàn)：感知、決策和行動之間的延遲。

如圖上圖所示，系統(tǒng)考慮了不同組件的延遲，從規(guī)劃器執(zhí)行到單個執(zhí)行器的響應(yīng)。這種綜合建模使系統(tǒng)能夠根據(jù)每個車輛組件的實際性能特征優(yōu)化軌跡。

實時軌跡優(yōu)化會考慮這些建模延遲，從而打造更準確、響應(yīng)更靈敏的駕駛體驗。通過預(yù)測系統(tǒng)中的延遲，車輛可以做出主動決策，從而實現(xiàn)更平穩(wěn)、更安全的自動駕駛。

此外，特斯拉采用了分離橫向（方向盤）和縱向（油門剎車）控制的方法。

將軌跡規(guī)劃分為橫向（轉(zhuǎn)向）和縱向（加速/制動）部分。通過獨立處理這兩個運動方面，這種分離可以更精確地控制車輛。

上圖說明了系統(tǒng)如何分別處理橫向和縱向控制。這種方法認識到轉(zhuǎn)向和加速/制動系統(tǒng)可能具有不同的響應(yīng)時間和特性。通過對橫向和縱向控制使用單獨的數(shù)學(xué)函數(shù)，系統(tǒng)可以獨立優(yōu)化每個方面，從而有可能提高整體性能。

通過分別處理這些因素，系統(tǒng)可以獨立優(yōu)化每個控制方面，從而提高各種車輛平臺的整體性能。這種方法對于將全自動駕駛 (FSD) 系統(tǒng)應(yīng)用于特斯拉多樣化的車輛系列以及可能應(yīng)用于其他制造商的各種車型至關(guān)重要。

最后，特斯拉算法采用前饋狀態(tài)估計與持續(xù)優(yōu)化的方法

前饋方法估計車輛狀態(tài)，并根據(jù)真實數(shù)據(jù)不斷優(yōu)化其性能。此功能使系統(tǒng)能夠預(yù)測未來狀態(tài)并做出主動決策，而不是簡單地對當(dāng)前狀況做出反應(yīng)。

如下圖演示了如何通過前饋估計考慮系統(tǒng)延遲以獲得更準確、更平滑的軌跡。

該系統(tǒng)使用有關(guān)車輛當(dāng)前狀態(tài)的信息來估計車輛沿著先前規(guī)劃的軌跡行駛了多遠。這種前饋過程使系統(tǒng)能夠保持規(guī)劃周期之間的一致性，并更有效地應(yīng)對不斷變化的條件。

該專利還提到在軌跡規(guī)劃中使用神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)模型。這些復(fù)雜的模型旨在找到兼顧可行性、安全性和乘客舒適度的軌跡。

最后不得不佩服特斯拉算法，整體架構(gòu)面的設(shè)計邏輯都是奔著AGI或者Physical AI的通用方向去。Tesla FSD進入中國，毫無疑問是中國自動駕駛的“鯰魚”，將會再一次激發(fā)中國自動駕駛的活力，促進中國自動駕駛產(chǎn)品和技術(shù)的進步。

對于文章開頭的言論，Jack敢這么說，也主要是工作的原因?qū)κ忻嫔纤?a class="article-link" target="_blank" href="/tag/%E6%99%BA%E8%83%BD%E9%A9%BE%E9%A9%B6/">智能駕駛從實際駕乘體驗到背后技術(shù)方案都有一定的了解。回到文章開始的Bonus問題，特斯拉的 FSD 算法是不是可以蒸餾出來呢？回答應(yīng)該是很難，Physical AI的算法體系和digital Agent的算法體系差異是實時性和安全性。而這種差異性體現(xiàn)在與Physical的結(jié)合,不同物理（physcial）載體的延遲 latency 和結(jié)構(gòu)不一樣。

不過最近，特斯拉發(fā)布一篇新的論文，特斯拉應(yīng)該考慮如何將特斯拉算法架構(gòu)平臺化，方便移植不同的硬件平臺，適配不同的OEM主機廠，下期再見。未經(jīng)準許嚴禁轉(zhuǎn)載和摘錄-參考資料：

特斯拉FSD人工智能專利WO2024073115A1《AI INFERENCE COMPLIER AND RUNTIME TOOL CHAIN》pdf

特斯拉FSD人工智能專利US20230057509A1《VISION-BASED MACHINE LEARNING MODEL FOR AUTONOMOUS DRIVING WITH ADJUSTABLE VIRTUAL CAMERA》pdf

特斯拉FSD人工智能專利WO2024039866A《1Real time trajectory planning system with dynamic modelling of component level system latency for self driving vehicles》pdf

加入我們的知識星球可以下載包含以上參考資料的汽車行業(yè)海量的一手資料。