英偉達(dá)推L3級自動駕駛?cè)珬Ｏ到y(tǒng)Alpamayo

英偉達(dá)GTC 2025大會上，吳新宙講解了英偉達(dá)的L3級自動駕駛系統(tǒng)NDAS（即NVIDIA DRIVE AV Solution），代號Alpamayo。

Alpamayo是阿爾帕瑪尤山（西班牙語：Nevado Alpamayo）是安第斯山脈的布蘭卡山脈其中一座最顯而易見的山峰，該山峰位于秘魯境內(nèi)，海拔5947米。

第一版NDAS將于2025年4月推出，2027年1季度將推出雙Thor高速公路版L3，2027年底推出雙Thor城郊Urban版L3。主機廠什么都不需要做，只需要把靈魂交給英偉達(dá)即可。

英偉達(dá)智能駕駛的車端和云端

圖片來源：英偉達(dá)

從模型訓(xùn)練，傳感器仿真、交通流仿真、合成數(shù)據(jù)、世界模型到模型部署，從VLM到VLA，英偉達(dá)都替主機廠想好了，只要主機廠掏錢就行。

Alpamayo實際就是端到端系統(tǒng)

圖片來源：英偉達(dá)

Alpamayo網(wǎng)絡(luò)架構(gòu)

這里英偉達(dá)沒有細(xì)說token-to-token的意思，實際就是將串行token改為并行，LLM最常見的Decoder-only Transformers結(jié)構(gòu)在解碼時, 通常會串行逐個生成token，如何并行解碼是LLM推理加速中比較獨特的方式。在過去有Speculative Decoding 能巧妙的實現(xiàn)“并行解碼”，但解碼過程需要有小模型(Draft Model)參與，使得工程實現(xiàn)和部署并不夠優(yōu)雅。

英偉達(dá)的Medusa 則提供了一種One Model 的并行解碼方案，其實現(xiàn)動機在于增加Multiple Decoding Heads 來做Next-Next-Token預(yù)測，提高預(yù)測效率，這里的Heads 和美杜莎的形象不謀而合。美杜莎（希臘語：Μ?δουσα；英語：Medusa）是古希臘神話中的蛇發(fā)女妖，頭上有九條蛇頭。英偉達(dá)有論文MEDUSA: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads。Medusa加速效果，相較baseline, Medusa-2 加速2.83x，在Math/Coding/Extraction 種類的推理任務(wù)中加速3x以上。訓(xùn)練好的模型經(jīng)過美杜莎微調(diào)即為Alpamayo。

通常將常規(guī)的decoding過程稱為Next-Token 預(yù)測，將多token并行解碼定義為Next-Next-Tokens 預(yù)測，統(tǒng)一任務(wù)形式。Medusa 在現(xiàn)有模型基礎(chǔ)上，增加多個Medusa Head，與原模型上的LM Head 一同做預(yù)測。新增的Medusa Head 包含Block (可以多個堆疊)和分類頭，輸入為backbone模型的Last Hidden數(shù)據(jù)，輸出為預(yù)測Token的概率。

美杜莎網(wǎng)絡(luò)架構(gòu)

圖片來源：英偉達(dá)

MEDUSA 遵循推測解碼框架，其中每個解碼步驟主要由三個子步驟組成：(1) 生成候選者，(2) 處理候選者， (3) 接受候選者。

對于 MEDUSA，(1) 是通過 MEDUSA 頭（head）實現(xiàn)的，(2) 是通過樹注意力（tree attention）實現(xiàn)的，并且由于 MEDUSA 頭位于原始主干模型之上，因此 (2) 中計算的 logits 可以用于子步驟 (1) 的下一個解碼步驟。最后一步 (3) 可以通過拒絕采樣（rejection sampling）或典型接受（typical acceptance）來實現(xiàn)。有3個medusa頭，包含原LM_head模型一次性可以輸出1+3個token。

首先，MEDUSA 頭與原始主干模型一起進(jìn)行訓(xùn)練。其中，原始主干模型可以在訓(xùn)練期間保持凍結(jié)狀態(tài) (MEDUSA-1) 或一起訓(xùn)練 (MEDUSA-2)。這種方法甚至可以在單個 GPU 上微調(diào)大模型，利用強大的基礎(chǔ)模型學(xué)得表征。此外，MEDUSA 頭的分布確保與原始模型的分布一致，從而緩解了分布偏移問題，并且 MEDUSA 不會增加服務(wù)系統(tǒng)設(shè)計的復(fù)雜性，對分布式設(shè)置很友好。

樹狀掩碼注意力機制

圖片來源：英偉達(dá)

由于候選者增加會提高計算需求，該研究采用樹狀結(jié)構(gòu)的注意力機制來同時處理多個候選者。這種注意力機制不同于傳統(tǒng)的因果注意力范式。在其框架內(nèi)，只有來自同一 continuation的token才被視為歷史數(shù)據(jù)。

圖片來源：吳新宙GTC2025大會

Alpamayo模型訓(xùn)練流程，第一步是互聯(lián)網(wǎng)知識預(yù)訓(xùn)練，即LLM的第一步，數(shù)萬億乃至數(shù)十萬億token的互聯(lián)網(wǎng)知識搜集與訓(xùn)練。第二步是異構(gòu)駕駛數(shù)據(jù)訓(xùn)練，應(yīng)該是人工駕駛數(shù)據(jù)與合成駕駛數(shù)據(jù)訓(xùn)練。第三步繼續(xù)加強訓(xùn)練。第四步監(jiān)督數(shù)據(jù)微調(diào)，主要是各種駕駛規(guī)則。第五步是強化學(xué)習(xí)訓(xùn)練，主要是針對性長尾場景訓(xùn)練，然后第六步，美杜莎訓(xùn)練，量化部署上車。

英偉達(dá)L3架構(gòu)

圖片來源：吳新宙GTC2025大會

上圖中，MRM是“Minimum Risk Maneuver” 最小風(fēng)險狀態(tài)，這是美國SAE汽車協(xié)會在2022年10月L3級自動駕駛標(biāo)準(zhǔn)上添加的一項功能安全，在某些情況下，當(dāng)駕駛員可能無法響應(yīng)fall-back就緒用戶請求時，系統(tǒng)應(yīng)預(yù)期執(zhí)行一種被稱為“最小風(fēng)險操作”（MRM）的安全操作。在關(guān)鍵操作條件下定義 MRM 的功能安全概念（FSC）是一項非常重要且具有挑戰(zhàn)性的活動。這里的MRM應(yīng)該是一個模塊化或全局端到端路徑規(guī)劃器，加一個最低風(fēng)險限制的輔助模塊，這個最低風(fēng)險概念比較模糊，大概就是交通規(guī)則。對應(yīng)MRM還有一個最低風(fēng)險條件MRC (Minimal Risk Condition)。

MRC與MRM

圖片來源：論文Minimal Risk Maneuver Strategies for Cooperative and Collaborative Automated Vehicles

英偉達(dá)Halos

圖片來源：英偉達(dá)GTC2025大會

Halos 是涵蓋三個不同層面但互補的整體安全系統(tǒng)：在技術(shù)層面，它包括平臺、算法和生態(tài)系統(tǒng)安全。在開發(fā)層面，它包括設(shè)計時、部署時和驗證時的防護(hù)措施。在計算層面，它包括 AI 訓(xùn)練到部署，使用三個計算平臺方案：NVIDIA DGX 用于 AI 訓(xùn)練、在 NVIDIA OVX 上運行用于仿真的 NVIDIA Omniverse 和世界模型 NVIDIA Cosmos 以及用于部署的 NVIDIA DRIVE AGX。

Halos 包括用于安全數(shù)據(jù)加載和加速庫，以及用于安全數(shù)據(jù)創(chuàng)建、管理和重建的應(yīng)用編程接口，以便在訓(xùn)練前過濾掉不良行為和偏差等。它還提供豐富的訓(xùn)練、仿真和驗證環(huán)境，利用 NVIDIA Omniverse Blueprint 進(jìn)行自動駕駛汽車仿真，結(jié)合 NVIDIA Cosmos 世界基礎(chǔ)模型進(jìn)行自動駕駛汽車訓(xùn)練、測試和驗證。此外，它還擁有一個多元化的自動駕駛汽車堆棧，將模塊化組件與端到端 AI 模型相結(jié)合，以確保安全的采用前沿 AI 模型。

Halos 包含多元且無偏見的安全數(shù)據(jù)集，以及安全部署流水線，它包括分級流水線和自動安全評估，和用于持續(xù)安全改進(jìn)的數(shù)據(jù)飛輪，引領(lǐng)自動駕駛汽車安全標(biāo)準(zhǔn)和規(guī)范。

Halos 的切入點是 NVIDIA AI 系統(tǒng)檢測實驗室，汽車制造商和開發(fā)商可通過該實驗室驗證其產(chǎn)品與 NVIDIA 技術(shù)集成的安全性。在2025年初 CES 上推出的 AI 系統(tǒng)檢測實驗室是首個獲得美國國家標(biāo)準(zhǔn)學(xué)會國家認(rèn)可委員會 (ANAB) 認(rèn)證的全球計劃，它將功能安全、網(wǎng)絡(luò)安全、AI 安全和合規(guī)整合到一個統(tǒng)一安全框架中。AI 系統(tǒng)檢測實驗室的初創(chuàng)成員包括 Ficosa、OmniVision、onsemi 和大陸集團(tuán)。

英偉達(dá)自動駕駛?cè)笾е?/strong>