芯耀
1399
1977年，電影《星球大戰(zhàn)》橫空出世，其塑造的宏大宇宙觀及一系列前衛(wèi)科技，在當(dāng)時(shí)引起巨大轟動(dòng)，也啟蒙了無(wú)數(shù)人對(duì)科技未來(lái)的想象。40余年后的今天，影片中許多曾經(jīng)遙不可及的設(shè)想，正逐步變?yōu)楝F(xiàn)實(shí)。例如，曾在《星球大戰(zhàn)》系列電影中承擔(dān)重要運(yùn)輸任務(wù)的機(jī)器人，已逐漸走出科幻世界，越來(lái)越多地應(yīng)用于日常生活和工業(yè)生產(chǎn)中。
在剛剛結(jié)束的CES上，NVIDIA發(fā)布了一系列面向AI時(shí)代的新產(chǎn)品和技術(shù)，其中，在機(jī)器人領(lǐng)域的平臺(tái)突破，無(wú)疑影響深遠(yuǎn)。值得一提的是，在NVIDIA CEO黃仁勛身后亮相的由14款人形機(jī)器人中，有6款來(lái)自中國(guó)企業(yè)，其中一家就是銀河通用。
“中國(guó)的機(jī)器人技術(shù)是一個(gè)令人著迷且快速發(fā)展的領(lǐng)域。小時(shí)候，我深受《星球大戰(zhàn)》和《星際迷航》的啟發(fā)，機(jī)器人技術(shù)一直讓我覺(jué)得是人工智能最大的應(yīng)用方向之一”，NVIDIA機(jī)器人與邊緣計(jì)算副總裁Deepu Talla表示。
日前，Deepu Talla在訪問(wèn)中國(guó)市場(chǎng)期間，與銀河通用創(chuàng)始人、CTO王鶴，共同接受了<與非網(wǎng)>等媒體采訪，就機(jī)器人的發(fā)展動(dòng)力、最新突破等話題，進(jìn)行了深入的分析和探討。
突破1：仿真——重塑開(kāi)發(fā)流程，機(jī)器人產(chǎn)業(yè)加速前進(jìn)
多年來(lái)，三大核心因素始終在驅(qū)動(dòng)著機(jī)器人技術(shù)的發(fā)展，包括：危險(xiǎn)的工作、勞動(dòng)力短缺以及養(yǎng)老需求。不過(guò)，在看似不變的驅(qū)動(dòng)力下，機(jī)器人的發(fā)展正在產(chǎn)生新的變化。特別是從2024年到2025年，業(yè)界對(duì)機(jī)器人技術(shù)的興趣顯著增長(zhǎng)，中美兩國(guó)企業(yè)都在探索如何開(kāi)發(fā)人形機(jī)器人。
為什么在這個(gè)時(shí)間節(jié)點(diǎn)，人形機(jī)器人開(kāi)始加速前進(jìn)？是什么發(fā)生了什么改變？
NVIDIA機(jī)器人與邊緣計(jì)算副總裁 Deepu Talla
Deepu Talla指出，主要有兩方面原因：首先是技術(shù)進(jìn)步，特別是在生成式AI（GenAI）領(lǐng)域。大約兩年前，大型語(yǔ)言模型（LLMs）顛覆了數(shù)字應(yīng)用領(lǐng)域，這些技術(shù)應(yīng)用于機(jī)器人技術(shù)，打破了數(shù)字應(yīng)用與物理應(yīng)用之間的界限。
其次是仿真環(huán)境的改進(jìn)。以前，機(jī)器人技術(shù)的測(cè)試主要依賴于物理環(huán)境，這導(dǎo)致進(jìn)展非常緩慢。近年來(lái)，隨著數(shù)字孿生、人工智能等技術(shù)的快速發(fā)展，仿真技術(shù)越來(lái)越多地被應(yīng)用于人形機(jī)器人的開(kāi)發(fā)過(guò)程中，為人形機(jī)器人的研發(fā)開(kāi)辟了新思路。
機(jī)器人的主要挑戰(zhàn)在于“仿真與現(xiàn)實(shí)的差距”（sim-to-real gap）——也就是仿真結(jié)果與實(shí)際表現(xiàn)之間的差異。像Omniverse這樣的技術(shù)進(jìn)步顯著縮小了這一差距，使仿真成為機(jī)器人開(kāi)發(fā)中的一種可行且有效的工具。
某種程度而言，機(jī)器人開(kāi)發(fā)比自動(dòng)駕駛更難——Deepu Talla指出。對(duì)于自動(dòng)駕駛來(lái)說(shuō)，主要是避免障礙并確保安全，而無(wú)需與物理物體交互。而在機(jī)器人領(lǐng)域，涉及到的是與物體的接觸、碰撞和復(fù)雜的物理交互，這些都更難測(cè)試和優(yōu)化。
“為了解決機(jī)器人領(lǐng)域的挑戰(zhàn)，我們需要三臺(tái)計(jì)算機(jī)：第一臺(tái)計(jì)算機(jī)用于訓(xùn)練：這是用于訓(xùn)練AI模型的系統(tǒng)。訓(xùn)練通常在云端、數(shù)據(jù)中心或像NVIDIA DGX這樣的強(qiáng)大系統(tǒng)上進(jìn)行。這是構(gòu)建機(jī)器人‘大腦’的關(guān)鍵步驟。第二臺(tái)計(jì)算機(jī)用于仿真：一旦訓(xùn)練完成，就需要進(jìn)行測(cè)試。以往的標(biāo)準(zhǔn)是物理測(cè)試，但這種方式既慢又昂貴，還存在風(fēng)險(xiǎn)。更好的解決方案是引入一個(gè)‘仿真層’，即‘?dāng)?shù)字孿生’，在虛擬環(huán)境中完成測(cè)試，無(wú)需受到真實(shí)世界時(shí)間或成本的限制。第三臺(tái)計(jì)算機(jī)用于部署：第三種系統(tǒng)安裝在機(jī)器人內(nèi)部，它就是操作物理機(jī)器人的‘大腦’。對(duì)NVIDIA來(lái)說(shuō)，這可以通過(guò)像Jetson或AGX這樣的系統(tǒng)來(lái)實(shí)現(xiàn)”，Deepu Talla解釋說(shuō)。
通過(guò)整合這三種系統(tǒng)，可以顯著縮短開(kāi)發(fā)時(shí)間。這個(gè)循環(huán)過(guò)程（訓(xùn)練、仿真、測(cè)試）使得機(jī)器人技術(shù)進(jìn)步能夠在5年內(nèi)完成，大大加速了整個(gè)開(kāi)發(fā)部署流程。
突破2：合成數(shù)據(jù)——打破交互瓶頸，助力機(jī)器人海量落地
正如Deepu Talla所指出的機(jī)器人與真實(shí)世界的交互難度，仿真到真實(shí)的遷移絕非易事。以ChatGPT這樣的流行模型為例，是在大型GPU和來(lái)自互聯(lián)網(wǎng)的海量文本數(shù)據(jù)上訓(xùn)練出來(lái)的。但機(jī)器人模型的訓(xùn)練需要完全不同的數(shù)據(jù)。
由于機(jī)器人需要執(zhí)行動(dòng)作，比如拾取物體、移動(dòng)、交互或完成任務(wù)。再進(jìn)一步說(shuō)，如果想模擬一個(gè)機(jī)器人抓取物體的場(chǎng)景，就需要構(gòu)建一個(gè)仿真環(huán)境，并對(duì)物體及場(chǎng)景的各種屬性進(jìn)行定義，包括物體的形狀、材質(zhì)、紋理、質(zhì)量、摩擦力等?！斑z憾的是，目前這種數(shù)據(jù)在規(guī)模上根本不存在”，Deepu Talla說(shuō)。
他指出，已有的數(shù)據(jù)收集與解決方案主要存在兩方面挑戰(zhàn)：
一是現(xiàn)實(shí)世界數(shù)據(jù)的局限性：與自動(dòng)駕駛汽車可以依賴現(xiàn)有車輛通過(guò)傳感器收集數(shù)據(jù)不同，目前機(jī)器人的數(shù)量還遠(yuǎn)遠(yuǎn)不足以產(chǎn)生可比的數(shù)據(jù)量；二是當(dāng)前的方法包括使用Apple Vision Pro或動(dòng)作捕捉套裝來(lái)記錄人類動(dòng)作的示范，這些方法雖能提供有用的數(shù)據(jù)，但規(guī)模太小，無(wú)法完全滿足機(jī)器人模型的訓(xùn)練需求。
“沒(méi)有足夠的數(shù)據(jù)，機(jī)器人模型無(wú)法進(jìn)行有效的訓(xùn)練、測(cè)試或部署。這使得數(shù)據(jù)的收集和生成成為解決機(jī)器人開(kāi)發(fā)挑戰(zhàn)的關(guān)鍵第一步。通過(guò)采用這種結(jié)合現(xiàn)實(shí)與合成數(shù)據(jù)的創(chuàng)新工作流，我們正為機(jī)器人領(lǐng)域的重大進(jìn)步鋪平道路”，Deepu Talla表示。
對(duì)于解決這一問(wèn)題，合成數(shù)據(jù)生成變得至關(guān)重要。通過(guò)合成數(shù)據(jù)，可以生成特定動(dòng)作（例如抓取物體）的無(wú)數(shù)種變化，或者構(gòu)建完整的虛擬環(huán)境。
最新推出的NVIDIA Cosmos，就相當(dāng)于是一個(gè)“世界基礎(chǔ)模型”（“世界”指的不是地球，而是機(jī)器人交互的環(huán)境，例如機(jī)器人操作的房間內(nèi)可見(jiàn)區(qū)域），它可以生成高度逼真、類似視頻游戲的環(huán)境，用于機(jī)器人訓(xùn)練。
一個(gè)簡(jiǎn)單的例子可以理解“世界基礎(chǔ)模型”帶來(lái)的好處。在開(kāi)發(fā)過(guò)程中，可以直接輸入自然語(yǔ)言指令，比如“構(gòu)建一個(gè)包含玻璃花瓶、木質(zhì)桌子和金屬桌腿的室內(nèi)場(chǎng)景”，世界基礎(chǔ)模型就能夠自動(dòng)解析這些指令，并基于其對(duì)于物理世界的理解，構(gòu)建出相應(yīng)的仿真環(huán)境。這樣一來(lái)，就可以大幅節(jié)省構(gòu)建仿真環(huán)境的時(shí)間，同時(shí)提升仿真環(huán)境的真實(shí)性和多樣性。
“通過(guò)將少量的現(xiàn)實(shí)世界數(shù)據(jù)與使用NVIDIA Cosmos生成的大規(guī)模合成數(shù)據(jù)相結(jié)合，就可以克服機(jī)器人技術(shù)中數(shù)據(jù)稀缺的問(wèn)題”，Deepu Talla表示，“目前，這種新工作流已經(jīng)宣布并部分上線。我們正在與全球合作伙伴共同實(shí)施這一解決方案，以解決機(jī)器人領(lǐng)域的基礎(chǔ)數(shù)據(jù)挑戰(zhàn)?！?/p>
銀河通用合成數(shù)據(jù)突破，機(jī)器人走入廣泛場(chǎng)景
在剛剛結(jié)束的CES上，當(dāng)14臺(tái)人形機(jī)器人在黃仁勛身后緩緩升起時(shí)，他說(shuō)，“通用機(jī)器人的ChatGPT時(shí)刻即將到來(lái)。”這其中就包括銀河通用的人形機(jī)器人，它穩(wěn)穩(wěn)托舉起了NVIDIA新一代顯卡產(chǎn)品RTX5090。發(fā)布會(huì)結(jié)束后，黃仁勛第一時(shí)間參觀了銀河通用的展臺(tái)，并親自體驗(yàn)了銀河通用人形機(jī)器人替用戶取貨的全流程。
為了推動(dòng)人形機(jī)器人的發(fā)展，NVIDIA構(gòu)建了完整的用于合成運(yùn)動(dòng)生成的Isaac GR00T Blueprint，這是一項(xiàng)非常全面的針對(duì)人形機(jī)器人開(kāi)發(fā)通用基礎(chǔ)模型的計(jì)劃，涵蓋從數(shù)據(jù)生成到最終部署的完整流程，可幫助開(kāi)發(fā)者生成海量的合成運(yùn)動(dòng)數(shù)據(jù)，以便通過(guò)模仿學(xué)習(xí)來(lái)訓(xùn)練人形機(jī)器人。
創(chuàng)立于2023年5月的銀河通用，創(chuàng)業(yè)伊始，目標(biāo)也是聚焦于“通用”。王鶴表示，“本質(zhì)上，我們希望打造與專用機(jī)器人不同，能夠?qū)崿F(xiàn)通過(guò)人形高自由度的機(jī)器人進(jìn)入各行各業(yè)，走進(jìn)千家萬(wàn)戶?！?/p>
銀河通用創(chuàng)始人、CTO 王鶴
谷歌和特斯拉的數(shù)據(jù)顯示，采集13萬(wàn)條數(shù)據(jù)需17個(gè)月、16名工程師和13臺(tái)機(jī)器人，成本高達(dá)百萬(wàn)。這也意味著，短期內(nèi)，真實(shí)世界數(shù)據(jù)驅(qū)動(dòng)人形機(jī)器人實(shí)現(xiàn)具身智能的突破難度較大。
據(jù)介紹，銀河通用自創(chuàng)立起便致力于通過(guò)合成數(shù)據(jù)推動(dòng)智能發(fā)展，是該領(lǐng)域的早期探索者。通過(guò)利用NVIDIA Isaac系列和Omniverse等工具，合成大量機(jī)器人操作數(shù)據(jù)并轉(zhuǎn)化為模型；以及通過(guò)融合3D資產(chǎn)、環(huán)境和材質(zhì)紋理，模擬機(jī)器人運(yùn)行場(chǎng)景，探討其操作物體的方式。
王鶴解釋說(shuō)，在這一過(guò)程中，仿真器和渲染引擎至關(guān)重要，因?yàn)樗鼈冇糜隍?yàn)證合成場(chǎng)景的物理正確性，并通過(guò)并行渲染器生成海量合成數(shù)據(jù)。
目前，銀河通用在這方面的進(jìn)展主要包括：合成機(jī)械臂抓取蘋果和眼鏡的軌跡，利用豐富的物體和材質(zhì)庫(kù)，滿足多樣化需求，同時(shí)覆蓋不斷變化的場(chǎng)景、光照、紋理和動(dòng)作軌跡，以涵蓋各種可能情況。
讓王鶴引以為傲的是，銀河通用完全基于自研的10億級(jí)別的合成大數(shù)據(jù)，訓(xùn)練出了全球第一個(gè)堪稱基礎(chǔ)模型的技術(shù)，也是迄今為止全球最大的機(jī)器人基礎(chǔ)模型——10億級(jí)數(shù)據(jù)。這些數(shù)據(jù)并非來(lái)自真實(shí)世界，所有數(shù)據(jù)都來(lái)自合成，沒(méi)有任何真實(shí)數(shù)據(jù)。
這一基礎(chǔ)模型具有諸多顯著特性，滿足七大泛化“金標(biāo)準(zhǔn)”：光照泛化、背景泛化、平面位置泛化、空間高度泛化、動(dòng)作策略泛化、動(dòng)態(tài)干擾泛化、物體類別泛化。它能夠根據(jù)輸入的語(yǔ)言指令，直接針對(duì)特定任務(wù)進(jìn)行操作。
在銀河通用的現(xiàn)場(chǎng)演示中，這款模型展現(xiàn)了多項(xiàng)突破性的能力，包括抓取不同位置的物體。四種球在不同高度上可以變換背景，如水泥桌面、金屬桌面、大理石桌面、木質(zhì)桌面等。對(duì)于各種顏色的餐布，也能很好地適應(yīng)。
演示中，該模型展現(xiàn)出了令人驚艷的三大表現(xiàn)：
首先是隨機(jī)說(shuō)出一個(gè)物體名稱，即使這個(gè)物體沒(méi)有出現(xiàn)在合成數(shù)據(jù)中，機(jī)器人也能進(jìn)行抓取。據(jù)了解，這是因?yàn)槟Ｐ偷拈_(kāi)展通過(guò)監(jiān)督閉環(huán)，能夠?qū)崟r(shí)調(diào)整并進(jìn)行碰撞處理，因此提升了抓取的成功率。
其次是面對(duì)特殊新需求，機(jī)器人運(yùn)用基礎(chǔ)大模型的能力。比如抓取一箱瓶裝水，演示中，針對(duì)“東方樹葉”這個(gè)品牌，機(jī)器人在包裝上采集了200條數(shù)據(jù)后，模型學(xué)會(huì)的能力便可以應(yīng)用于其他品牌。此外，還有對(duì)于一些特殊零件抓取任務(wù)，即便不清楚零件具體名稱，采集 100 條數(shù)據(jù)并掌握零件名稱后，模型就能實(shí)現(xiàn)對(duì)其抓取。
第三是在家庭等場(chǎng)景中，人們對(duì)機(jī)器人的行為有特定的偏好。例如抓取杯子時(shí)，機(jī)器人不能碰到杯子內(nèi)壁。通過(guò)少量數(shù)據(jù)進(jìn)行訓(xùn)練后，就可以教會(huì)機(jī)器人如何幫助人們抓取不同的杯子而不碰到內(nèi)壁。
“這種偏好設(shè)定對(duì)于機(jī)器人的應(yīng)用至關(guān)重要。想象一下，如果現(xiàn)有的大模型在應(yīng)用時(shí)仍需大量數(shù)據(jù)（幾千條甚至幾萬(wàn)條）才能理解用戶的偏好并融入其中，那么機(jī)器人落地應(yīng)用將變得極為困難，不僅需要較長(zhǎng)的數(shù)據(jù)采集時(shí)間，這部分成本也會(huì)轉(zhuǎn)嫁到產(chǎn)品上，最終影響產(chǎn)品交付給客戶”，王鶴強(qiáng)調(diào)。
銀河通用基于10億規(guī)模合成大數(shù)據(jù)訓(xùn)練的模型，僅需100條數(shù)據(jù)就能滿足企業(yè)需求，顯著減少數(shù)據(jù)采集時(shí)間和成本。該模型作為基礎(chǔ)模型，能快速理解客戶需求并泛化到同類物體，如零售店中的不同產(chǎn)品。它能迅速部署到企業(yè)中，加速具身大模型機(jī)器人的行業(yè)應(yīng)用。借助大數(shù)據(jù)，銀河通用完成了更多復(fù)雜任務(wù)，如靈巧抓取。通過(guò)10億級(jí)別零售數(shù)據(jù)訓(xùn)練的擴(kuò)散模型，實(shí)現(xiàn)了四指或五指操作的精準(zhǔn)抓取，成功率超90%，為靈巧操作奠定了基礎(chǔ)。
此外，銀河通用將模型與足式機(jī)器人結(jié)合，在NVIDIA Isaac引擎中大規(guī)模應(yīng)用。全身控制學(xué)習(xí)使機(jī)器人自主運(yùn)行，完成任務(wù)。例如，宇樹的四足機(jī)器人能繞未名湖撿垃圾，精準(zhǔn)識(shí)別垃圾，基于強(qiáng)化學(xué)習(xí)，不依賴真實(shí)數(shù)據(jù)。這種能力可針對(duì)不同材質(zhì)、形狀、地形等靈活調(diào)整，實(shí)現(xiàn)室內(nèi)外及不同場(chǎng)景的良好泛化應(yīng)用。
人形機(jī)器人如何克服真實(shí)場(chǎng)景落地挑戰(zhàn)？
盡管合成數(shù)據(jù)大幅降低了數(shù)據(jù)挑戰(zhàn)，但是在實(shí)際應(yīng)用中，人形機(jī)器人仍要面臨與現(xiàn)實(shí)場(chǎng)景不一致的挑戰(zhàn)。如何進(jìn)一步縮小虛擬與現(xiàn)實(shí)環(huán)境的差距？
Deepu Talla表示，GR00T Blueprint通過(guò)多樣化的參考架構(gòu)，可為特定任務(wù)提供定制化的blueprints，以減少合成數(shù)據(jù)與現(xiàn)實(shí)場(chǎng)景的不一致。它包括GR00T-Mimic工具，可生成多種軌跡，以及GR00T-Gen，利用Cosmos技術(shù)將3D數(shù)據(jù)轉(zhuǎn)換為不同格式，支持現(xiàn)實(shí)場(chǎng)景復(fù)雜性的模擬。此外，平臺(tái)為視覺(jué)、語(yǔ)言和動(dòng)作（VLA）模型訓(xùn)練及機(jī)器人策略測(cè)試設(shè)計(jì)了專用藍(lán)圖，如Isaac Lab仿真環(huán)境中的測(cè)試藍(lán)圖。
GR00T平臺(tái)還注重實(shí)時(shí)多模態(tài)數(shù)據(jù)處理，能夠整合攝像頭和傳感器數(shù)據(jù)，與機(jī)器人執(zhí)行器無(wú)縫協(xié)作，提升環(huán)境感知能力并縮小仿真與現(xiàn)實(shí)的差距。并且，依托Omniverse的Isaac Sim仿真環(huán)境，通過(guò)數(shù)字孿生技術(shù)高度還原真實(shí)場(chǎng)景，結(jié)合物理交互屬性，能夠確保仿真環(huán)境的現(xiàn)實(shí)一致性，幫助機(jī)器人精準(zhǔn)適應(yīng)真實(shí)場(chǎng)景。
正是通過(guò)多種工具的結(jié)合，NVIDIA實(shí)現(xiàn)了靈活且可擴(kuò)展的平臺(tái)。“我們的目標(biāo)不是制造人形機(jī)器人，而是打造一個(gè)平臺(tái)，使每個(gè)人都能創(chuàng)建自己的機(jī)器人。我們正在不斷為平臺(tái)添加更多功能，以確保其靈活性和可擴(kuò)展性”，Deepu Talla補(bǔ)充。
除此之外，使用合成數(shù)據(jù)訓(xùn)練機(jī)器人，確保物理上的真實(shí)性和準(zhǔn)確性也是一大挑戰(zhàn)。
對(duì)此，王鶴解釋，盡管仿真器正在不斷發(fā)展，物理建模和接觸模擬的應(yīng)用也在持續(xù)進(jìn)步。然而也必須承認(rèn)，目前沒(méi)有任何一個(gè)仿真器能夠完全模擬真實(shí)世界。
因此對(duì)于使用仿真器的機(jī)器人公司來(lái)說(shuō)，如何平衡數(shù)據(jù)生成與真實(shí)機(jī)器人對(duì)接始終是一個(gè)挑戰(zhàn)。目前，解決這個(gè)問(wèn)題的途徑是，通過(guò)算法手段將仿真與現(xiàn)實(shí)世界的差異縮小。例如，通過(guò)貝爾曼最優(yōu)性原則，采用預(yù)隨機(jī)化方式，對(duì)接觸面上的摩擦力、材質(zhì)，以及物體的質(zhì)量中心、質(zhì)量大小和分布等問(wèn)題進(jìn)行隨機(jī)處理。實(shí)際上，現(xiàn)實(shí)中存在諸多復(fù)雜因素，在仿真環(huán)境中處理這些因素比在真實(shí)環(huán)境中更具挑戰(zhàn)性。
他補(bǔ)充，雖然仿真器不需要與真實(shí)環(huán)境達(dá)到完全一致，但它應(yīng)該具備更好的魯棒性和泛化能力，能夠在各種應(yīng)用場(chǎng)景下保持有效性。這也是銀河通用一直以來(lái)努力鉆研并持續(xù)推進(jìn)的技術(shù)，目標(biāo)是確保機(jī)器人在仿真中學(xué)習(xí)到的策略能夠在現(xiàn)實(shí)世界中有效應(yīng)用。
寫在最后
傳統(tǒng)的機(jī)器人開(kāi)發(fā)方法主要是基于規(guī)則進(jìn)行編程，這種方法在面對(duì)高度復(fù)雜和不可預(yù)測(cè)的環(huán)境時(shí)，往往會(huì)力不從心。而基于深度學(xué)習(xí)的方法則不同，它可以讓機(jī)器人通過(guò)觀察和模仿人類專家的示范來(lái)學(xué)習(xí)新技能，
不過(guò)，這需要收集大量廣泛且高質(zhì)量的數(shù)據(jù)集，而這些數(shù)據(jù)集的收集往往既繁瑣又耗時(shí)，成本高昂。面臨這些挑戰(zhàn)，NVIDIA打造的仿真環(huán)境，以及與業(yè)界在合成數(shù)據(jù)等方面探索，正在逐一打破這些瓶頸，為人形機(jī)器人注入新靈魂，開(kāi)啟新范式，推動(dòng)人形機(jī)器人產(chǎn)業(yè)步入快速發(fā)展期。
