芯耀
3107
今年以來，隨著AI PC的陸續(xù)落地，邊緣AI的話題進(jìn)一步發(fā)酵。邊緣AI，是指在數(shù)據(jù)源附近的邊緣設(shè)備上直接部署和執(zhí)行人工智能算法和模型的技術(shù)。這種技術(shù)可以減少對中心數(shù)據(jù)中心的依賴，降低延遲，提高數(shù)據(jù)處理速度，增強(qiáng)數(shù)據(jù)隱私保護(hù)，并在一定程度上減輕網(wǎng)絡(luò)帶寬的壓力。
邊緣AI的發(fā)展得益于神經(jīng)網(wǎng)絡(luò)的成熟、計算基礎(chǔ)架構(gòu)的進(jìn)步，以及物聯(lián)網(wǎng)設(shè)備的廣泛采用。目前，邊緣AI正在智能家居、智能工廠、智慧城市、智能交通、醫(yī)療健康等多個領(lǐng)域得到應(yīng)用。日前，在芯原AI專題技術(shù)研討會上，與會者就邊緣AI的發(fā)展和應(yīng)用進(jìn)行了深度的討論。
大模型推動邊緣計算變革
大模型如何推動邊緣計算的變革？這一過程將面臨怎樣的機(jī)遇與挑戰(zhàn)？芯原執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進(jìn)表示，如今大模型已經(jīng)開始滲透到邊緣設(shè)備，對各行各業(yè)產(chǎn)生了深遠(yuǎn)的影響。多模態(tài)大模型的發(fā)展尤為突出，其深層智能水平得到了顯著提升，OpenAI等公司的積極推動更是加速了這一趨勢。
他提到，大模型在邊緣設(shè)備上的應(yīng)用主要體現(xiàn)在手機(jī)、AI-PC和汽車等領(lǐng)域。這些設(shè)備通過引入大模型人工智能，實現(xiàn)了更自然的人機(jī)交互、多模態(tài)能力和通用智能等特性。例如，ChatGPT等應(yīng)用通過自然語言處理，使用戶能夠更自然地與機(jī)器對話，獲取信息。同時，OpenAI發(fā)布的Sora視頻生成模型和谷歌的Project Astra項目，都展示了大模型在視頻生成和語音交互方面的強(qiáng)大能力。
芯原在AI計算領(lǐng)域已經(jīng)進(jìn)行了廣泛的布局并取得了一定的成就。戴偉進(jìn)表示，芯原公司憑借其領(lǐng)先的技術(shù)實力，為全球多個行業(yè)提供了高性能的神經(jīng)網(wǎng)絡(luò)處理器（NPU）、圖形處理器（GPU）和視頻處理器（VPU）。據(jù)悉，芯原的NPU已在全球累積出貨超過1億顆，廣泛應(yīng)用于AI視覺、AI語音、自動駕駛、智慧家居等眾多領(lǐng)域。同時，其GPU也取得了驕人的業(yè)績，全球累積出貨近20億顆，擁有70項國內(nèi)外專利，并在嵌入式市場深耕近20年。此外，芯原的VPU技術(shù)在全球范圍內(nèi)也處于領(lǐng)先地位，特別是在AI視頻處理方面展現(xiàn)出了強(qiáng)大的實力。
然而，大模型推動邊緣計算變革的同時，也帶來了一系列挑戰(zhàn)。戴偉進(jìn)強(qiáng)調(diào)，隨著大模型的復(fù)雜度不斷增加，對邊緣設(shè)備的計算能力、存儲和能耗都提出了更高的要求。此外，數(shù)據(jù)安全和隱私保護(hù)也是不可忽視的問題。
為了應(yīng)對這些挑戰(zhàn)，芯原正在積極研發(fā)新的技術(shù)和解決方案，推出了AI-Computing處理器和軟件框架，包括Acuity工具、庫和軟件堆棧等，以優(yōu)化大模型在邊緣設(shè)備上的性能和效率。
芯原的AI-Computing處理器技術(shù)具有可編程、可擴(kuò)展、高性能和低功耗等特點，非常適用于邊緣設(shè)備運行大模型，如AIPC、醫(yī)療系統(tǒng)設(shè)備以及計算機(jī)和工業(yè)應(yīng)用領(lǐng)域等。目前，芯原已經(jīng)推出了一系列AI-Computing IP產(chǎn)品，包括數(shù)據(jù)中心、邊緣服務(wù)器等，以滿足不同場景的需求。
在軟件框架方面，芯原提供了全面的Acuity工具、庫和軟件堆棧，為開發(fā)者提供了便捷的開發(fā)環(huán)境。同時，芯原還積極探索邊緣與云協(xié)同計算的模式，通過Project Open Se Cura項目，實現(xiàn)了大模型和輕量大模型在邊緣設(shè)備上的高效運行。值得一提的是，芯原的技術(shù)還被應(yīng)用于谷歌眼鏡等先進(jìn)設(shè)備中，實現(xiàn)了極低功耗、常開和環(huán)境計算等功能。
此外，隨著大語言模型在云端和移動設(shè)備上的廣泛應(yīng)用，芯原的技術(shù)也在這一領(lǐng)域發(fā)揮了重要作用。大語言模型的主要組件可以利用芯原的技術(shù)實現(xiàn)捕捉、信號和感知信息的評估和融合，進(jìn)一步提升了模型的性能和準(zhǔn)確性。
目前，芯原正在與谷歌等合作伙伴共同探索邊緣與云協(xié)同計算的可能性，以實現(xiàn)大模型的輕量化和高效運行。
從端到云的應(yīng)用及資源
從最初的視覺、自然語言、圖像到語音處理，芯原已經(jīng)積累了128家客戶，并在十個不同場景實現(xiàn)了技術(shù)落地。芯原NPU IP研發(fā)副總裁查凱南表示，隨著AI技術(shù)的不斷進(jìn)步，芯原NPU的發(fā)展也呈現(xiàn)出三個主要方向：DEEP AI、嵌入式設(shè)備以及服務(wù)器中心。
在談?wù)搹亩藗?cè)到云端的模型分工時，查凱南強(qiáng)調(diào)，端側(cè)設(shè)備在保護(hù)用戶隱私方面扮演著重要角色。大型模型如今能夠整理手機(jī)或筆記本電腦上的私人信息，使用戶在無需感知的情況下享受智能服務(wù)，如情景智能。然而，由于算力、容量和帶寬的限制，端側(cè)的大模型通常規(guī)模在2B-13B之間。
除了語言模型，端側(cè)還需要視覺模型、語音模型等，以滿足圖像生成、PPT改動和美圖等多樣化需求。為此，芯原推出了專門針對端側(cè)的NPU VIP9X00和AI-GPU IP。
查凱南表示，芯原的NPU架構(gòu)支持32位浮點運算，能夠執(zhí)行大量復(fù)雜的通用計算任務(wù)，從而滿足多樣化的AI應(yīng)用需求。在軟件生態(tài)方面，芯原NPU兼容OpenCL等通用標(biāo)準(zhǔn)，為開發(fā)者提供了廣闊的開發(fā)環(huán)境和靈活性。
近年來，Transformer模型在人工智能領(lǐng)域異軍突起，不僅在自然語言處理方面表現(xiàn)出色，更在視覺、語音等多個領(lǐng)域展現(xiàn)了卓越的性能。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，Transformer在效果上有著顯著的提升。芯原在其最新的NPU架構(gòu)中針對Transformer進(jìn)行了專門的定制優(yōu)化。這些優(yōu)化措施包括但不限于4比特、8比特以及16×4、16×8等多種量化壓縮方式，旨在將模型權(quán)重進(jìn)行有效壓縮，從而大幅降低帶寬消耗。這對于邊緣計算和移動設(shè)備來說尤為重要，因為它們通常面臨著嚴(yán)格的能源和帶寬限制。
此外，芯原還對通用的矩陣運算（如GEMM/GEMV）以及Transformer中所需的大量卷積運算進(jìn)行了優(yōu)化。這些優(yōu)化措施直接提升了Transformer相關(guān)網(wǎng)絡(luò)的性能，實現(xiàn)了高達(dá)10倍的性能提升。具體來說，在一個具備40-48TOPS算力的AI PC平臺上，可以實現(xiàn)每秒處理20個Token的卓越性能。
轉(zhuǎn)向云端，超級大模型成為主角，這些模型規(guī)模超過70B，甚至可能涉及數(shù)萬張顯卡的計算能力。這類模型必須支持多任務(wù)處理（Multi Serving）。查凱南認(rèn)為，自然語言的一個顯著優(yōu)勢是能夠讓端側(cè)模型和語音端模型通過自然語言進(jìn)行交互，而非傳統(tǒng)的計算機(jī)數(shù)據(jù)交互。當(dāng)手機(jī)和云端能夠通過自然語言交互時，將徹底改變應(yīng)用場景和智能效果。
為了解決端側(cè)和云端的不同需求，查凱南進(jìn)一步探討了兩者對NPU的特定要求。端側(cè)更注重低功耗和優(yōu)良的PPA（性能、功耗、面積）平衡。性能固然重要，但功耗和面積對于端側(cè)IP來說更為關(guān)鍵。端側(cè)NPU主要用于推理任務(wù)，并需要一定的浮點運算能力，同時關(guān)注低比特量化和壓縮技術(shù)。
相比之下，云端NPU則強(qiáng)調(diào)高性能和高TOPS（每秒萬億次操作）能力，以支持推理和訓(xùn)練任務(wù)。這不僅涉及單卡推理訓(xùn)練，還包括分布式推理訓(xùn)練和多卡多機(jī)能力。因此，云端NPU更需要通用的GPGPU編程模型、高配比的浮點與定點算力，以及對高精度的支持。同時，接入大型生態(tài)系統(tǒng)也是云端NPU的重要需求。
除了硬件資源，軟件生態(tài)也十分重要。查凱南介紹，在應(yīng)用層，芯原的軟件生態(tài)廣泛支持多種框架，如PyTorch和Transformer，這些框架為開發(fā)者提供了豐富的工具和資源，使他們能夠輕松地構(gòu)建和訓(xùn)練復(fù)雜的AI模型。特別是對于大型模型，芯原選擇了支持VLLM（Very Large Language Model）框架，以應(yīng)對云端大語言模型的需求。
在軟件棧的更深層次，芯原提供了一系列通用的加速庫，包括算子加速庫和運算圖加速庫，以及多核間通訊庫。這些庫能夠顯著提高AI運算的效率和性能。同時，底層支持標(biāo)準(zhǔn)的OpenCL、OpenVX等接口，確保了與各種硬件和編輯器的兼容性。
在AI工具鏈上，針對推理任務(wù)，芯原自研了推理Toolkit，該工具鏈可以直接導(dǎo)入所有類型的框架模型。它內(nèi)部嵌入了量化功能，能夠直接生成易于部署的二進(jìn)制文件。此外，芯原還研發(fā)了適用于大語言模型的vLLM，并在云端提供了出色的支持。
為了滿足更多開發(fā)者的需求，芯原還支持微軟的ONNX Runtime，這是一個廣泛使用的開源跨平臺機(jī)器學(xué)習(xí)推理庫。同時，芯原也支持各種流行的數(shù)據(jù)格式，為開發(fā)者提供了極大的便利。
在訓(xùn)練端，特別是對于云端GPU訓(xùn)練，芯原選擇了接入Torch Dynamo Plugin來支持PyTorch，以及Transformer XLA Backend來支持Transformer模型。這些選擇都是為了確保開發(fā)者能夠高效地進(jìn)行模型訓(xùn)練。
值得一提的是，芯原還計劃支持Triton，這是一種編譯器研究工具。Triton的出現(xiàn)為硬件廠商提供了一個新的介入點，使得不同的硬件可以通過編譯的方式直接接入Triton。芯原也看到了這一點，并計劃在2024年10月份完整接入Triton，以期打破某些技術(shù)壁壘，更開放地接入不同的高級語言。
大語言模型的原理與發(fā)展趨勢?
產(chǎn)業(yè)界一直廣泛關(guān)注人工智能領(lǐng)域中大語言模型的發(fā)展。烏鎮(zhèn)智庫理事長張曉東就這一話題進(jìn)行了深入闡述，探討了大語言模型的原理及其未來趨勢。
張曉東首先引用了物理學(xué)家費曼的名言：“微積分是上帝的語言?！比欢?，他幽默地指出，如今“上帝的語言”似乎已變成了“圖靈機(jī)”。他提到，圖靈作為計算機(jī)科學(xué)和人工智能的奠基人，其貢獻(xiàn)是不可估量的。整個計算機(jī)科學(xué)都建立在“丘奇-圖靈論題”這一核心基石之上，即圖靈機(jī)是最廣義的計算裝置。
談及人工智能的火爆原因，張曉東提到了圖靈1950年的文章《計算機(jī)與人工智能》，其中介紹的“模仿游戲”（現(xiàn)稱圖靈測試）為智能的定義提供了新思路。他解釋說，當(dāng)一個機(jī)器在長時間的問答中讓人無法區(qū)分其與人類時，這個機(jī)器便被認(rèn)為是智能的。隨著深度學(xué)習(xí)的發(fā)展，尤其是Hinton2006年《深度學(xué)習(xí)》論文的發(fā)表，人工智能首先在語音領(lǐng)域取得革命性進(jìn)展，隨后又影響了圖像和視頻處理領(lǐng)域。
張曉東進(jìn)一步指出，2022年11月30日ChatGPT的發(fā)布，更是對“人性”的一大挑戰(zhàn)。他認(rèn)為，語言是人性的核心，而ChatGPT正是在這一領(lǐng)域取得了顯著突破。
在解釋ChatGPT工作原理時，張曉東提到了1956年達(dá)特茅斯會議上的一個關(guān)鍵觀點：學(xué)習(xí)可以看作是圖靈機(jī)的求逆過程。他解釋說，這實際上就是尋找一個能夠生成特定輸出的機(jī)器，即我們現(xiàn)在所說的生成式AI。此外，他還提到了所羅門諾夫在1964年的研究，該研究證明了所有學(xué)習(xí)問題都等價于歸納法，且與圖靈機(jī)求逆等價于下一個Token預(yù)測。
一個有意思的對比是谷歌和OpenAI在Transformer技術(shù)上的應(yīng)用。張曉東指出，雖然谷歌最早發(fā)明了Transformer，但最終是OpenAI通過GPT系列模型取得了顯著成功。這背后的原理和對技術(shù)的深入理解是成功的關(guān)鍵。
回顧人工智能的三大發(fā)展路線：邏輯主義、聯(lián)結(jié)派以及從細(xì)胞自動機(jī)到強(qiáng)化學(xué)習(xí)的演進(jìn)，張曉東特別指出，強(qiáng)化學(xué)習(xí)可以用所羅門歸納來解釋，這一領(lǐng)域的突破已經(jīng)催生了如AlphaGo這樣的杰出成果。隨著技術(shù)的迅猛發(fā)展，大語言模型的進(jìn)化速度已經(jīng)達(dá)到了“周”級別，每隔幾周就會有新的技術(shù)突破問世。
在談到深度學(xué)習(xí)的理論基礎(chǔ)時，張曉東引用了Kolmogorov-Arnold疊加定理，該定理證明了三層以上的神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)。這意味著從理論上講，深度學(xué)習(xí)能夠無限精度地逼近人類所能完成的任何任務(wù)。然而，他也提到，在神經(jīng)網(wǎng)絡(luò)的優(yōu)化和壓縮方面，學(xué)術(shù)界和工業(yè)界仍存在不少爭議和探討。
張曉東還分享了關(guān)于神經(jīng)網(wǎng)絡(luò)計算的新思路，即將計算從“點”上轉(zhuǎn)移到“邊”上，盡管這一想法仍面臨諸多挑戰(zhàn)，但它為未來的神經(jīng)網(wǎng)絡(luò)設(shè)計提供了新的視角。
在探討大語言模型的發(fā)展趨勢時，張曉東提到了當(dāng)前科技界的一些熱議話題，包括OpenAI團(tuán)隊的變動以及訓(xùn)練大型模型所需的巨大成本。他特別強(qiáng)調(diào)了能耗問題，指出隨著模型規(guī)模的擴(kuò)大，訓(xùn)練所需的能耗也在急劇增加。然而，他也表示，根據(jù)Koomey定律，隨著技術(shù)的進(jìn)步，同等算力所需的能耗將會逐年下降，這為未來的大型模型訓(xùn)練提供了一線希望。
沒有人懷疑，1956年達(dá)特茅斯會議提出的問題至今仍然有著深刻的啟示，人工智能領(lǐng)域的發(fā)展將在未來見證更多激動人心的技術(shù)突破。
AI-ISP的關(guān)鍵技術(shù)與應(yīng)用實踐
在人工智能與圖像處理交融的今天，AI-ISP（人工智能圖像信號處理器）技術(shù)正成為推動成像質(zhì)量提升的關(guān)鍵力量。
傳統(tǒng)成像過程僅針對特定譜段進(jìn)行感知，隨后需要大量計算來修正和處理這些感知到的能量信號。這主要是因為成像系統(tǒng)面臨多重挑戰(zhàn)，包括成像光學(xué)系統(tǒng)的局限性、器件物理特性的限制，以及人眼視覺感知的非線性等。傳統(tǒng)ISP系統(tǒng)采用“分治法”來處理這些問題，即將各種圖像畸變分類，然后逐一設(shè)計算法進(jìn)行校正，最后組合起來解決問題。
電子科技大學(xué)教授顧舒航指出，隨著計算資源的日益豐富，工程界或許可以尋求更加數(shù)據(jù)驅(qū)動的方法。在過去，當(dāng)計算資源有限時，人工智能算法可能并不如傳統(tǒng)的手工設(shè)計方法有效。但現(xiàn)在，隨著計算能力的提升，機(jī)器學(xué)習(xí)的方法有可能達(dá)到甚至超越傳統(tǒng)方法的效果。因此，在計算資源更加充裕的今天，可以考慮采用新的策略來優(yōu)化ISP系統(tǒng)。這一觀點為AI-ISP技術(shù)的發(fā)展提供了新的思路。
AI-ISP的實現(xiàn)涉及5個關(guān)鍵技術(shù)：
l領(lǐng)域特定架構(gòu)（DSA）：在構(gòu)建AI-ISP的硬件架構(gòu)時，既可以考慮與傳統(tǒng)ISP架構(gòu)的一致性，以優(yōu)化內(nèi)存使用和處理效率；同時，也可以借鑒傳統(tǒng)方法的豐富經(jīng)驗，特別是那些反映物理事實的經(jīng)驗，來完善AI-ISP的設(shè)計；
l硬件感知算法設(shè)計：這一技術(shù)旨在確保算法與硬件的緊密集成，從而實現(xiàn)更高效的圖像處理；
l數(shù)據(jù)工程與無監(jiān)督訓(xùn)練：利用數(shù)據(jù)工程方法來處理大規(guī)模圖像數(shù)據(jù)，并結(jié)合無監(jiān)督訓(xùn)練技術(shù)，使網(wǎng)絡(luò)能夠自我學(xué)習(xí)和優(yōu)化；
l神經(jīng)網(wǎng)絡(luò)優(yōu)化與量化技術(shù)：通過對神經(jīng)網(wǎng)絡(luò)的優(yōu)化和量化，可以在保持性能的同時降低計算復(fù)雜性和資源消耗；
l可控神經(jīng)網(wǎng)絡(luò)：這種網(wǎng)絡(luò)能夠?qū)崟r反映成像環(huán)境的變化，并根據(jù)用戶的影像需求進(jìn)行調(diào)整，從而實現(xiàn)更加個性化和靈活的圖像處理。
顧舒航表示，他和他的團(tuán)隊負(fù)責(zé)了哲庫第一代SoC ISP系統(tǒng)的算法部分，成功完成了整個開發(fā)流程，并送出了流片。此外，在顯示系統(tǒng)中，他們實現(xiàn)了功耗更低的AI算法，使其可以“常開”?；氐诫娮涌萍即髮W(xué)后，該團(tuán)隊與芯原公司合作，針對安防場景開發(fā)了一種AI暗光去噪技術(shù)，該技術(shù)已成功商業(yè)化落地。
盡管取得了不錯的進(jìn)展，但AI-ISP還有需要不斷優(yōu)化和升級。顧舒航表示，他的團(tuán)隊正在幾個方向深化研究：
底層技術(shù)優(yōu)化：盡管Transformer架構(gòu)帶來了一些收益，但它對應(yīng)用并不十分友好。因此要超越其“切塊”處理的局限，實現(xiàn)全圖自相關(guān)性的計算，同時保持對硬件的友好性；
生成式模型：他們正在研究生成式模型的快速推理，以生成多維度的細(xì)節(jié)。這對于消費電子等領(lǐng)域具有巨大價值。該團(tuán)隊的初步成果已經(jīng)顯示出比傳統(tǒng)方法更大的優(yōu)勢；
激進(jìn)的量化策略：他們正探索以最小的介入實現(xiàn)更好的數(shù)據(jù)質(zhì)量，從而提升整體性能。如果其ISP得以成功實施，它可以與各種上游任務(wù)相結(jié)合，為壓縮、傳輸和存儲帶來革新。
顧舒航認(rèn)為，在自動駕駛等場景中，生成式模型的應(yīng)用將更具潛力。例如，道路兩側(cè)的建筑物數(shù)據(jù)可以完全通過生成式模型來填補(bǔ)，從而大幅降低數(shù)據(jù)流通路的需求，為下游處理減少存儲壓力，進(jìn)而降低成本。
AI-ISP技術(shù)已經(jīng)在圖像處理領(lǐng)域展現(xiàn)出巨大的潛力和應(yīng)用價值。通過不斷優(yōu)化關(guān)鍵技術(shù)和探索新的應(yīng)用場景，AI-ISP將在未來發(fā)揮更加重要的作用。
具身智能的機(jī)會與挑戰(zhàn)
“具身智能”與傳統(tǒng)智能有著本質(zhì)的不同。它特指那些能夠自主移動的智能終端，這些終端必須具備空間計算能力，以感知和適應(yīng)物理世界。然而，過去的具身智能產(chǎn)品往往在智能程度上有所欠缺，在泛化性和普適性方面仍有待提高。神頂科技（南京）有限公司董事長、CEO袁帝文認(rèn)為，大模型與3D空間計算技術(shù)的結(jié)合為具身智能的發(fā)展注入了新的動力。
袁帝文表示，空間計算技術(shù)的核心在于對環(huán)境的感知。物理世界是三維的、充滿多模態(tài)信息，因此需要多模態(tài)算法的支持。同時，與物理世界的交互也必須是3D的。這種交互不僅僅局限于人與機(jī)器之間，更包括機(jī)器協(xié)助我們完成各種實際任務(wù)，如抓取雞蛋、收拾碗盤或折疊衣物。在這里，3D技術(shù)顯得尤為重要，而空間計算技術(shù)也需要與大模型AI技術(shù)緊密結(jié)合，二者協(xié)同作用，共同推動具身智能的進(jìn)步。
具身智能終端的應(yīng)用場景廣泛，包括工業(yè)機(jī)器人、人形機(jī)器人、自動駕駛、低空飛行以及智能家居等。神頂科技已經(jīng)成功商業(yè)化落地了一系列消費級機(jī)器人產(chǎn)品，如擦窗機(jī)器人、四足機(jī)器人等。袁帝文表示，這些機(jī)器人在實際應(yīng)用中面臨著各種挑戰(zhàn)，如水下機(jī)器人的方向辨識和視覺挑戰(zhàn)，以及泳池機(jī)器人在清洗過程中可能遇到的污泥困住或被排水口吸入等問題。這些都對物理環(huán)境的感知提出了極高的要求。同時，機(jī)器人在做決策和判斷時，也需要AI的輔助。大模型的應(yīng)用使得機(jī)器人的普適性得到了顯著提升。
袁帝文指出，大模型的發(fā)展不僅推動了PC和手機(jī)行業(yè)的進(jìn)步，更為機(jī)器人技術(shù)帶來了革新。機(jī)器人作為一個綜合性的終端，不僅需要具備PC和手機(jī)的基本功能，還要能夠感知和適應(yīng)物理世界。這就要求機(jī)器人必須具備多模態(tài)大模型的支撐，以應(yīng)對不同場景的適應(yīng)性需求。
在機(jī)器人的AI算法部署方面，人機(jī)交互、環(huán)境理解和感知、決策和規(guī)劃以及運動控制等環(huán)節(jié)都離不開大模型的支持。特別是隨著三維重建和物理環(huán)境感知技術(shù)的日益重要，端到端和全端到端的技術(shù)發(fā)展趨勢也備受關(guān)注。
然而，大模型在機(jī)器人領(lǐng)域的應(yīng)用并非易事。袁帝文強(qiáng)調(diào)，3D空間計算技術(shù)與大模型技術(shù)需要相互耦合、相互協(xié)作。多模態(tài)大模型與空間計算的分工與協(xié)作，是當(dāng)前產(chǎn)業(yè)面臨的一個重要課題。此外，機(jī)器人對大模型的需求還體現(xiàn)在對傳感器的支持上，包括視覺、聽覺、觸覺等多種傳感器，這對多模態(tài)大模型提出了更高的要求。
在面對這些挑戰(zhàn)時，端側(cè)芯片的設(shè)計顯得尤為重要。袁帝文提出了兩個關(guān)鍵技術(shù)方向：一是高實時性NPU，通過提升算力、優(yōu)化Transformer運算、低比特量化和權(quán)重壓縮等手段，提高實時處理能力和多任務(wù)處理效率；二是3D空間計算處理能力，通過深度計算引擎和感知融合引擎，實現(xiàn)更高質(zhì)量的三維世界感知和多傳感器融合。
神頂科技是亞洲第一家量產(chǎn)的具身智能3D空間計算芯片提供商，據(jù)袁帝文介紹，該公司研發(fā)的3D空間計算芯片能夠支持不同的應(yīng)用場景，并根據(jù)實際需求靈活采用不同的傳感器組合，確保機(jī)器人在各種環(huán)境下都能保持出色的感知能力。該芯片還支持低成本傳感器，有效減少對高性能傳感器的依賴，從而大幅降低系統(tǒng)成本，為更廣泛的機(jī)器人應(yīng)用鋪平了道路。
值得一提的是，該芯片還支持異構(gòu)傳感器融合，能夠輕松解決raw data的融合問題。這一功能使得機(jī)器人能夠更準(zhǔn)確地感知和理解周圍環(huán)境，為后續(xù)的決策和行動提供堅實的數(shù)據(jù)基礎(chǔ)。
除了上述特性，神頂科技的3D空間計算芯片還提供了豐富的功能，包括三維重建、深度估計以及感知融合等。這些功能不僅支持不同的3D感知技術(shù)和空間定位技術(shù)，還是多傳感器融合這一3D空間計算基石得以實現(xiàn)的關(guān)鍵。
機(jī)器人正逐漸從數(shù)字世界走向物理世界，而這一過程離不開高效、精準(zhǔn)的感知和計算能力。最近，業(yè)內(nèi)頻頻提及“物理AI”的概念。袁帝文強(qiáng)調(diào)，在當(dāng)今這個物理AI逐漸嶄露頭角的時代，神頂科技的3D空間計算芯片與NPU的緊密協(xié)作顯得尤為重要。神頂科技正積極與合作伙伴如芯原等攜手合作，共同迎接物理AI帶來的挑戰(zhàn)。
面向AIGC布局平臺和方案
隨著大模型和AIGC的興起，算力需求不斷攀升，不僅在云端，邊緣和終端也迫切需要AI算力的加持。芯原高級副總裁、定制芯片平臺事業(yè)部總經(jīng)理汪志偉表示，面向AIGC，芯原已經(jīng)布局了一系列芯片設(shè)計平臺和軟件解決方案。
汪志偉強(qiáng)調(diào)，云端、邊緣和終端在AI應(yīng)用中各有側(cè)重。云端注重高性能計算、大數(shù)據(jù)分析和海量數(shù)據(jù)存儲；邊緣則更偏向推理、實時決策和部分?jǐn)?shù)據(jù)訓(xùn)練；而終端則聚焦于數(shù)據(jù)采集和智能數(shù)據(jù)處理。為滿足這一系列需求，相應(yīng)的硬件和芯片支持顯得尤為重要。
芯原擁有從IP到芯片設(shè)計的一站式服務(wù)能力，其IP授權(quán)業(yè)務(wù)目前全球排名第五。芯原有六大類處理器IP，包括神經(jīng)網(wǎng)絡(luò)NPU、圖形GPU、視頻VPU、音頻/語音DSP、圖象信號ISP以及顯示處理IP，這些都在AIGC相關(guān)芯片設(shè)計中發(fā)揮著關(guān)鍵作用。
目前，芯原的視頻處理器市占率位居全球第一，已被全球前二十大云平臺解決方案提供商中的12家采用。同時，其NPU全球累積出貨量超過1億顆，GPGPU搭載芯原IP的芯片出貨量也接近20億。此外，在數(shù)?；旌戏矫妫驹С謴?50nm到5nm的不同芯片工藝節(jié)點，并在各個方向都有深度合作。
在定制芯片服務(wù)方面，芯原每年協(xié)助客戶設(shè)計超過30款芯片，早在2018年便成功實現(xiàn)了全球首批7nm EUV芯片的一次流片成功，并且已有多款5nm芯片順利量產(chǎn)和流片。從28nm到5nm，芯原在各種先進(jìn)工藝節(jié)點上積累了豐富的流片與量產(chǎn)經(jīng)驗。
談及芯原的系統(tǒng)芯片設(shè)計平臺如何助力AIGC芯片設(shè)計，汪志偉強(qiáng)調(diào)了SiPaaS系統(tǒng)級芯片設(shè)計平臺的持續(xù)迭代與演進(jìn)。他表示，該平臺已經(jīng)過多年的打磨和完善，支撐了眾多芯片的設(shè)計與流片，積累了豐富的技術(shù)資源，能夠適配不同的處理器架構(gòu)、總線和存儲器。這一深厚的技術(shù)積淀，使得芯原的一次流片成功率高達(dá)90%以上。更值得一提的是，芯原的服務(wù)已經(jīng)從前端設(shè)計延伸至軟件設(shè)計，為客戶提供包括軟件SDK在內(nèi)的全方位解決方案。
在AIGC芯片設(shè)計方面，芯原為云端設(shè)計的所有芯片均與AI、AIGC緊密相關(guān)。其為客戶設(shè)計的用于數(shù)據(jù)中心的高算力AIGC芯片，支持多核高性能CPU和GPGPU，并采用HBM3技術(shù)以滿足大數(shù)據(jù)處理對帶寬的苛刻需求。
面對數(shù)據(jù)中心對算力的不斷增長需求，芯原提出了創(chuàng)新的Chiplet互聯(lián)方案。通過設(shè)計支持4-6路接口的芯片，能夠?qū)?顆以上的芯片拼接在一起，從而大幅提升算力。同時，針對大面積芯片的設(shè)計挑戰(zhàn)，芯原已經(jīng)接近了掩膜極限的解決方案，通過Chiplet技術(shù)突破物理限制。
汪志偉強(qiáng)調(diào)，僅有硬件芯片還遠(yuǎn)遠(yuǎn)不夠，充分挖掘硬件性能的軟件同樣至關(guān)重要。因此，芯原還為客戶提供與硬件緊密結(jié)合的完整軟件協(xié)議棧，從底層到中間層全面覆蓋，以滿足推理、訓(xùn)練等多樣化需求，并解決芯片間、甚至板卡間的互聯(lián)通信問題。
汪志偉特別介紹了芯原在汽車和手機(jī)兩個領(lǐng)域的最新方案。在汽車端，該公司車規(guī)級芯片設(shè)計方面已通過車規(guī)安全認(rèn)證，并設(shè)計出可支持300-500 TOPs算力的自動駕駛芯片，提前集成基礎(chǔ)軟件以縮短整車開發(fā)時間。同時，芯原也解決了大算力芯片良率問題，通過Chiplet技術(shù)擴(kuò)展算力，提供從芯片到IP的一攬子解決方案；在手機(jī)端，芯原設(shè)計了用于手機(jī)的AI ISP芯片和與谷歌合作的低功耗安全智能傳感芯片。
下載ECAD模型
