芯耀
961
作者：李寧遠(yuǎn)
在當(dāng)前 AI 革新的推動(dòng)下，千行百業(yè)正在發(fā)生深刻的變革。AI 已經(jīng)觸及我們生活的方方面面。而且，我們僅僅處在這場(chǎng) AI 革新的起步階段，未來可期。
在 AI 百模大戰(zhàn)時(shí)代，焦點(diǎn)在云數(shù)據(jù)中心的集中式訓(xùn)練。但是訓(xùn)練本身不能產(chǎn)生價(jià)值，推理才是 AI 釋放價(jià)值的關(guān)鍵。當(dāng)前，AI推理的熱潮正迅猛推動(dòng)算力從云端向邊緣側(cè)及端側(cè)延伸。對(duì)于芯片硬件玩家來說，邊緣側(cè)形態(tài)各異的設(shè)備與豐富用例帶來更多激動(dòng)人心的機(jī)會(huì)，而且大模型、智能體在邊緣側(cè)的落地需要具備更高性能和能效的邊緣計(jì)算平臺(tái)。
在AI 不斷賦予邊緣設(shè)備越來越先進(jìn)的智能性，使邊緣設(shè)備勝任越來越重要的任務(wù)的同時(shí)，保證邊緣設(shè)備的安全可靠將會(huì)成為邊緣 AI 大規(guī)模部署的必要條件。
針對(duì)物聯(lián)網(wǎng)與 AI 融合發(fā)展所面臨的行業(yè)痛點(diǎn)，特別是在性能瓶頸、安全性保障、系統(tǒng)兼容性以及應(yīng)用靈活性等方面的挑戰(zhàn)，2月27日，Arm 發(fā)布以全新基于 Armv9 架構(gòu)的超高能效 CPU —— Arm Cortex-A320 以及對(duì) Transformer 網(wǎng)絡(luò)具有原生支持的 Ethos-U85 AI 加速器為核心的 Armv9 邊緣 AI 計(jì)算平臺(tái)。
在日前舉行的新品技術(shù)溝通會(huì)上，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健 (Chloe Ma) 表示，“Armv9 邊緣AI計(jì)算平臺(tái)不是 CPU 和 AI 加速器的簡(jiǎn)單堆疊，而是實(shí)現(xiàn)了深度配合，讓 CPU 和 NPU 相得益彰。Cortex-A320 可以為 Ethos-U85 提供更高的內(nèi)存容量與帶寬，讓大模型在 Ethos-U85 上的執(zhí)行如虎添翼；任何開發(fā)者們不希望在 Ethos-U85 上運(yùn)行的 AI 操作，可以回退到 Cortex-A320，利用其 Neon/SVE2 引擎更靈活有效地在 CPU 上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費(fèi)類電子生態(tài)系統(tǒng)能夠在正確的時(shí)間，并在合適的地方運(yùn)行最適合的工作負(fù)載。我們相信，這一創(chuàng)新將推動(dòng)邊緣 AI 領(lǐng)域在未來多年內(nèi)的持續(xù)發(fā)展。”
Arm Cortex-A320 是目前最小型的 Armv9-A 架構(gòu) CPU，其微架構(gòu)源自 Cortex-A520，并經(jīng)過顯著優(yōu)化，以改善面積和功耗。相較 Cortex-A520 ，Cortex-A320 的能效提高了 50% 以上，此外，通過對(duì) BF16 等新的數(shù)據(jù)類型、新的點(diǎn)積和矩陣乘法指令的支持，Cortex-A320 的 ML 性能比目前全球最受歡迎的 Armv8-A CPU Cortex-A53 高出至多六倍。憑借ML 計(jì)算能力的大幅提升，以及極高的面積能效比，Cortex-A320 成為ML 應(yīng)用中最高能效的 Cortex-A CPU 核心。
Armv9邊緣 AI 計(jì)算平臺(tái)將 Cortex-A320 的革新功能帶到了邊緣側(cè)，通過可伸縮向量擴(kuò)展 (SVE2) 等關(guān)鍵的 Armv9 特性，增強(qiáng)了 AI 和數(shù)字信號(hào)處理 (DSP) 性能；同時(shí)，它還利用了內(nèi)存標(biāo)記擴(kuò)展 (MTE) 以及通過 Secure EL2 (S-EL2) 提供的先進(jìn)虛擬化支持等全面的安全特性。這些功能與 Cortex-A320 高能效的微架構(gòu)相結(jié)合，使其能夠維持嚴(yán)格的能耗預(yù)算，并同時(shí)為邊緣 AI 處理開創(chuàng)新的可能性。
在軟件兼容性與生態(tài)上，Armv9 也有諸多優(yōu)勢(shì)：
支持 Armv9 架構(gòu)的軟件可無縫運(yùn)行在所有這些處理器上，極大降低了物聯(lián)網(wǎng)服務(wù)部署與交付的總體擁有成本 (TCO)。
開源操作系統(tǒng)項(xiàng)目和編譯器已支持 Armv9 特性，進(jìn)而大幅縮短產(chǎn)品開發(fā)周期。
軟件發(fā)行版本在整個(gè) Armv9 架構(gòu)設(shè)備內(nèi)保持兼容，這不僅簡(jiǎn)化了開發(fā)流程，同時(shí)也減少了物聯(lián)網(wǎng)生態(tài)伙伴在解決方案交付上的整體成本。
馬健總結(jié)道：“Arm 此次發(fā)布的全新 Armv9 邊緣 AI 計(jì)算平臺(tái)不僅僅是一次漸進(jìn)式的升級(jí)，它代表了我們?yōu)槲磥磉吘売?jì)算和 AI 處理提出的新范式。Cortex-A320是我們首次專為物聯(lián)網(wǎng)應(yīng)用設(shè)計(jì)的 Armv9 架構(gòu)處理器，它將超高能效與先進(jìn) AI 能力相結(jié)合，實(shí)現(xiàn)了前所未有的突破。當(dāng)它與 Ethos-U85 結(jié)合時(shí)，將催生出全新的應(yīng)用類別，開啟無限可能。物聯(lián)網(wǎng)領(lǐng)域正在迎來前所未有的機(jī)遇與生機(jī)！我們堅(jiān)信，AI 的未來在邊緣，而邊緣 AI 的未來屬于 Arm”。
物聯(lián)網(wǎng)與 AI 的融合正在推動(dòng)算力下沉到邊緣側(cè)，而在物聯(lián)網(wǎng) + AI領(lǐng)域快節(jié)奏的技術(shù)環(huán)境中，產(chǎn)品的上市速度往往決定其成敗。Arm的邊緣 AI 計(jì)算平臺(tái)確保了與更高性能 Cortex-A 處理器在軟件層面的無縫兼容，這不僅代表了邊緣計(jì)算平臺(tái)的一次技術(shù)進(jìn)步，更代表著行業(yè)對(duì)邊緣計(jì)算和 AI 處理方式上的根本性變革。
