芯耀
261
英特爾一旦商用神經(jīng)擬態(tài)計算芯片，瞄準的是十億美元的市場。
也就是當(dāng)芯片算力足夠大的時候，許多難題都能迎刃而解，這也解釋了摩爾定律如此受關(guān)注的原因。但隨著AI、大數(shù)據(jù)的發(fā)展，傳統(tǒng)的芯片越來越難以滿足新興應(yīng)用的需求，業(yè)界需要全新類別的芯片。
量子計算、神經(jīng)擬態(tài)計算（也稱類腦計算）是兩個重要的突破方向。相比量子計算，神經(jīng)擬態(tài)計算的關(guān)注度略低一些，但神經(jīng)擬態(tài)計算已經(jīng)被英特爾證明在一些應(yīng)用中，可以帶來至少10倍的性能提升，同時實現(xiàn)1000倍的能耗降低。
英特爾神經(jīng)擬態(tài)計算實驗室總監(jiān)Mike Davies在近日宣布英特爾第二代神經(jīng)擬態(tài)芯片Loihi2后與雷鋒網(wǎng)的交流中說：“英特爾可能不是第一家將神經(jīng)形態(tài)技術(shù)商業(yè)化的公司，因為英特爾的規(guī)模，我們正在尋找巨大的機會。所以，我們必須以十億美元的水平看待所有的商業(yè)機會。我們并不急于商業(yè)化，但當(dāng)我們商業(yè)化的時候，希望這是一項通用技術(shù)，可以像CPU、GPU在多種應(yīng)用中為廣大客戶提供巨大價值。”
從某種意義上來說，無論是英特爾正在探索的量子計算還是神經(jīng)擬態(tài)芯片，都有可能成為地位可以比肩現(xiàn)有CPU的“下一個時代的CPU”。
Mike說至少要在3年后才可能看到英特爾正式推出神經(jīng)擬態(tài)的商業(yè)化產(chǎn)品，但Loihi已經(jīng)取得的成果值得我們期待神經(jīng)擬態(tài)芯片的時代。
1
神經(jīng)擬態(tài)芯片與傳統(tǒng)芯片
有何本質(zhì)差別？
談?wù)撋窠?jīng)擬態(tài)芯片的優(yōu)勢之前，先解釋一下神經(jīng)擬態(tài)計算這種全新的計算方式。神經(jīng)擬態(tài)計算受到生物學(xué)原理的啟發(fā)，基于對現(xiàn)代神經(jīng)科學(xué)的理解，從晶體管到架構(gòu)設(shè)計，算法以及軟件來模仿人腦的運算。
神經(jīng)擬態(tài)計算與傳統(tǒng)芯片和傳統(tǒng)處理方式有很多不同，比如，人腦中沒有單獨的存儲器，沒有動態(tài)隨機存取存儲器，沒有哈希層級結(jié)構(gòu)，沒有共享存儲器等等。“存儲”和“處理器”錯綜復(fù)雜地深繞在人腦里，在人腦的結(jié)構(gòu)中有“神經(jīng)元”的存在。
系統(tǒng)編程層面也有很大的區(qū)別，傳統(tǒng)的CPU或GPU結(jié)構(gòu)以順序操作或指令/程序來思考，在神經(jīng)擬態(tài)芯片中，計算過程需要神經(jīng)元單元的互動。神經(jīng)擬態(tài)芯片處理答案的步驟也許不按照程序的執(zhí)行步驟，更多的是根據(jù)動態(tài)的交換反應(yīng)。
當(dāng)然也有相似之處，在電腦中，以數(shù)字化核心相互交流基于事件的信息，叫做脈沖，這點和人腦傳遞信息的方式相似。
相比傳統(tǒng)計算與神經(jīng)擬態(tài)計算原理的區(qū)別，更多人應(yīng)該更加關(guān)心神經(jīng)擬態(tài)計算表現(xiàn)在應(yīng)用中的優(yōu)勢。Mike說：“有一系列問題人腦可以很好地處理，所以我們可以期待神經(jīng)擬態(tài)計算對于真實數(shù)據(jù)的處理速度或反應(yīng)時延的性能效率提升，尤其是對于真實數(shù)據(jù)樣本的適應(yīng)力或快速學(xué)習(xí)能力的提升。”
2
神經(jīng)擬態(tài)芯片擅長處理哪些任務(wù)？
2017年時，英特爾就對外公布了其第一代神經(jīng)擬態(tài)芯片Loihi，隨后便開始與業(yè)界共同探索神經(jīng)擬態(tài)計算的可能性和可以發(fā)揮優(yōu)勢的場景，并建立了神經(jīng)擬態(tài)研究社區(qū)（INRC），如今已經(jīng)有將近150個成員機構(gòu)。
INRC今年新增的成員包括福特（Ford）、佐治亞理工學(xué)院（Georgia Institute of Technology）、美國西南研究院（SwRI）、美國菲力爾公司（Teledyne FLIR）。
“我們調(diào)查了最近所有的結(jié)果，研究了IEEE文獻，在很多不同的領(lǐng)域都得出，Loihi的結(jié)果超過了使用最好的CPU和GPU算出的結(jié)果，其中很多出自感知領(lǐng)域。”Mike表示“特別是和新的事件相機傳感器（新型視覺傳感器）集成時，神經(jīng)擬態(tài)芯片能夠以非常低的功率水平來執(zhí)行手勢識別和其他視覺推理任務(wù)。”
比如氣味傳感器，與基于傳統(tǒng)深度學(xué)習(xí)的方法相比較，神經(jīng)擬態(tài)計算可以有效地學(xué)習(xí)多達三千倍的數(shù)據(jù)。
在機器人學(xué)習(xí)方面，基于神經(jīng)擬態(tài)計算也展現(xiàn)出在機器手臂系統(tǒng)變化中的魯棒性，在一些實時出現(xiàn)的偏差中，Loihi也可以識別到，然后可以回歸預(yù)期軌道重新布局電路。
“過去的幾個月中，神經(jīng)擬態(tài)計算在量化優(yōu)化領(lǐng)域取得了非常好的結(jié)果。”Mike興奮的表示。
相比而言，英特爾與德國鐵路公司的合作更能展現(xiàn)神經(jīng)擬態(tài)計算未來的應(yīng)用前景。Mike介紹，“使用Loihi解決鐵路調(diào)度問題，速度比德國鐵路公司運營的Dion's使用的先進商業(yè)云計算處理器快一個數(shù)量級以上，這是1000倍的低能耗。這表明高階規(guī)劃決策優(yōu)化問題可以在以前根本不可能實現(xiàn)的形式因素中得到支持。”
還有一個例子，一些早期的研究顯示，熱擴散方程（一個基本的物理行為屬性）已經(jīng)在Loihi中建模，桑迪亞國家實驗室完成的這項研究極大地減少了科學(xué)計算存在功耗過大方面問題的可能性。
“我們對Loihi的結(jié)果非常滿意。但與此同時，我們發(fā)現(xiàn)了硬件的一些限制。”Mike同時指出。
3
邁向下一個CPU時代
更強大的硬件
“我們有了一個編程性極強的神經(jīng)元，可配置性極強的神經(jīng)元模型，但它是一個固定功能類型的神經(jīng)元。”Mike進一步表示，“自然界沒有單一的神經(jīng)元，實際上有1000種不同類型的神經(jīng)元，它們在大腦中有許多不同類型的動態(tài)。我們想嘗試支持的應(yīng)用確實需要更多的靈活性，以使芯片中的神經(jīng)元更加多樣化。”
雷鋒網(wǎng)了解到，英特爾通過一個微碼指令集來解決靈活性的問題，這個微碼指令集定義了神經(jīng)元模型，幾乎可以編程任意的模型，涵蓋了研究界試圖探索的不同類型的方法。
“我們還擴展了脈沖的概念，這將提升結(jié)果的精確度，還可以縮小網(wǎng)絡(luò)的大小，以支持特定的問題。”Mike介紹，“在功能上，我們在Loihi2上還加強了芯片的學(xué)習(xí)能力。”
這些研究層面和功能層面的進步需要更強大的硬件支撐。在電路層面，Loihi 2比Loihi 1快2到10倍，這取決于特定的瓶頸和你測量的特定參數(shù)。例如，基于模擬的結(jié)果顯示，在前饋神經(jīng)網(wǎng)絡(luò)中，Loihi2比Loihi快10倍。
工作負荷層面，Loihi2的神經(jīng)元的數(shù)量提升了8倍，同時將芯片的面積縮小了一半（芯片總內(nèi)存大致相同），即基于核心大小為0.21 mm2的Loihi 2，最多支持 8192個神經(jīng)元，對比核心尺寸為0.41 mm2的Loihi，最多支持1024個神經(jīng)元。
Mike解釋，“第一代Loihi做了固定分配，芯片中的每個核心都支持1024個神經(jīng)元。但我們發(fā)現(xiàn)，在許多應(yīng)用中，神經(jīng)元的數(shù)量是一個有限的因素，芯片中的其它內(nèi)存資源卻沒有得到充分利用。因此，Loihi 2的架構(gòu)允許資源在有限的程度上進行交換，同時不影響架構(gòu)的格式和效率，從而當(dāng)應(yīng)用工作負載受限于神經(jīng)元數(shù)量時（通常會發(fā)生），能夠提供更多的資源來擴展到更多的神經(jīng)元。”
與此匹配，需要先進的半導(dǎo)體制造工藝。“神經(jīng)擬態(tài)計算的架構(gòu)相對于其他架構(gòu)需要更大的資源密度，Intel 4制程能夠提供更大的晶體管密度，我們可以在同樣大小的芯片上放置更大的神經(jīng)網(wǎng)絡(luò)。”Mike還說，
“與以往的制程技術(shù)相比，Intel 4制程節(jié)點采用的極紫外光刻（EUV）技術(shù)簡化了布局設(shè)計規(guī)則，使Loihi 2的快速開發(fā)成為可能。”
采用預(yù)生產(chǎn)版本的Intel 4制程其實還有英特爾展示其先進制程領(lǐng)導(dǎo)力的作用。需要指出的是，神經(jīng)擬態(tài)架構(gòu)是一個非常同質(zhì)的架構(gòu)，這對于仍處于產(chǎn)量優(yōu)化過程中的早期工藝來說有很大優(yōu)勢，因為它可以容忍大量的缺陷。
“神經(jīng)擬態(tài)架構(gòu)比其他架構(gòu)更能夠從Intel4預(yù)生產(chǎn)過程中受益。”Mike表示。
不過，要解決更多實際問題還需要用Loihi2構(gòu)建系統(tǒng)。為此，Loihi2的擴展能力也進行了提升，有了4倍速度的接口，還新增了兩個接口，可以在3個維度上進行擴展。
同時，Loihi2對芯片間的連接進行了壓縮，讓許多工作負載的擴展提供了10倍以上的帶寬，在減少擁堵和該架構(gòu)擴展到更大網(wǎng)絡(luò)的能力方面，綜合提高了60倍以上。
總體而言，Loihi2的諸多改進，是為了減少支持相同程度能力所需的網(wǎng)絡(luò)規(guī)模，從而獲得更快的處理速度和更低的功耗。
軟件是神經(jīng)擬態(tài)芯片大規(guī)模商用的關(guān)鍵
“Loihi 2與第一代一樣，屬于通用的神經(jīng)擬態(tài)架構(gòu)。展望未來，我們希望能構(gòu)建一種新的可編程處理器架構(gòu)，類似CPU或GPU，不針對特定的應(yīng)用，適合用于填充組合技術(shù)。”Mike展望。
縱觀成功的CPU和GPU，都有非常易于使用軟件及軟件生態(tài)。顯然，神經(jīng)擬態(tài)計算芯片想要成為像CPU一樣的通用芯片，軟件非常關(guān)鍵。
Mike也說，“過去三年使用Loihi的過程，我們吸取到一個重要經(jīng)驗，軟件對神經(jīng)擬態(tài)領(lǐng)域進展的限制和硬件一樣關(guān)鍵。”
此前，想要使用神經(jīng)擬態(tài)芯片，都需要從頭開始開發(fā)軟件，這就像每個人都在重新創(chuàng)造世界。借鑒深度學(xué)習(xí)領(lǐng)域成功的TensorFlow和PyTorch，加上在神經(jīng)擬態(tài)領(lǐng)域的經(jīng)驗和需求分析，英特爾專為神經(jīng)擬態(tài)計算打造了開源軟件框架Lava。
Mike強調(diào)，“我們不會把Lava作為英特爾的一個成品發(fā)布給全世界使用，但這確實是與外界合作的起點。我們現(xiàn)在已經(jīng)在GitHub上發(fā)布了這個軟件框架，它借鑒了英特爾在這個領(lǐng)域觀察到的東西，也借鑒了英特爾第一代軟件開發(fā)獲得的經(jīng)驗，也就是稱之為NX軟件開發(fā)工具包的NX SDK。”
開源框架Lava有一個重要特性，無論是將應(yīng)用程序的成分映射到傳統(tǒng)的CPU或GPU上，還是將其分解成神經(jīng)過程然后運行在神經(jīng)擬態(tài)芯片上都可以。
“在使用Loihi 2研究芯片時，仍然需要通過英特爾相關(guān)法律程序的批準，這對很多想要參與這項研究的人來說是一個障礙。”Mike表示，“我們將為Lava提供一個開源許可證，這意味著開發(fā)人員可以自由進入并將這個框架移植到其他神經(jīng)擬態(tài)芯片上。這是關(guān)鍵的一步，能夠擴大開源社區(qū)，并將所有這些探索神經(jīng)擬態(tài)研究的不同方向的努力和付出匯集在一起，至少在軟件層面，可以更快速地實現(xiàn)商用落地。”
雷鋒網(wǎng)了解到，Lava使用的是Python語言，這在一定程度減輕了采用Lava的難度。
“我想說的是，構(gòu)建算法的方式，對于巨大的芯片來說是比學(xué)習(xí)編程語言而言更困難的障礙。”Mike對雷鋒網(wǎng)表示，“可以嘗試輕松過渡到使用神經(jīng)形態(tài)芯片，但我們認為最大的挑戰(zhàn)還是當(dāng)前編程所需要使用的特定語言。在未來，我們或其他為Lava做出貢獻的人可能會引入新的語言或特定領(lǐng)域的語言，因為很明顯它可以提高生產(chǎn)力。”
4
寫在最后
對于英特爾而言，全面的產(chǎn)品組合是其保持當(dāng)下以及可見的未來競爭力的關(guān)鍵。而對神經(jīng)擬態(tài)計算和量子計算的探索，則關(guān)乎長遠未來的技術(shù)領(lǐng)導(dǎo)力。正如Mike所說，神經(jīng)擬態(tài)計算的大規(guī)模商用還有很長一段路要走，但英特爾一旦商用神經(jīng)擬態(tài)計算芯片，瞄準的是十億美元的市場。
也就是說，英特爾研究神經(jīng)擬態(tài)計算和量子計算，瞄準的是下一個CPU/GPU級別的產(chǎn)品。
Loihi已經(jīng)取得的成果，以及如今宣布的Loihi2，不僅能夠釋放出其在先進計算領(lǐng)域的進展，更能通過Intel4制程將其現(xiàn)在的競爭力和未來的競爭力很好地連接在一起，共同展示英特爾的未來。
但在先進計算的探索中，除了需要實力，也需要運氣。
本文由雷鋒網(wǎng)原創(chuàng)，作者：包永剛。申請授權(quán)請回復(fù)“轉(zhuǎn)載”，未經(jīng)授權(quán)不得轉(zhuǎn)載。
