芯耀
664
自從Intel在2018年初推出其首個用于神經(jīng)形態(tài)計(jì)算的專用14nm芯片Loihi以來，人們一直保持著對Intel在神經(jīng)形態(tài)方面工作的關(guān)注。2021年3月，在Intel實(shí)驗(yàn)室主任Richard Uhlig博士的訪談中，有人詢問了硬件的發(fā)展情況，以及何時可能看到第二代產(chǎn)品。就在前幾天，Intel便宣布了Loihi 2，這是對一代產(chǎn)品的大幅升級，解決了第一代設(shè)計(jì)中的很多問題。也許同樣有趣的是工藝節(jié)點(diǎn)。Intel表示，Loihi 2正在開發(fā)階段，目前的芯片使用了Intel的第一個EUV工藝節(jié)點(diǎn)Intel 4的預(yù)生產(chǎn)版本。
Intel的神經(jīng)形態(tài)計(jì)算
創(chuàng)建一個像大腦一樣的內(nèi)核架構(gòu)，其想法是，擁有數(shù)百萬計(jì)的神經(jīng)元和突觸將使計(jì)算任務(wù)在特定任務(wù)中具有獨(dú)特的功耗/性能優(yōu)勢，而大腦就是被設(shè)計(jì)來做這些任務(wù)的。對Intel來說，這是一個長期的潛在商業(yè)產(chǎn)品，然而該團(tuán)隊(duì)的任務(wù)是開發(fā)技術(shù)和軟件，以發(fā)現(xiàn)和加速適合神經(jīng)元類型計(jì)算的任務(wù)。
Intel的神經(jīng)形態(tài)實(shí)驗(yàn)室實(shí)際上是在2011年對Fulcrum Microsystems的收購后誕生的。當(dāng)時，F(xiàn)ulcrum團(tuán)隊(duì)是一個從事網(wǎng)絡(luò)交換機(jī)的異步計(jì)算公司。這項(xiàng)技術(shù)被提升到Intel內(nèi)部的網(wǎng)絡(luò)部門，而研究部門則將注意力轉(zhuǎn)向異步計(jì)算的其他應(yīng)用，并將目光投向了神經(jīng)形態(tài)。
當(dāng)時，對這種用于實(shí)際工作負(fù)載的神經(jīng)形態(tài)計(jì)算架構(gòu)的研究還相當(dāng)初級，雖然該領(lǐng)域自20世紀(jì)80年代末就開始了，但直到2010年代初才真正出現(xiàn)了專門用于研究的硬件。人腦項(xiàng)目（Human Brain Project），一個由歐盟資助的在該領(lǐng)域已進(jìn)行10年的研究項(xiàng)目，在2013年才成立，并在2019年推出了SpiNNaker系統(tǒng)，有100萬個芯片，10億個神經(jīng)元，100千瓦的有效功率。
相比之下，Intel的第一代Loihi每60平方毫米芯片支持131000個神經(jīng)元，768個芯片可以放在一個Pohoiki Springs系統(tǒng)中，只需300瓦的功率就可以有1億個神經(jīng)元。在Intel自己的營銷中，他們把這描述為相當(dāng)于一只倉鼠。新的Loihi 2芯片，每個芯片使用31平方毫米，用于一百萬個神經(jīng)元，有效地將密度提高了15倍，然而發(fā)展超越了原始數(shù)字。
Loihi 2Loihi 2芯片在高層次上可能看起來類似：128個神經(jīng)形態(tài)核，但現(xiàn)每核有8倍的神經(jīng)元和突觸。這128個核中的每一個都有192KB的靈活內(nèi)存，而以前在運(yùn)行時每核的內(nèi)存是固定的，每個神經(jīng)元可以根據(jù)模型最多分配4096個狀態(tài)，而以前的限制是只有24個。神經(jīng)元模型現(xiàn)在可以完全可編程，類似于FPGA，允許更大的靈活性。
傳統(tǒng)上，神經(jīng)元和峰值網(wǎng)絡(luò)以二進(jìn)制事件的形式傳遞數(shù)據(jù)，Loihi v1就是如此。有了Loihi 2，這些事件可以用32位有效載荷進(jìn)行分級，為片上計(jì)算提供更深的靈活性?，F(xiàn)在可以利用芯片上新的開發(fā)/調(diào)試功能實(shí)時監(jiān)控這些事件，而不是暫停/讀取/播放。結(jié)合起來，這也允許在動態(tài)改變計(jì)算工作負(fù)載時進(jìn)行更好的控制，如扇出壓縮、權(quán)重縮放、卷積和廣播。
也許最大的改進(jìn)之一是在連接性方面。第一代產(chǎn)品使用定制的異步協(xié)議來創(chuàng)建一個大型的二維神經(jīng)元網(wǎng)絡(luò)，而Loihi 2可以根據(jù)需要配置使用各種協(xié)議，而且還是三維網(wǎng)絡(luò)。另外，Loihi 2不僅僅是單一的芯片，它將是一個芯片系列，具有相同的神經(jīng)元架構(gòu)，但根據(jù)具體的使用情況，有各種不同的連接選項(xiàng)。這可以與板載信息壓縮加速器結(jié)合使用，以獲得芯片間帶寬的10倍增長。
這也延伸到了Loihi與更多傳統(tǒng)計(jì)算的外部連接，以前是以FPGA為媒介，現(xiàn)在Loihi 2支持10G以太網(wǎng)、GPIO和SPI。這應(yīng)該會讓集成變得更容易，而不需要定制系統(tǒng)，如創(chuàng)建分解的Loihi 2計(jì)算集群。
基于Intel 4
我們驚訝地聽說Loihi 2是基于Intel 4工藝的預(yù)生產(chǎn)版本。Loihi 2要盈利還有一段時間，神經(jīng)形態(tài)團(tuán)隊(duì)也知道這一點(diǎn)，但事實(shí)證明，該芯片也許是幫助推動新工藝的理想候選。
31平方毫米的尺寸意味著，即使產(chǎn)量需要提高，單個晶圓也能產(chǎn)出更多的芯片，而不是用更大的芯片尺寸進(jìn)行測試。由于該團(tuán)隊(duì)進(jìn)行后硅電壓/頻率/功能測試，他們可以更快地循環(huán)到Intel的技術(shù)開發(fā)團(tuán)隊(duì)。Intel的實(shí)驗(yàn)室里有實(shí)際的芯片，事實(shí)上，硬件已通過Intel的DevCloud提供。
通常情況下，對于新的工藝節(jié)點(diǎn)，都需要一個小尺寸芯片的客戶幫助迭代通過潛在的障礙，推動一個工藝的全面升級和生產(chǎn)。Intel的代工競爭者通常與智能手機(jī)芯片客戶一起做這件事，而客戶通常會首先獲得硬件或某種初始折扣（盡管在今天的環(huán)境下也許不是）。Intel此前在這方面一直舉步維艱，因?yàn)樗挥凶约旱男酒梢宰鳛闇y試工具。
神經(jīng)形態(tài)團(tuán)隊(duì)表示，鑒于神經(jīng)形態(tài)硬件需要前沿工藝節(jié)點(diǎn)所提供的高密度和低靜態(tài)功率，這實(shí)際上是一個很好的選擇。128核的設(shè)計(jì)也意味著它有一個一致的重復(fù)單元，讓工藝團(tuán)隊(duì)在生產(chǎn)中關(guān)注規(guī)律性和一致性。另外，鑒于Loihi目前仍然是一個研究項(xiàng)目，沒有認(rèn)真期待在特定的窗口期將該產(chǎn)品推向市場，這也許是大客戶可能需要的。
這是否意味著Intel 4已經(jīng)準(zhǔn)備好投入生產(chǎn)？不完全是，但它確實(shí)表明正在取得進(jìn)展。Loihi 2列出的一些基準(zhǔn)測試確實(shí)有“鑒于模擬硬件結(jié)果的預(yù)期”的警告，盡管其他一些是在真正的硅上完成的，而且該公司說它現(xiàn)在有真正的芯片可以部署在云端。Intel 4是Intel第一個采用極紫外光刻技術(shù)（EUV）的工藝節(jié)點(diǎn)，Intel將是最后一個采用EUV工藝的主要半導(dǎo)體制造商。但還有一段路要走，早在Intel's Accelerated的活動中，EUV和Intel 4并不是真的預(yù)計(jì)到2022年下半年才會放量生產(chǎn)。
最后，從Intel的公告中，我們能夠看到晶體管密度。在31平方毫米內(nèi)有23億個晶體管，這將使密度達(dá)到每平方毫米7120萬個，這只是我們所預(yù)期的三分之一。根據(jù)Intel以前的公告估計(jì)，Intel 4的密度約為每平方毫米200MTr。那么，為什么Loihi 2與這個數(shù)字相比如此低？
首先，也許它是一個神經(jīng)形態(tài)芯片，而不是一個傳統(tǒng)的邏輯設(shè)計(jì)。內(nèi)核有大約25MB的SRAM和所有的邏輯，對于一個31平方毫米的芯片來說，這可能是芯片面積的一大塊。另外，Intel對神經(jīng)形態(tài)芯片的主要想法是功能第一，性能第二，功率第三。所以讓它正常工作比讓它快速工作更重要，所以并不總是需要最高密度。然后還有一個事實(shí)是，它仍然是一個開發(fā)芯片，它允許Intel完善其EUV工藝和精密光刻測試，而不必像以前那樣擔(dān)心密集的晶體管庫造成的缺陷。相信還會有更多的消息。
最后補(bǔ)充一點(diǎn)，神經(jīng)形態(tài)IP有可能未來會通過Intel的代工服務(wù)IP產(chǎn)品來提供。
新的Lava軟件框架
無論處理能力如何，神經(jīng)形態(tài)系統(tǒng)的主要構(gòu)件之一是計(jì)算的類型，以及編寫軟件來利用這樣的架構(gòu)是多么困難。在與Intel神經(jīng)形態(tài)實(shí)驗(yàn)室主任Mike Davies的討論中，我們最好的描述是，現(xiàn)代計(jì)算類似于一個投票架構(gòu)，每個周期它都會獲取數(shù)據(jù)并加以處理。相比之下，神經(jīng)形態(tài)計(jì)算是一個基于中斷的架構(gòu)，它在數(shù)據(jù)準(zhǔn)備好時采取行動。與現(xiàn)代計(jì)算相比，神經(jīng)形態(tài)計(jì)算更依賴于時域，因此計(jì)算的概念及其應(yīng)用都幾乎與傳統(tǒng)計(jì)算技術(shù)正交。例如，雖然機(jī)器學(xué)習(xí)可以以Spiking Neural Networks（SNN）的形式應(yīng)用于神經(jīng)形態(tài)計(jì)算，但傳統(tǒng)的PyTorch和TensorFlow庫并不是為了實(shí)現(xiàn)SNN而建立的。
作為公告的一部分，Intel為神經(jīng)形態(tài)社區(qū)推出了一個新的底層軟件框架，名為Lava。這是一個開源的框架，不在Intel的控制之下，而是由社區(qū)管理。Intel已將其早期的一些工具作為框架的一部分，其想法是，隨著時間的推移，可以開發(fā)出一個完整的軟件棧，供參與神經(jīng)形態(tài)計(jì)算的每個人使用，無論硬件是什么（CPU、GPU、神經(jīng)形態(tài)芯片）。Lava的設(shè)計(jì)是模塊化、可組合、可擴(kuò)展、分層和開源的。這包括一個用于將神經(jīng)網(wǎng)絡(luò)映射到神經(jīng)形態(tài)硬件上的底層接口，基于通道的異步消息傳遞，所有的庫和功能都通過Python公開。該軟件將在BSD-3和LGPL-2.1下在GitHub上供免費(fèi)使用。
初始系統(tǒng)
部署在英特爾云服務(wù)中的Loihi 2的第一個版本是Oheo Gulch，它看起來像一個PCIe外接卡，使用FPGA來管理大量的IO，如果需要的話還有一個背板連接器。31平方毫米的芯片是BGA，這里我們看到Intel的一個內(nèi)部連接器，用于將BGA芯片固定在開發(fā)板上。
在未來的某一天，Intel將生產(chǎn)一個4英寸乘4英寸的版本，名為Kapoho Point，搭載八個芯片，旨在堆疊和集成到一個更大的機(jī)器中。
有了這么小的芯片，想知道是否值得在芯片上安裝一個USB控制器，或者有一個USB到以太網(wǎng)接口，并在U盤上提供硬件，類似于Intel的Movidius。然而，由于這仍然是Intel實(shí)驗(yàn)室的一個項(xiàng)目，該團(tuán)隊(duì)的一個關(guān)鍵因素是他們與合作伙伴的專門合作，以推動該領(lǐng)域的發(fā)展。因此，我們將不得不至少再等上一代或更長時間，看看未來的Loihi系統(tǒng)最終是否會在電商平臺上買到。
Loihi 2作為Intel DevCloud的一部分，應(yīng)該已經(jīng)可以供研究伙伴使用了。預(yù)計(jì)在未來12-24個月內(nèi)會有企業(yè)內(nèi)部的研究/協(xié)作部署。
[參考文章]
Intel Rolls Out New Loihi 2 Neuromorphic Chips: Built on Early Intel 4 Process — Dr. Ian Cutress
