HBM學(xué)習(xí)筆記

最近，隨著人工智能行業(yè)的高速崛起，大算力芯片業(yè)成為半導(dǎo)體行業(yè)為數(shù)不多的熱門領(lǐng)域

HBM (高寬帶內(nèi)存：High-bandwidth memory)作為大算力芯片里不可或缺的組成部分，也因此走入了行業(yè)內(nèi)外人士的視野

和傳統(tǒng)的GDDR相比，HBM不僅僅提供了更大的位數(shù)寬度，而且通過TSV和Interposer的連接方式，大幅降低了數(shù)據(jù)通訊上的能量損耗。這對于大算力芯片的性能效率提升是起到?jīng)Q定性作用的

如果GPU通過PCB板和傳統(tǒng)GDDR內(nèi)存交換數(shù)據(jù)，那在高速運(yùn)算時(shí)其大多數(shù)的能耗都會(huì)消耗在數(shù)據(jù)通訊本身而非計(jì)算上。這對于能耗成本高企的AI模型訓(xùn)練來說是幾乎不可接受的

而采用HBM以后，通訊相關(guān)的能耗可以成倍降低，甚至有可能把能耗占比降到20%，甚至更低。所以目前AI相關(guān)的算力芯片都幾乎采用了HBM的技術(shù)方案。HBM的市場也隨之爆發(fā)（見下圖）

我趁這個(gè)熱度，也收集了不少資料好好學(xué)習(xí)了一下HBM相關(guān)的知識

HBM到目前為止基本發(fā)展了四代：

第一代和第二代的技術(shù)規(guī)范標(biāo)準(zhǔn)被定義在了JEDEC的JESD235里，后更新為JESD235A。HBM2相對于HBM1的區(qū)別是通道模式由原來的Legacy變成了Pseudo Channel：用兩個(gè)虛擬的64位通道等效成一個(gè)128位通道

后來在JESD235C和JESD235D里定義了HBM2E，較大幅度地提升了數(shù)據(jù)通訊能力等參數(shù)。行業(yè)里習(xí)慣把這個(gè)稱為第三代HBM

而JESD238開始定義的HBM3則被順延地稱為了第四代HBM。需要注意的是，這次JEDEC標(biāo)準(zhǔn)文檔的編號也從235改成了238

和之前的版本相比，HBM3的最大變化是每個(gè)Stack的通道(Channel)數(shù)量從2個(gè)增加到了4個(gè)，從而使得數(shù)據(jù)容量翻倍

后來在JEDEC的標(biāo)準(zhǔn)上，Micron、Hynix等制造商也分別推出了自己的增強(qiáng)型版本至于第五代的HBM4，目前JEDEC的標(biāo)準(zhǔn)還沒有正式推出。我在網(wǎng)上也只能找到一些簡單的指標(biāo)數(shù)據(jù)作為參考

為了整理各個(gè)版本HBM的具體指標(biāo)參數(shù)和相關(guān)信息，我不僅下載了JEDEC的各個(gè)版本文檔，也參考不少其它的資料，然后收集整理了下面這個(gè)表格供大家參考?xì)g迎大家?guī)兔Υ_認(rèn)，如果發(fā)現(xiàn)任何問題，請和我溝通或者在公眾號給我留言，謝謝了

由于收集和整理的數(shù)據(jù)信息太多，我干脆做了一個(gè)HBM相關(guān)知識介紹的課程，放在我的行業(yè)景氣度課程包里12月12日星期二晚上 19：00，我會(huì)在線上和大家分享有興趣學(xué)習(xí)交流的朋友，可以在下面的海報(bào)里掃二維碼報(bào)名（報(bào)年課和單次課都可以）

報(bào)名學(xué)習(xí)的同學(xué)，我都會(huì)額外贈(zèng)送課件文檔和上面表格的原始EXCEL文件