別的內(nèi)存都在降價(jià)，為啥HBM漲了5倍？

作者：三分淺土

存儲(chǔ)的寒氣從去年吹到現(xiàn)在，雖然今年開(kāi)年以來(lái)不時(shí)聽(tīng)到觸底反彈的聲音，但市場(chǎng)仍未見(jiàn)明顯解凍現(xiàn)象。

TrendForce數(shù)據(jù)顯示，本季度，占據(jù)存儲(chǔ)市場(chǎng)一半以上的DRAM，已經(jīng)連續(xù)三個(gè)季度下跌。DRAM三巨頭三星、SK海力士和美光在出貨量方面僅美光有上升，其余均衰退；平均銷(xiāo)售單價(jià)三者均下跌，并且預(yù)計(jì)三巨頭在Q2還將繼續(xù)虧損。

以DRAM 4月的指標(biāo)性產(chǎn)品DDR4 8Gb為例，批發(fā)價(jià)為每個(gè)1.48美元左右，環(huán)比下跌1%；4Gb產(chǎn)品價(jià)格為每個(gè)1.1美元左右，環(huán)比下跌8%。

在DRAM的整體頹勢(shì)之中，HBM（高帶寬內(nèi)存，High?Bandwidth?Memory）卻在逆勢(shì)增長(zhǎng)。身為DRAM的一種，與大部隊(duì)背道而馳，價(jià)格一路水漲船高。據(jù)媒體報(bào)道，2023年開(kāi)年后三星、SK海力士?jī)杉掖鎯?chǔ)大廠HBM訂單快速增加，HBM3規(guī)格DRAM價(jià)格上漲5倍。HBM3原本價(jià)格大約30美元每GB，現(xiàn)在的價(jià)格怕是更加驚人。

一邊是總體DRAM跌到成本價(jià)，一邊是“尖子生”HBM價(jià)格漲5倍。

HBM到底是什么？用在什么地方？為什么和其他DRAM差別這么大，價(jià)格水漲船高？

01、什么是HBM

HBM（High Bandwidth Memory），意為高帶寬存儲(chǔ)器，是一種面向需要極高吞吐量的數(shù)據(jù)密集型應(yīng)用程序的DRAM，HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。

正如其名，HBM與其他DRAM最大的差別就是擁有超高的帶寬。最新的HBM3的帶寬最高可以達(dá)到819 GB/s，而最新的GDDR6的帶寬最高只有96GB/s，CPU和硬件處理單元的常用外掛存儲(chǔ)設(shè)備DDR4的帶寬更是只有HBM的1/10。

超高的帶寬讓HBM成為了高性能GPU的核心組件。自從去年ChatGPT出現(xiàn)以來(lái)，HBM作為AI服務(wù)器的“標(biāo)配”，更是開(kāi)始狠刷存在感。從“鮮有問(wèn)津”的高嶺之花，變成了大廠們爭(zhēng)相搶奪的“香餑餑”。

HBM為什么可以擁有這么高的帶寬？它和其他DRAM的差別在哪？為什么會(huì)成為高端GPU的標(biāo)配呢？

先說(shuō)一下HBM是怎么發(fā)展而來(lái)的。

按照不同應(yīng)用場(chǎng)景，JEDEC（固態(tài)技術(shù)協(xié)會(huì)）將DRAM分為三個(gè)類型：標(biāo)準(zhǔn)DDR、移動(dòng)DDR以及圖形DDR，HBM屬于最后一種。

圖形DDR中，先出現(xiàn)的是GDDR（Graphics?DDR），它是為了設(shè)計(jì)高端顯卡而特別設(shè)計(jì)的高性能DDR存儲(chǔ)器規(guī)格，是打破“內(nèi)存墻”的有效方案。

由于處理器與存儲(chǔ)器的工藝、封裝、需求的不同，二者之間的性能差距越來(lái)越大，過(guò)去20年中，硬件的峰值計(jì)算能力增加了90,000倍，但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。當(dāng)存儲(chǔ)的性能跟不上處理器，對(duì)指令和數(shù)據(jù)的搬運(yùn)（寫(xiě)入和讀出）的時(shí)間將是處理器運(yùn)算所消耗時(shí)間的幾十倍乃至幾百倍。

可以想象一下，數(shù)據(jù)傳輸就像處在一個(gè)巨大的漏斗之中，不管處理器灌進(jìn)去多少，存儲(chǔ)器都只能“細(xì)水長(zhǎng)流”。而數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，便是通常所說(shuō)的“內(nèi)存墻”。

為了讓數(shù)據(jù)傳輸更快，就必須要提高內(nèi)存帶寬，內(nèi)存帶寬是處理器可以從內(nèi)存讀取數(shù)據(jù)或?qū)?a class="article-link" target="_blank" href="/tag/%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8/">數(shù)據(jù)存儲(chǔ)到內(nèi)存的速率。GDDR采用傳統(tǒng)的方法將標(biāo)準(zhǔn)PCB和測(cè)試的DRAMs與SoC連接在一起，旨在以較窄的通道提供更高的數(shù)據(jù)速率，進(jìn)而實(shí)現(xiàn)必要的吞吐量，具有較高的帶寬和較好的能耗效率。

不過(guò)，隨著AI等新需求的出現(xiàn)以及風(fēng)靡，對(duì)帶寬的要求更高了，GDDR也開(kāi)始不夠用。但是按照GDDR現(xiàn)有的模式很難有突破性的帶寬進(jìn)展，存儲(chǔ)廠商們望著現(xiàn)有的GDDR，終于頓悟：這樣“躺平”下去不行，得“疊”起來(lái)！于是，HBM出現(xiàn)了。

所以，HBM其實(shí)是GDDR的替代品，是將DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。聽(tīng)起來(lái)有點(diǎn)復(fù)雜，看下面這張圖就一目了然了。

GDDR作為獨(dú)立封裝，在PCB上圍繞在處理器的周?chē)鳫BM則排布在硅中階層(Silicon Interposer)上并和GPU封裝在一起，面積一下子縮小了很多，舉個(gè)例子，HBM2比GDDR5直接省了94%的表面積。并且，HBM離GPU更近了，這樣數(shù)據(jù)傳輸也就更快了。

HBM之所以可以做到這樣的布局，是因?yàn)椴捎昧?D堆疊技術(shù)。HBM將DRAM裸片像摩天大樓一樣垂直堆疊，并通過(guò)硅通孔（Through?Silicon?Via,?簡(jiǎn)稱“TSV”）技術(shù)將“每層樓”連接在一起，貫通所有芯片層的柱狀通道傳輸信號(hào)、指令、電流，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制。你可以將HBM想象成一個(gè)切的整整齊齊的三明治，TSV就是扎在里面的那根牙簽，將整個(gè)三明治固定并打通。

從側(cè)面來(lái)看HBM，來(lái)源：AMD

采用3D堆疊技術(shù)之后，其直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點(diǎn)數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。從傳輸位寬的角度來(lái)看，4層DRAM裸片高度的HBM內(nèi)存總共就是1024 bit位寬。很多GPU、CPU周?chē)加?片這樣的HBM內(nèi)存，則總共位寬就是4096bit。

因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

HBM與其他幾種內(nèi)存方案的參數(shù)對(duì)比；來(lái)源：芯耀輝

HBM朝著不斷提高存儲(chǔ)容量、帶寬，減小功耗和封裝尺寸方向升級(jí)，目前已升級(jí)到HBM3。從最初的 1GB 存儲(chǔ)容量和 128GB/s 帶寬的HBM1發(fā)展到目前的 24GB 存儲(chǔ)容量和 819GB/s 帶寬。

來(lái)源：SK 海力士、Rambus

不過(guò)，雖然HBM擁有優(yōu)秀的帶寬，但也不是適用于所有應(yīng)用，HBM也有自身的局限性：

首先，缺乏靈活性，由于HBM與主芯片封裝在一起，所以不存在容量擴(kuò)展的可能；其次，容量小，雖說(shuō)一片HBM封裝雖然可以堆8層DRAM裸片，但也僅有8G Byte；第三，訪問(wèn)延遲高。HBM由于互聯(lián)寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發(fā)熱撐不住，所以延遲高（延遲指從讀取指令發(fā)出，到數(shù)據(jù)準(zhǔn)備就緒的過(guò)程，中間的一個(gè)等待時(shí)間）。

簡(jiǎn)單概括一下，同一個(gè)GPU核心，往往低端顯卡用DDR內(nèi)存，高端用GDDR內(nèi)存，再高端用HBM2內(nèi)存。目前，HBM已經(jīng)可以算是高端GPU的標(biāo)配了。

02、借AI東風(fēng)HBM需求激增

2021年的時(shí)候，HBM位元需求占整體DRAM市場(chǎng)只有不到1%。主要是因?yàn)镠BM高昂的成本以及當(dāng)時(shí)服務(wù)器市場(chǎng)中搭載相關(guān)AI運(yùn)算卡的比重仍小于1%，且多數(shù)存儲(chǔ)器仍使用GDDR5(x)、GDDR6來(lái)支持其算力。

而到了今年年初，HBM的需求激增，并且業(yè)內(nèi)人士稱，與最高性能的 DRAM 相比，HBM3 的價(jià)格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務(wù)器需求的爆發(fā)。

在ChatGPT火了之后，一下子點(diǎn)燃了AIGC（生成式AI）的熱潮，誰(shuí)不追，誰(shuí)就要被拋下，于是大廠們紛紛開(kāi)始推出自己的類ChatGPT的大模型。據(jù)不完全統(tǒng)計(jì)，自3月16日百度率先公布“文心一言”以來(lái)，國(guó)內(nèi)已有超過(guò)30項(xiàng)大模型產(chǎn)品亮相。

而AI大模型的基礎(chǔ)，就是靠海量數(shù)據(jù)和強(qiáng)大算力來(lái)支撐訓(xùn)練和推理過(guò)程。AI服務(wù)器作為算力基礎(chǔ)設(shè)施單元服務(wù)器的一種類型也來(lái)到了臺(tái)前，備受追捧。TrendForce集邦咨詢預(yù)估，2023年AI服務(wù)器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬(wàn)臺(tái)，同步上修2022-2026年AI服務(wù)器出貨量年復(fù)合成長(zhǎng)率至22%。

HBM成本在AI服務(wù)器成本中占比排名第三，約占9%，單機(jī)ASP（單機(jī)平均售價(jià)）高達(dá)18,000美元。所以，AI服務(wù)器是HBM目前最矚目的應(yīng)用領(lǐng)域。

AI服務(wù)器需要在短時(shí)間內(nèi)處理大量數(shù)據(jù)，包括模型訓(xùn)練數(shù)據(jù)、模型參數(shù)、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數(shù)量少不了，比如ChatGPT基于的GPT3.5大模型的參數(shù)量就高達(dá)135B。數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對(duì)帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配?。

AI服務(wù)器GPU市場(chǎng)以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會(huì)發(fā)布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內(nèi)存。HBM方案目前已演進(jìn)為較為主流的高性能計(jì)算領(lǐng)域擴(kuò)展高帶寬的方案。

目前推出的搭載HBM和GDDR的GPU產(chǎn)品；來(lái)源：奎芯科技

隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長(zhǎng)約30%。

除了AI服務(wù)器，汽車(chē)也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車(chē)中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車(chē)輛周?chē)焖賯鬏敶罅繑?shù)據(jù)，HBM具有很大的帶寬優(yōu)勢(shì)。但是最新的HBM3目前還沒(méi)有取得汽車(chē)認(rèn)證，外加高昂的成本，所以遲遲還沒(méi)有“上車(chē)”。不過(guò)，Rambus的高管曾提出，HBM 絕對(duì)會(huì)進(jìn)入汽車(chē)應(yīng)用領(lǐng)域。

AR和VR也是HBM未來(lái)將發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來(lái)在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實(shí)時(shí)處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來(lái)助力。

此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長(zhǎng)，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來(lái)支持其不斷增長(zhǎng)的計(jì)算需求，HBM也有望在這些領(lǐng)域得到增長(zhǎng)。并且，5G 和物聯(lián)網(wǎng)?(IoT)?等新技術(shù)的出現(xiàn)也進(jìn)一步推動(dòng)了對(duì) HBM 的需求。

不過(guò)，目前來(lái)講，HBM還是主要應(yīng)用于服務(wù)器、數(shù)據(jù)中心等領(lǐng)域，消費(fèi)領(lǐng)域?qū)Τ杀颈容^敏感，因此HBM的使用較少。

可以肯定的是，對(duì)帶寬的要求將不斷提高，HBM也將持續(xù)發(fā)展。市場(chǎng)調(diào)研機(jī)構(gòu)Omdia預(yù)測(cè)，2025年HBM市場(chǎng)的總收入將達(dá)到25億美元。據(jù)新思界發(fā)布的分析報(bào)告顯示，預(yù)計(jì)2025年中國(guó)HBM需求量將超過(guò)100萬(wàn)顆。

03、存儲(chǔ)巨頭爭(zhēng)霸HBM

HBM作為DRAM的一種，其市場(chǎng)也被三巨頭瓜分。目前技術(shù)走在最前面的是SK海力士，并且它也擁有第一的市占率，高達(dá)50%，緊隨其后的是三星，市占率約40%，美光約占10%。預(yù)計(jì)到2023年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分別為38%及9%。

下游廠商主要是CPU/GPU廠商，如英特爾、英偉達(dá)以及AMD。因?yàn)镠BM是于GPU封裝在一起的，所以HBM的封裝基本也由晶圓代工廠一同包攬完成，而晶圓代工廠商包括臺(tái)積電、格芯等也在發(fā)力HBM相關(guān)技術(shù)。國(guó)內(nèi)廠商布局不大，只有一些企業(yè)涉及封測(cè)，如國(guó)芯科技與深科技。

來(lái)源：財(cái)聯(lián)社

總的來(lái)說(shuō)，HBM的競(jìng)爭(zhēng)還是在SK 海力士、三星以及美光之間展開(kāi)。

從技術(shù)上先來(lái)看，SK海力士是目前唯一實(shí)現(xiàn)HBM3量產(chǎn)的廠商，并向英偉達(dá)大量供貨，配置在英偉達(dá)高性能GPU H100之中，持續(xù)鞏固其市場(chǎng)領(lǐng)先地位。根據(jù)此前的資料介紹，SK海力士提供了兩種容量產(chǎn)品，一個(gè)是12層硅通孔技術(shù)垂直堆疊的24GB（196Gb），另一個(gè)則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內(nèi)存還內(nèi)置了片上糾錯(cuò)技術(shù)，提高了產(chǎn)品的可靠性。

三星在2022年技術(shù)發(fā)布會(huì)上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，顯示HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps。2024年預(yù)計(jì)實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3P，預(yù)計(jì)2025年在新一代面向AI的GPU中見(jiàn)到HBM3P的應(yīng)用。

美光科技走得較慢，于2020年7月宣布大規(guī)模量產(chǎn)HBM2E，HBM3也仍作為其產(chǎn)品線在持續(xù)研發(fā)之中。

HBM之后的發(fā)力點(diǎn)在于打破速度、密度、功耗、占板空間等方面的極限。

為了打破速度極限，SK海力士正在評(píng)估提高引腳數(shù)據(jù)速率的傳統(tǒng)方法的利弊，以及超過(guò)1024個(gè)數(shù)據(jù)的I/O總線位寬，以實(shí)現(xiàn)更好的數(shù)據(jù)并行性和向后設(shè)計(jì)兼容性。簡(jiǎn)單來(lái)講，即用最少的取舍獲得更高的帶寬性能。

另一方面廠商也在致力于提高功耗效率，通過(guò)評(píng)估從最低微結(jié)構(gòu)級(jí)別到最高Die堆疊概念的內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴(kuò)展的絕對(duì)功耗。

不過(guò)要想有上述突破，存儲(chǔ)廠商要與上下游生態(tài)系統(tǒng)合作伙伴攜手合作和開(kāi)放協(xié)同，將HBM的使用范圍從現(xiàn)有系統(tǒng)擴(kuò)展到潛在的下一代應(yīng)用。

HBM的下游也在持續(xù)發(fā)力，英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM；英特爾Sapphire Rapids發(fā)布全球首款配備HBM的X86 CPU；AMD也在持續(xù)更新HBM產(chǎn)品線。

借著AI的東風(fēng)，HBM最近熱度大幅上升，從原來(lái)的“小透明”變成了“網(wǎng)紅”。并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會(huì)越來(lái)越強(qiáng)。集邦咨詢預(yù)計(jì)2023-2025年HBM 市場(chǎng)年復(fù)合增長(zhǎng)率有望增長(zhǎng)至40%-45%以上。而其他機(jī)構(gòu)預(yù)測(cè)DRAM5年內(nèi)（2022-2027）年復(fù)合增長(zhǎng)率僅有6.1%。不過(guò)要清楚的是，與龐大的DRAM市場(chǎng)比起來(lái)，HBM還是“渺小的”，大約只占整個(gè)DRAM市場(chǎng)的1.5%。

參考資料：

[1]HBM高帶寬內(nèi)存：新一代DRAM解決方案，方正證券

[2]HBM 成高端 GPU 標(biāo)配，充分受益于 AI 服務(wù)器需求增長(zhǎng)，廣發(fā)證券

[3]HBM，增長(zhǎng)速度迅猛！半導(dǎo)體行業(yè)觀察

[4]存儲(chǔ)巨頭競(jìng)逐HBM，半導(dǎo)體行業(yè)觀察