HBM新技術，橫空出世！

作者：豐寧

AI的火熱，令HBM也成了緊俏貨。

業(yè)界各處都在喊：HBM缺貨！HBM增產(chǎn)！把DDR4/DDR3產(chǎn)線轉向生產(chǎn)DDR5/HBM等先進產(chǎn)品。數(shù)據(jù)顯示，未來HBM市場將以每年42%的速度增長，將從2023年的40億美元增長到2033年的1300億美元，這主要受工作負載擴大的 AI 計算推動。到 2033 年，HBM 將占據(jù)整個 DRAM 市場的一半以上?？杉幢阈袠I(yè)全力增產(chǎn)，HBM 供應缺口仍然很大，芯片巨頭也急的“抓耳撓腮”。

當下，存儲芯片巨頭主要有兩大行動方向。一方面，對HBM技術持續(xù)升級并加大現(xiàn)有 HBM 產(chǎn)品的產(chǎn)量；另一方面，分出部分精力，關注另一種形式的 HBM 產(chǎn)品。

?01、HBM4，來了！

在HBM的技術升級中，SK海力士總是那個“第一個吃螃蟹的人”。3月19日，SK海力士宣布推出面向 AI 的超高性能 DRAM 新產(chǎn)品 12 層（12Hi）HBM4 內存，并在全球率先向主要客戶出樣了 12Hi HBM4。SK 海力士在 12Hi HBM4 上采用了 24Gb DRAM 芯片，繼續(xù)使用了 Advanced MR-MUF鍵合工藝，單封裝容量達 36GB，帶寬達 2TB/s，運行速度較 HBM3E 提升了 60% 以上。

SK 海力士強調，以引領 HBM 市場的技術競爭力和生產(chǎn)經(jīng)驗為基礎，能夠比原計劃提早實現(xiàn) 12 層 HBM4 的樣品出貨，并已開始與客戶的驗證流程。公司將在下半年完成量產(chǎn)準備，由此鞏固在面向 AI 的新一代存儲器市場領導地位。日前還有報道稱，SK海力士預計將獨家供應英偉達Blackwell Ultra架構芯片第五代12層HBM3E，預期與三星電子、美光的差距將進一步拉大。

反觀競爭對手三星這邊，HBM3E此前一直未能獲得英偉達品質認證，而最新消息則是三星新HBM3E在日前英偉達的審核中獲得令人滿意的評分，預計最快6月初通過英偉達等的品質認證。除此之外，這些存儲龍頭還在一些新興HBM技術上下足功夫。

?02、移動HBM，存儲巨頭下場了！

本文要談到的第一種新興技術，被稱為移動HBM。移動HBM，即LPW DRAM，也被稱為低延遲寬 I/O (LLW)。該技術是堆疊和連接LPDDR?DRAM來增加內存帶寬，它與HBM類似，通過將常規(guī)DRAM堆疊8層或12層來提高數(shù)據(jù)吞吐量，并具有低功耗的優(yōu)勢。

移動HBM和LPDDR最大的區(qū)別在于是否是“定制內存”。LPDDR是通用型產(chǎn)品，一旦量產(chǎn)即可批量使用；而移動HBM是一個定制產(chǎn)品，反映了應用程序和客戶的要求。由于移動HBM與處理器連接的引腳位置不同，因此在批量生產(chǎn)之前需要針對每個客戶的產(chǎn)品進行優(yōu)化設計。

HBM 是在 DRAM 中鉆微孔，并用電極連接上下層。移動HBM具有相同的堆疊概念，但正在推廣一種將其堆疊在樓梯中，然后用垂直電線將其連接到基板的方法。三星和SK海力士均看中了移動HBM的潛力，但這兩家公司采取的技術路線各不相同。

三星開發(fā)“VCS”技術三星正在開發(fā)名為“VCS”的技術，該技術將從晶圓上切割下來的 DRAM芯片以臺階形狀堆疊起來，用環(huán)氧材料使其硬化，然后在其上鉆孔并用銅填充。堆疊形式可參照下圖右下角的呈現(xiàn)。

三星表示，VCS先進封裝技術相較于傳統(tǒng)引線鍵合，I/O密度和帶寬分別提升8倍和2.6倍；相比VWB垂直引線鍵合，VCS技術生產(chǎn)效率提升9倍。三星還為其新款 LPW DRAM 設定了高性能目標，與其尖端移動內存 LPDDR5X 相比，新款 LPW DRAM 的 I/O 速度預計將提高 166%。這比每秒 200GB 更快，同時功耗降低了 54%。

三星電子半導體暨裝置解決方案（DS）部門首席技術官宋在赫表示，搭載LPW DRAM內存的首款移動產(chǎn)品將在2028年上市。

近日，有業(yè)內人士表示，三星電子目前正與多個系統(tǒng)級芯片（SoC）客戶合作開發(fā)LPW DRAM，已確認其中包括蘋果和三星電子的移動體驗（MX）業(yè)務部門。SK海力士開發(fā)“VFO”技術SK海力士正在開發(fā)名為“VFO”的技術，與三星的VCS不同，SK海力士選擇的是銅線而非銅柱。DRAM以階梯式方式堆疊，并通過垂直柱狀線/重新分布層連接到基板。堆疊形式可參照下圖。

它在連接元件和工藝順序方面與三星電子也不同，它使用銅線連接堆疊的 DRAM，然后將環(huán)氧樹脂注入空白處以使其硬化，來實現(xiàn)移動DRAM芯片的堆疊。

SK海力士的VFO技術結合了FOWLP（晶圓級封裝）和DRAM堆疊兩項技術，VFO技術通過垂直連接，大幅縮短了電信號在多層DRAM間的傳輸路徑，將線路長度縮短至傳統(tǒng)內存的1/4以下，將能效提高4.9%。這種方式雖然增加了1.4%的散熱量，但是封裝厚度卻減少了27%。

至于為什么兩大存儲巨頭紛紛看上移動HBM這一賽道，主要源于設備上AI需求的推動，內存公司正在轉向LPW DRAM的開發(fā)。由于預計繼服務器領域之后，移動領域也將出現(xiàn)內存瓶頸，因此計劃積極推出高性能DRAM。

?03、cHBM，橫空出世

本文要談到的第二種新興技術，即cHBM。cHBM，即Custom HBM，也就是定制高帶寬內存。其實上文提到的移動HBM也屬于cHBM的一種。這個新型技術，由Marvell于去年12月推出。其與領先的內存制造商，如美光、三星和SK海力士等合作開發(fā)。在 AI 算力芯片領域，GPU 廣為人知，是備受矚目的存在。然而，鑒于部分場景對定制化算力芯片需求更為強烈，ASIC 芯片應運而生。

如今，這一理念，也延續(xù)到了HBM領域。那么，定制HBM與常規(guī)HBM有何不同？本文將用相對直白的闡述做一下介紹。首先我們先來看一下常規(guī)的HBM。據(jù)悉，HBM已存在十多年，最初用于AMD GPU和Xilinx FPGA，通過1024條以合理速度運行的數(shù)據(jù)線實現(xiàn)高帶寬，節(jié)省功耗但成本較高，限制了其應用范圍。HBM面臨的主要問題是容量限制，每個通道僅有一個堆棧，容量在HBM3之前有限，HBM4雖有所增加，但根本問題在于DRAM密度和堆疊成本。

眾所周知，HBM的原理像是利用DRAM在疊高高，這種辦法成本高昂，并且增加堆棧數(shù)量雖可部分解決容量問題，但會引發(fā)芯片邊緣空間限制、堆棧高度和經(jīng)濟可行性等一系列新問題。由于引腳和走線需求，HBM堆疊數(shù)量受芯片邊緣長度限制，通常每側最多3-4個堆疊，且受標線極限（約800mm2）制約。

因此，盡管HBM有其優(yōu)勢，但在容量和堆疊數(shù)量上仍面臨挑戰(zhàn)。那么，cHBM帶來了什么呢？Marvell的cHBM解決方案針對特定應用量身打造介面與堆疊，目標是減少標準HBM介面在處理器內部所占用的空間，釋放可用于運算和功能的空間。

在接口方面，可見下圖，HBM 是集成在 XPU 中的關鍵組件，使用先進的 2.5D 封裝技術和高速行業(yè)標準接口。然而，XPU 的擴展受到當前基于標準接口架構的限制。全新的 Marvell cHBM 計算架構引入定制接口，以優(yōu)化特定 XPU 設計的性能、功耗、芯片尺寸和成本。

在性能提升方面，借由專屬D2D（die-to-die）I/O，不僅能在定制化XPU中多裝25%邏輯芯片，也可在運算芯片旁多安裝33%cHBM存儲器封裝，增加處理器可用DRAM容量。預期可將存儲器介面功耗降低70%。

在帶寬增加方面，新Marvell D2D HBM介面將擁有20 Tbps/mm（每毫米2.5TB/s）頻寬，比目前HBM提供的5Tbps/mm（每毫米625GB/s）多。此外，預期無緩沖存儲器的速度將達50Tbps/mm（每毫米6.25TB/s）。Marvell沒透露cHBM介面的寬度及更多信息，僅表示通過序列化（serializing）與加速內部AI加速器芯片與HBM基礎芯片之間的I/O介面，來增強XPU。

在硬件設計方面，由于cHBM并不依賴JEDEC標準，因此硬件部分需要全新的控制器和定制化實體介面、全新的D2D介面及改良的HBM基本芯片。與業(yè)界標準HBM3E或HBM4解決方案相比，cHBM介面寬度較窄。說簡單點，也就是cHBM可提供定制化接口以減少處理器內部空間占用，實現(xiàn)更高芯片裝載量、更低功耗、更高帶寬，并具備全新硬件設計。關于應用，cHBM的靈活性可以在不同類型的場景中帶來利好：

云提供商將其用于邊緣 AI 應用，其中成本和功耗是關鍵標準。

在基于 AI/ML 的復雜計算場中使用，其中容量和吞吐量被推到極限。

?04、HBM的應用場景，也在拓寬

除了技術的拓展，HBM的應用場景也在不斷拓寬。如上文所述，移動 HBM 主要應用于移動終端等設備，而 Marvell 的 cHBM 則主要適配 AI 領域的特殊需求。除了這兩點，HBM產(chǎn)品還有這樣一種場景吸引人的注意力。即：HBM上車。

HBM在汽車中應用并不是一個新故事。日前，SK海力士副總裁Kang Wook-sung透露，SK海力士HBM2E正用于Waymo自動駕駛汽車，并強調SK海力士是Waymo自動駕駛汽車這項先進內存技術的獨家供應商。據(jù)悉，SK海力士的車規(guī)級HBM2E產(chǎn)品展現(xiàn)了卓越性能：容量高達8GB，傳輸速度達到3.2Gbps，實現(xiàn)了驚人的410GB/s帶寬，為行業(yè)樹立了新標桿。

以此為契機，SK海力士正積極拓展與NVIDIA、Tesla等自動駕駛領域解決方案巨頭的合作網(wǎng)絡。至于為什么汽車也要用上HBM，筆者在此對汽車存儲的需求進行分析。在面對智能座艙、車載信息娛樂系統(tǒng)、高級駕駛輔助系統(tǒng)日益火熱的當下，車用存儲芯片涉及NOR Flash、eMMC、UFS、LPDDR、SSD等品類。其中對內存的需求正在迅速擴大，當前主要產(chǎn)品是LPDDR，以LPDDR4 和LPDDR5為最多。

未來，只靠這些難以滿足汽車對存儲的全部需求。據(jù)測算，高端汽車在信息娛樂領域使用 24GB DRAM和64/128GB NAND，到2028 年預計DRAM容量將超過64GB，NAND將達到1TB 左右；對于ADAS，預計當前128GB DRAM容量將增加到 384GB，NAND 將從1TB擴大到4TB。

除此之外，在智能駕駛等應用場景的需求驅動下，存儲系統(tǒng)的功能已超越了單純的數(shù)據(jù)保存。它還必須實現(xiàn)高效的數(shù)據(jù)交換，例如，能夠迅速地將搜集到的各類信息進行即時傳遞與處理。畢竟只有實現(xiàn)快速的數(shù)據(jù)交換，計算平臺才能及時對信息進行分析與處理，進而精準控制車輛的行駛速度、轉向角度等關鍵操作，保障智能駕駛的安全與流暢運行。SK海力士副總裁Ryu Seong-su透露，公司的HBM正受到全球企業(yè)的高度關注，蘋果、微軟、谷歌、亞馬遜、英偉達、Meta和特斯拉等七巨頭都向SK海力士提出了定制HBM解決方案的要求。

?05定制HBM，成為潮流

日前，三星在芯片代工論壇中提到，將從HBM4開始實現(xiàn)客戶定制化產(chǎn)品。業(yè)界消息人士透露，三星電子和SK海力士都在加速拓展“定制化內存”市場，即按照客戶所需形式制造和交貨HBM。

據(jù)報道，為了應對定制化HBM需求，三星針對每位客戶性能需求開發(fā)優(yōu)化產(chǎn)品，目前正與多家客戶討論詳細規(guī)格。負責PKG產(chǎn)品開發(fā)的副總裁Lee Kyu-jae表示，能在HBM市場占主導地位的最大動力是在客戶需要的時間提供產(chǎn)品，公司計劃確?；旌湘I合等新技術的同時，不斷推進先進的MR-MUF技術。Lee Kyu-jae強調開發(fā)下一代封裝技術的重要性，必須針對定制化產(chǎn)品需求增加入行回應，“預計今年下半年量產(chǎn)HBM4，我們考慮從先進的MR-MUF和下一代混合鍵合方法”。

定制化HBM可能是解決內存市場供過于求疑慮的新解決方案。郭魯正指出，隨著公司超越HBM4，定制化需求將增加，成為全球趨勢，并轉向以合約為基礎的性質，逐漸降低供過于求的風險。SK海力士也將開發(fā)符合客戶需求的技術。

隨著AI興起，HBM市場從“通用型市場”演進為“客戶定制化市場”，不管是三星在芯片代工論壇的發(fā)言，還是SK海力士與臺積電合作，都凸顯出為滿足客戶特定需求的策略。轉為定制化不僅解決供過于求問題，生產(chǎn)也能與客戶需求保持一致，確保HBM市場能更穩(wěn)定發(fā)展。