Rambus推9.6 Gbps HBM3內(nèi)存控制器IP，直擊AI訓練內(nèi)存墻痛點

自2012年以來，大規(guī)模的AI訓練所使用的數(shù)據(jù)集的計算量正以每年10倍的速度在增長。以ChatGPT為例，其在2022年11月的版本使用的參數(shù)是1750億個，而到了今年3月的版本使用的參數(shù)則達到了1.5萬億個。

為什么訓練參數(shù)量越來越多，其背后的原因主要有三點：1、日益復雜的AI模型；2、大量可以被用于訓練的在線生成數(shù)據(jù)；3、人工智能應(yīng)用對準確性和穩(wěn)健性期望的持續(xù)提升。當我們把這些需求轉(zhuǎn)化為對內(nèi)存的需求時，就意味著需要更高的帶寬，以及更高的容量。

事實上，當前算力向前演進可能不會有太多的挑戰(zhàn)，擺在業(yè)界面前更多的是存儲墻的問題，也就是內(nèi)存、帶寬發(fā)展太慢了。這也就是為什么英偉達在GPU架構(gòu)無需調(diào)整的情況下，能讓H200推理速度達到了前代產(chǎn)品H100的兩倍主要原因。據(jù)悉，得益于HBM3e的搭載，H200顯卡擁有141GB的內(nèi)存和4.8TB/秒的帶寬。

圖 | 內(nèi)存接口和互聯(lián)IP，圖源：Rambus

需求最終的表現(xiàn)會在市場，根據(jù)TrendForce發(fā)布的數(shù)據(jù)顯示，2023年，AI行業(yè)主流需求已經(jīng)從HBM2E轉(zhuǎn)向HBM3，HBM3需求占比提升至39%，預計2024年市場需求占比將達60%。而與非網(wǎng)記者也在Rambus接口IP產(chǎn)品管理和營銷副總裁Joe Salvador處證實了這一點。

說到內(nèi)存、接口，我們不得不提到一家把存儲基因刻在名字中的企業(yè)——Rambus（Ram和bus分別代表存儲和安全快速傳輸）。

這家企業(yè)成立于上個世紀的九十年代，總部位于硅谷的圣何塞，其主要業(yè)務(wù)包括：基礎(chǔ)專業(yè)授權(quán)、半導體IP授權(quán)和芯片業(yè)務(wù)。其中半導體IP又主要分為接口IP和安全IP。Rambus的技術(shù)和產(chǎn)品面向數(shù)據(jù)中心和邊緣計算市場，以及汽車物聯(lián)網(wǎng)等細分市場。

根據(jù)Rambus發(fā)布的財報顯示，2022年公司來自于芯片和IP的業(yè)務(wù)收入再創(chuàng)新高，其中來自產(chǎn)品的業(yè)務(wù)收入同比實現(xiàn)了58%的增長，同時經(jīng)營現(xiàn)金流達到了2.3億美金。

圖 | Rambus數(shù)據(jù)中心解決方案，圖源：Rambus

Rambus能在2022年擁有如此亮眼成績的背后，是因為數(shù)據(jù)中心是其主要聚焦的市場，75%以上的芯片和IP業(yè)務(wù)收入都來自于數(shù)據(jù)中心。而近年來，數(shù)據(jù)中心賽道在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等行業(yè)需求的共同驅(qū)動下，發(fā)展迅速，且表現(xiàn)出持續(xù)性的增長趨勢。

在這樣的大背景下，Rambus于近日推出了HBM3內(nèi)存控制器IP，可提供高達9.6 Gbps的性能，可支持HBM3標準的持續(xù)演進。相比HBM3 Gen1 6.4 Gbps 的數(shù)據(jù)速率，Rambus HBM3內(nèi)存控制器的數(shù)據(jù)速率提高了50%，總內(nèi)存吞吐量超過1.2 TB/s，適用于推薦系統(tǒng)的訓練、生成式AI以及其他要求苛刻的數(shù)據(jù)中心工作負載。

圖 | Rambus HBM3控制器模塊圖

據(jù)悉，Rambus HBM3內(nèi)存控制器從即日起便可提供許可證。

而對于Rambus HBM3內(nèi)存控制器是否能夠滿足市場上新推出的HBM3e需求，Joe Salvador認為：“確實，當前市場上幾家主流的內(nèi)存廠商都宣稱有HBM3e內(nèi)存，但從規(guī)格的角度上來講，目前所說的HBM3e還不是正式的行業(yè)標準，它是在HBM3基礎(chǔ)上的拓展，比較HBM3E和HBM3，可以發(fā)現(xiàn)其實堆棧的厚度沒有變化，支持的DRAM容量也沒有變化，變化的知識總帶寬。”

圖 | HBM內(nèi)存的演變，圖源：Rambus

值得一提的是，Rambus前段時間將自己發(fā)展得非常好的PHY業(yè)務(wù)出售給了自己曾經(jīng)的客戶Cadence，針對這一戰(zhàn)略性變化，Joe Salvador表示：“這一動作可以幫助Rambus更好地去跟其他的PHY合作伙伴合作，因為已經(jīng)不構(gòu)成跟他們直接的競爭關(guān)系了，而是成為很好的上下游的合作伙伴關(guān)系?！?/p>

此外，針對中國市場，Rambus大中華區(qū)總經(jīng)理蘇雷表示：“今年以ChatGPT為代表的AIGC的發(fā)展，徹底帶火了AI芯片。我們看到在中國市場上也有一些新興公司，開始聚焦在AI訓練芯片上，當前我們正在跟這些云廠商、AI芯片公司進行緊密地合作，今年主要是面向HBM3的項目?！?/p>