AI 2.0時代，服務器DDR5底層架構迎來變革

生成式AI是當前最為顯著的趨勢，它主要得益于大語言模型（LLM）的成功和相關技術的發(fā)展。未來，AI的趨勢將是多模態(tài)輸入輸出模型，即AI能夠根據(jù)文本、圖片或視頻等多種指令，生成更復雜、更高階的輸出結果，為生成式AI的應用提供無限可能性。

AI大模型的復雜性和功能日益增強，離不開在線數(shù)據(jù)為模型訓練提供的豐富資源。根據(jù)OpenAI的數(shù)據(jù)，自2012年以來，全球最大的AI訓練項目所需計算量每年增長10倍。例如，ChatGPT的GPT-3版本使用了1750億參數(shù)，而幾個月后的GPT-4版本參數(shù)數(shù)量激增至1.5萬億。未來，要實現(xiàn)更加準確、全面且強大的AI模型，預計AI訓練數(shù)據(jù)集還將保持高速增長。這也意味著，能夠應對海量數(shù)據(jù)的服務器內存對于生成式AI的發(fā)展至關重要，更高帶寬的內存成為必需。

大模型趨勢下，數(shù)據(jù)管道內存需求日益增加

日前，Rambus宣布了DDR5服務器電源管理IC領域的突破，通過最新的芯片技術，可助力DDR5內存模塊在目標功耗范圍內實現(xiàn)更高水平的內存性能，滿足數(shù)據(jù)管道日益增加的內存需求。

Rambus內存互連芯片業(yè)務部門產品營銷副總裁John Eble以經過簡化的AI訓練管道為例介紹說，數(shù)據(jù)存儲是起點，其中保存了大量的AI數(shù)據(jù)集，例如OpenAI的SDXL應用，使用了超過1億張圖片作為訓練數(shù)據(jù)。到了數(shù)據(jù)存儲階段，因為GPU尚未參與到訓練流程中，服務器主內存容量并沒有達到夸張的量級。

隨后進入數(shù)據(jù)準備階段，數(shù)據(jù)需經過整理、正?；万炞C，這一階段主內存需求顯著增加，大約需要1TB。例如，在SDXL訓練網絡架構中，圖像需統(tǒng)一規(guī)格，以提高網絡資源的利用效率，降低延遲并節(jié)省空間。

完成數(shù)據(jù)準備后，進入實際訓練階段，這是對GPU和內存需求最高的階段。主內存容量通常需要是GPU內存的兩倍，并且必須具備高帶寬，以滿足GPU的數(shù)據(jù)吞吐速度。

整個AI訓練管道從數(shù)據(jù)采集、存儲、準備、訓練到最終形成推理模型，是一個連續(xù)的過程?！斑@僅是一個簡化的訓練流程，而實際應用中，一個集群或實例的內存容量可能是簡化模型中所描述的數(shù)倍”，John Eble表示，“為了滿足不斷增長的數(shù)據(jù)管道日益增加的內存需求，需要更高帶寬和容量的RDIMM?！?/p>

PMIC成為DDR5內存架構的關鍵組件

DDR5如何實現(xiàn)更高的內存性能？主要是更智能的DIMM（雙列直插式內存模塊）架構。與DDR4相比，DDR5內存采用采用了雙通道架構，每個通道的數(shù)據(jù)流通道比特率達到32位，加上8位的ECC（錯誤校正碼），確保了更高的存儲和吞吐量，從而提升了內存性能。

其次，雙通道RCD在主機端以DDR5 速度運行，與DRAM運行速度相同，使得每個引腳的開關頻率比 DDR4高出一倍多。此外還有頻率速度的提升，DDR5的每通道最高頻率速度可達8400MT/s，而根據(jù)JEDEC的最新數(shù)據(jù)，在DRAM規(guī)格中可以達到8800MT/s。

以上這些都表明，更高的數(shù)據(jù)傳輸速率至關重要?！斑@些因素共同促使我們決定采用專用的電源管理IC，來幫助控制更加精細的電壓”，John Eble表示，“PMIC是DDR5內存架構的關鍵組件，可以實現(xiàn)更多的內存通道、更大容量的模組和更高的帶寬?！?/p>

對比前幾代產品將PMIC放在主板上的做法，DDR5 DIMM架構的主要變化之一是將PMIC集成到了內存模塊。

為什么要將PMIC從主板挪到內存模塊上？John Eble表示，從DDR4到DDR5，電壓從1.2V降到1.1V，與此同時，數(shù)據(jù)傳輸速率更高，DDR5最高可以達到8800MT/s，而DDR4上限是3200MT/s。為了實現(xiàn)更高的數(shù)據(jù)傳輸速率，DDR5需要更嚴格且精準的電壓范圍。在電源配置變化的情況下,它需要非常低的噪音，而且需要在這些較低電壓下保持可靠性。

將PMIC集成到內存模塊的架構變化真正解決了電阻（IR）下降的問題。這與其他創(chuàng)新和DDR5 DIMM一起，使得內存帶寬和容量得到了顯著提升。

據(jù)了解，全新的DDR5服務器PMIC系列包含符合JEDEC超高電流的PMIC5020、高電流PMIC5000和低電流PMIC5010規(guī)范的產品。其中， PMIC5020將使未來幾代 DDR5 RDIMM 的性能和容量達到新的基準。

通過全新的PMIC系列，Rambus可以支持多代基于 DDR5 的高性能服務器，提供完整的內存接口芯片組，包含 RCD、PMIC、SPD Hub、溫度傳感器IC。憑借在高性能內存領域積累30多年的經驗，Rambus已成為RDIMM制造商的“一站式” DDR5 內存接口芯片供應商，能夠為制造商提供最高級別的驗證保證并加快其產品上市時間。

內存集成PMIC或將成為趨勢，DDR5面臨漲價壓力

John Eble表示，業(yè)界已經經歷了將PMIC集成到模塊驗證和認證中的學習曲線，并看到了由此帶來的好處，他認為這將繼續(xù)成為一種趨勢。

在內存模塊中集成PMIC，遵循了微電子行業(yè)將供電設備盡可能靠近使用點的趨勢。DDR5 內存模塊是第一個在內存模塊上集成PMIC的主要內存類型，未來，隨著對更高性能和電源效率的需求不斷增長，可能會定義新型內存模塊。而且，這些模塊很有可能繼續(xù)在模塊上集成 PMIC，以進一步優(yōu)化電源管理并提高整體系統(tǒng)性能。

談及DDR5的價格走勢，John Eble認為，現(xiàn)階段，DDR5內存價格總體上還是在根據(jù)整個DRAM內存行業(yè)的供需關系正常運行著。去年對于DRAM行業(yè)來說是比較艱難的一年，有很多的資本支出計劃被削減，所以就導致供應收緊。此外，某些細分市場（如人工智能的 HBM）的需求也在急劇增長。DRAM制造商所擁有的產能，都被分配給了這些利潤豐厚的細分市場，而向其他內存類型分配產能會進一步緊縮供應。因此，從目前的情況來看，DDR5 的需求似乎大于供應，在供應恢復平衡之前，很可能會造成價格上漲的壓力。