英偉達(dá)H200帶寬狂飆！HBM3e/HBM3時代即將來臨

當(dāng)?shù)貢r間11月13日，英偉達(dá)（NVIDIA）宣布推出NVIDIA HGX? H200，旨為世界領(lǐng)先的AI計(jì)算平臺提供強(qiáng)大動力，將于2024年第二季度開始在全球系統(tǒng)制造商和云服務(wù)提供商處提供。

H200輸出速度約H100的兩倍

據(jù)介紹，NVIDIA H200是基于NVIDIA Hopper?架構(gòu)，配備具有高級內(nèi)存的NVIDIA H200 Tensor Core GPU，可處理海量數(shù)據(jù)，用于生成式AI和高性能計(jì)算工作負(fù)載。

與H100相比，NVIDIA H200對Llama2模型的推理速度幾乎翻倍。據(jù)悉，基于Meta的Llama 2大模型的測試表明，H200的輸出速度大約是H100的兩倍。

英偉達(dá)表示，H200還能與已支援H100的系統(tǒng)相容。也就是說，已經(jīng)使用先前模型進(jìn)行訓(xùn)練的AI公司將無需更改其服務(wù)器系統(tǒng)或軟件即可使用新版本。英偉達(dá)服務(wù)器制造伙伴包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯(lián)想、云達(dá)、美超微、緯創(chuàng)資通以及緯穎科技，均可以使用H200更新現(xiàn)有系統(tǒng)，而亞馬遜、Google、微軟、甲骨文等將成為首批采用H200的云端服務(wù)商。

不過，英偉達(dá)暫時并未透露該產(chǎn)品價格。據(jù)國外媒體《CNBC》報(bào)道，英偉達(dá)上一代H100價格估計(jì)為每個2.5萬美元至4萬美元。英偉達(dá)發(fā)言人Kristin Uchiyama透露稱，最終定價將由NVIDIA制造伙伴制定。

隨著ChatGPT等推動AI應(yīng)用發(fā)展，NVIDIA芯片被視為高效處理大量資料和訓(xùn)練大型語言模型的關(guān)鍵芯片，當(dāng)下市場供不應(yīng)求，產(chǎn)量問題成為業(yè)界關(guān)注的重點(diǎn)。

據(jù)《金融時報(bào)》8月報(bào)道指出，NVIDIA計(jì)劃在2024年將H100產(chǎn)量成長三倍，產(chǎn)量目標(biāo)將從2023年約50萬個增加至2024年200萬個。

關(guān)于H200的推出是否會影響上一代H100的生產(chǎn)，Kristin Uchiyama指出，未來全年的整體供應(yīng)量還將有所增加。

HBM3e/HBM3時代將至

值得一提的是，此次英偉達(dá)發(fā)布的H200是首次采用HBM3e存儲器規(guī)格，使GPU存儲器帶寬從H100的每秒3.35TB提高至4.8TB，提高1.4倍，存儲器總?cè)萘恳矎腍100的80GB提高至141GB，容量提高1.8倍。

此外，據(jù)媒體引述業(yè)內(nèi)人士稱，三星電子計(jì)劃從明年1月開始向英偉達(dá)供應(yīng)高帶寬內(nèi)存HBM3，HBM3將被應(yīng)用在英偉達(dá)的圖形處理單元（GPU）上。

“整合更快、更廣泛的HBM存儲器有助于對運(yùn)算要求較高的任務(wù)提升性能，包括生成式AI模型和高性能運(yùn)算應(yīng)用程式，同時優(yōu)化GPU使用率和效率”英偉達(dá)高性能運(yùn)算產(chǎn)品副總裁Ian Buck表示。

近年來，AI服務(wù)器需求熱潮帶動了AI加速芯片需求，其中高頻寬存儲器——HBM，成為加速芯片上的關(guān)鍵性DRAM產(chǎn)品。以規(guī)格而言，據(jù)TrendForce集邦咨詢研究指出，當(dāng)前HBM市場主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設(shè)計(jì)。同時，為順應(yīng)AI加速器芯片需求演進(jìn)，各原廠計(jì)劃于2024年推出新產(chǎn)品HBM3e，預(yù)期HBM3與HBM3e將成為明年市場主流。

近期，三星、美光等存儲大廠正在不斷加快擴(kuò)產(chǎn)步伐。據(jù)此前媒體報(bào)道，為了擴(kuò)大HBM產(chǎn)能，三星已收購三星顯示（Samsung Display）韓國天安廠區(qū)內(nèi)部分建筑及設(shè)備，用于HBM生產(chǎn)。三星計(jì)劃在天安廠建立一條新封裝線，用于大規(guī)模生產(chǎn)HBM，該公司已花費(fèi)105億韓元購買上述建筑和設(shè)備等，預(yù)計(jì)追加投資7000億-1萬億韓元。

而美光科技位于臺灣地區(qū)的臺中四廠于11月初正式啟用。美光表示，臺中四廠將整合先進(jìn)探測與封裝測試功能，量產(chǎn)HBM3E及其他產(chǎn)品，從而滿足人工智能、數(shù)據(jù)中心、邊緣計(jì)算及云端等各類應(yīng)用日益增長的需求。該公司計(jì)劃于2024年初開始大量出貨HBM3E。

從HBM不同世代需求比重來看，據(jù)TrendForce集邦咨詢表示，2023年主流需求自HBM2e轉(zhuǎn)往HBM3，需求比重分別預(yù)估約是50%及39%。隨著使用HBM3的加速芯片陸續(xù)放量，2024年市場需求將大幅轉(zhuǎn)往HBM3，而2024年將直接超越HBM2e，比重預(yù)估達(dá)60%，且受惠于其更高的平均銷售單價（ASP），將帶動明年HBM營收顯著成長。

TrendForce集邦咨詢此前預(yù)估，由于HBM3平均銷售單價遠(yuǎn)高于HBM2e與HBM2，故將助力原廠HBM領(lǐng)域營收，可望進(jìn)一步帶動2024年整體HBM營收至89億美元，年增127%。