芯耀
1525
任何單個GPU、XPU或其他AI加速器都無法滿足AI工作負載的巨大計算需求。為了滿足這一需求，需要成千上萬個，甚至不久的將來可能需要數(shù)十萬個這樣的加速器協(xié)同工作，共同分擔處理負載。
以Llama3為例，僅預訓練階段就需要超過700TB的內(nèi)存和16,000個加速器。與其他AI模型一樣，其處理參數(shù)預計每四到六個月就會翻一番。
這種大規(guī)模并行處理和持續(xù)增長給支撐AI集群的網(wǎng)絡結(jié)構帶來了巨大的壓力，更具體地說，給集群內(nèi)部所有加速器之間的數(shù)據(jù)傳輸通道（即互連）帶來了巨大的壓力。
為了滿足更大規(guī)模AI集群對更高帶寬和更低延遲互連的需求，超以太網(wǎng)和超加速器鏈路（UALink）等新興標準應運而生。我們最近率先發(fā)布的超以太網(wǎng)和UALink IP解決方案，將支持大規(guī)模AI集群的橫向和縱向擴展。
AI基礎結(jié)構的橫向和縱向擴展
為了滿足現(xiàn)代工作負載日益增長的計算需求，AI集群需要同時進行橫向擴展（通過網(wǎng)絡結(jié)構）和縱向擴展（在機架內(nèi)）。
超以太網(wǎng)解決了橫向擴展問題，通過提供高性能、與供應商無關的鏈路，它能夠?qū)⒍噙_百萬級的節(jié)點連接成一個龐大的AI網(wǎng)絡。UALink解決了縱向擴展問題，通過提供高速、低延遲的鏈路，可將一千個以上的AI加速器連接在一起。
采用這些開放的行業(yè)標準協(xié)議，可以避免供應商鎖定，并靈活擴展處理性能和規(guī)模。這為構建和升級超大規(guī)模數(shù)據(jù)中心及高性能計算（HPC）環(huán)境提供了靈活性，并保護了用戶的投資。
作為超級以太網(wǎng)聯(lián)盟（UEC）和UALink聯(lián)盟（UAC）的活躍成員，我們正在幫助塑造和推動這些新興標準，以促進下一代AI和HPC架構的發(fā)展。
業(yè)界率先發(fā)布的超以太網(wǎng)和UALink IP解決方案
新思科技推出超以太網(wǎng)IP和UALink IP解決方案，以滿足高帶寬、低延遲互連的需求，這些解決方案提供了擴展當今和未來AI和HPC架構所需的接口。
我們的超以太網(wǎng)IP解決方案基于經(jīng)驗證的技術，能夠提供1.6 Tbps的驚人帶寬和超低延遲，可用于橫向擴展大規(guī)模AI網(wǎng)絡。我們的UALink IP解決方案能夠提供每通道高達200 Gbps的傳輸速度，并支持內(nèi)存共享，可用于縱向擴展加速器連接。
這兩種解決方案都基于我們先進的以太網(wǎng)和PCIe IP（已成功助力客戶實現(xiàn)5,000多次流片），能有效降低采用超以太網(wǎng)和UALink互連開發(fā)新一代半導體、片上系統(tǒng)（SoC）及AI加速器的風險，并縮短產(chǎn)品上市時間。
新思科技處于AI和HPC設計創(chuàng)新的前沿，提供廣泛的高速接口IP組合。我們?yōu)镻CIe 7.0、1.6T以太網(wǎng)、CXL、HBM、UCIe以及最新的超以太網(wǎng)和UALink提供完整且安全的IP解決方案，進而推動AI和HPC在性能、可擴展性、效率和互操作性等方面達到新的高度。
