Hot Chips，芯片瘋狂

作者：ICVIEWS編輯部

Hot Chips 向來都是芯片領域的盛會。2024 年的 Hot Chips 在美國斯坦福大學紀念禮堂隆重舉行。迄今為止，Hot Chips 展會已成功舉辦了 36 屆。

數(shù)十年來，該展會一直是探討英特爾、AMD、IBM 以及眾多其他供應商最前沿芯片的熱門之地，各公司也常常借此展會發(fā)布新產品。

英偉達：公布Blackwell架構細節(jié)，2024年至2028年的產品路線圖IBM：下一代 AI 加速器Telum II英特爾：下一代英特爾至強 6 SoC、Lunar Lake客戶端處理器AMD：Zen 5 核心架構解析高通：Oryon核心解析特斯拉：TTPoE，即特斯拉以太網傳輸協(xié)議中國香山高性能RISC-V處理器亮相

?01、英偉達：公布Blackwell架構細節(jié)

英偉達公布了下一代GPU架構Blackwell的更多細節(jié)信息，以及未來的產品路線圖。英偉達Blackwell是通用計算全棧矩陣的終極解決方案，由多個英偉達芯片組成，包括Blackwell GPU、Grace CPU、BlueField數(shù)據(jù)處理單元、ConnectX網絡接口卡、NVLink交換機、Spectrum以太網交換機和Quantum InfiniBand交換機。

它涵蓋了從CPU和GPU計算，到用于互連的不同類型的網絡。這是芯片到機架和互連，而不僅僅是GPU。它是有史以來單個GPU所擁有的最強AI計算、內存帶寬和互連帶寬。通過使用高帶寬接口（NV-HBI），可在兩個GPU芯片之間提供10TB/s的帶寬。此外，英偉達還引入了新的FP4和FP6精度。降低計算精度是提高性能的一種眾所周知的方法。通過英偉達的Quasar量化系統(tǒng)，可以找出哪些方面可以使用較低的精度，從而減少計算和存儲。英偉達表示，用于推理的FP4在某些情況下可以接近BF16性能。

NVLink交換機芯片和NVLink交換機托盤（tray）旨在以更低的功耗推送大量數(shù)據(jù)。英偉達演示了GB200 NVL72和NVL36。其中，NVL72包含36個Grace GPU和72個Blackwell GPU，專為萬億參數(shù)AI而設計。GB200 NVL 72作為一個統(tǒng)一系統(tǒng)，對大語言模型（LLM）推理性能提升高達30倍，釋放了實時運行數(shù)萬億個參數(shù)模型的能力。

英偉達表示，隨著AI模型尺寸的增加，在多個GPU上拆分工作負載勢在必行。而Blackwell足夠強大，可以在一個GPU中處理專家模型。

英偉達還展示了2024年至2028年的產品路線圖。2026年的1.6T ConnectX-9似乎表明了英偉達對PCIe Gen7的需求，因為PCIe Gen6 x16無法處理1.6T的網絡連接。

?02、IBM：下一代 AI 加速器，Telum II

2021 年，IBM推出了IBM Telum 處理器，這是 IBM 首款用于推理的先進處理器芯片 AI 加速器。Telum 處理器實現(xiàn)業(yè)務成果的能力一直是 IBM z16大型機計劃成功的關鍵驅動因素。隨著客戶需求的發(fā)展，IBM 不斷創(chuàng)新并突破新興技術的極限。

在今年的Hot Chips 2024大會上，IBM 宣布推出面向 AI 時代的下一代企業(yè)計算，即?IBM Telum II 處理器和?IBM Spyre Accelerator?預覽版。預計兩者將于 2025 年上市。采用三星 5nm 技術開發(fā)的全新 IBM Telum II 處理器將配備八個高性能核心，運行頻率為 5.5GHz。Telum II 的片上緩存容量將增加 40%，虛擬 L3 和虛擬 L4 分別增加到 360MB 和 2.88GB。該處理器集成了專門用于 IO 加速的全新數(shù)據(jù)處理單元 (DPU) 和下一代片上 AI 加速。這些硬件增強旨在為客戶提供比前幾代產品顯著的性能改進。

每個加速器的計算能力預計將提高 4 倍，達到每秒 24 萬億次運算 (TOPS)。但僅憑 TOPS 并不能說明全部情況。這完全取決于加速器的架構設計以及位于加速器之上的 AI 生態(tài)系統(tǒng)的優(yōu)化。當談到生產企業(yè)工作負載中的 AI 加速時，適合用途的架構至關重要。Telum II 旨在使模型運行時能夠與最苛刻的企業(yè)工作負載并駕齊驅，同時提供高吞吐量、低延遲推理。此外，還增加了對 INT8 作為數(shù)據(jù)類型的支持，以增強首選 INT8 的應用程序的計算能力和效率，從而支持使用較新的模型。還加入了新的計算原語，以更好地支持加速器內的大型語言模型。它們旨在支持越來越廣泛的 AI 模型，以便對結構化數(shù)據(jù)和文本數(shù)據(jù)進行全面分析。

Spyre 核心的框圖在 Hot Chips 2024 上，IBM 還展示了 IBM Spyre 加速器，它是與 IBM Research 和 IBM Infrastructure Development 聯(lián)合開發(fā)的。Spyre 加速器將包含 32 個 AI 加速器核心，這些核心將與集成在 Telum II 芯片中的 AI 加速器共享類似的架構。多個 IBM Spyre 加速器可以通過 PCIe 連接到 IBM Z 的 I/O 子系統(tǒng)中。將這兩種技術結合起來可以大幅增加可用的加速量。

Spyre 加速卡的外觀Spyre 芯片上有一個 32 字節(jié)雙向環(huán)連接 32 個內核（我們認為是 34 個內核，但只有 32 個處于活動狀態(tài)），還有一個單獨的 128 字節(jié)環(huán)連接與內核相關的暫存器內存。內核支持 INT4、INT8、FP8 和 FP16 數(shù)據(jù)類型。

?03、英特爾：下一代英特爾至強 6 SoC、Lunar Lake 客戶端處理器

在 Hot Chips 2024 上，英特爾發(fā)表了四篇技術論文，重點介紹了英特爾至強 6 SoC、Lunar Lake 客戶端處理器、英特爾 Gaudi 3 AI 加速器和 OCI 芯片組。

英特爾至強 6 SoC 將英特爾至強 6 處理器的計算芯片組與基于intel 4 工藝技術構建的邊緣優(yōu)化 I/O 芯片組相結合。與之前的技術相比，這使 SoC 在性能、能效和晶體管密度方面實現(xiàn)了顯著提升。其他功能包括：

最多 32 條通道 PCI Express (PCIe) 5.0。最多 16 條通道 Compute Express Link (CXL) 2.0。2x100G 以太網。兼容 BGA 封裝中的四個和八個內存通道。

lEdge 特定的增強功能，包括擴展的工作溫度范圍和工業(yè)級可靠性，使其成為高性能堅固設備的理想選擇。

英特爾至強 6 SoC 還包括旨在提高邊緣和網絡工作負載性能和效率的功能，其中包括新媒體加速，可增強實時 OTT、VOD 和廣播媒體的視頻轉碼和分析；英特爾高級矢量擴展和英特爾高級矩陣擴展，可提高推理性能；英特爾QuickAssist 技術，可實現(xiàn)更高效的網絡和存儲性能；英特爾 vRAN Boost，可降低虛擬化 RAN 的功耗；并支持英特爾Tiber 邊緣平臺，讓用戶能夠以類似云的簡便性在標準硬件上構建、部署、運行、管理和擴展邊緣和人工智能解決方案。

Lunar Lake 客戶端處理器。與上一代相比，新的性能核心 (P 核心）?和高效核心 (E 核心）?可提供驚人的性能，而系統(tǒng)級芯片功耗降低了 40%。與上一代相比，新的神經處理單元速度提高了 4 倍，從而實現(xiàn)了生成式 AI (GenAI) 的相應改進。此外，新的 X e 2 圖形處理單元核心將游戲和圖形性能提高了 1.5 倍。有關 Lunar Lake 的更多詳細信息將于9 月 3 日在英特爾酷睿超極本發(fā)布會期間公布。

英特爾 Gaudi 3 AI 加速器。人工智能加速器首席架構師 Roman Kaplan 介紹了需要大量計算能力的生成式人工智能模型的訓練和部署。隨著系統(tǒng)規(guī)模的擴大（從單個節(jié)點擴展到龐大的數(shù)千個節(jié)點集群），這會帶來巨大的成本和功耗挑戰(zhàn)。

英特爾 Gaudi 3 OAM 工作示例包英特爾 Gaudi 3 AI 加速器通過優(yōu)化計算、內存和網絡架構來解決這些問題，同時采用高效矩陣乘法引擎、兩級緩存集成和廣泛的 RoCE（融合以太網上的 RDMA）網絡等策略。這使 Gaudi 3 AI 加速器能夠實現(xiàn)顯著的性能和能效，使 AI 數(shù)據(jù)中心能夠更經濟高效、更可持續(xù)地運行，解決部署 GenAI 工作負載時的可擴展性問題。

?04、AMD：Zen 5 核心架構解析

在 Hot Chips 上，AMD 深入介紹了其全新的 Zen 5 核心架構，該架構將為其下一次高性能 PC 之旅提供動力。AMD 的 Zen 1 核心架構于 2017 年首次推出，此后，該公司推出了五種新架構（Zen+、Zen 2、Zen 3、Zen 4、Zen 5）。AMD 在本世紀初推出了 Zen 3 架構，該架構在利用 7nm/6nm 工藝技術的同時，將 IPC 提高了 19%，具有 8 核復合體，并增加了每個 CCX 的 L3 緩存。該公司隨后發(fā)布了 Zen 4，帶來了另外 14% 的 IPC 改進、AVX-512（FP-256）指令、將 L2 緩存增加一倍至 1 MB、支持 VNNI/BFLOAT16 并采用 5nm 和 4nm 工藝技術。

今年，AMD 推出了其最新的高性能核心架構 Zen 5，該架構通過 AVX-512 和 FP-512 變體將 IPC 提升了 16%，具有 8 寬調度、6 個 ALU、雙管道提取/解碼和 4nm/3nm 技術利用率。今天，AMD 正在 Hot Chips 上深入研究其 Zen 5 的完整架構。

AMD 首先闡述了 Zen 5 的設計目標。在性能方面，Zen 5 旨在實現(xiàn) 1T 和 NT 性能的又一次重大提升，平衡跨核 1T/NT 指令和數(shù)據(jù)吞吐量，創(chuàng)建前端并行性，提高執(zhí)行并行性，提高吞吐量，實現(xiàn)高效的數(shù)據(jù)移動和預取，并支持 AVX512/FP512 數(shù)據(jù)路徑以提高吞吐量和 AI。同時，AMD 希望通過其 Zen 5 和 Zen 5C 核心變體添加新功能，例如額外的 ISA 擴展和新的安全功能，以及擴展平臺支持。

產品方面，AMD 的 Zen 5 核心將在三輪產品中率先亮相，包括 Ryzen 9000 “Granite Ridge” 臺式機 CPU、Ryzen AI 300 “Strix” 筆記本電腦 CPU 和第五代 EPYC "Turin" 數(shù)據(jù)中心 CPU?？偠灾?，AMD 表示 Zen 5 再次以大幅提升性能的節(jié)奏交付，AVX512 具有 512 位 FP 數(shù)據(jù)路徑，可提高吞吐量和 AI 性能。高效、高性能、可擴展的可配置解決方案：Zen 5 可實現(xiàn)峰值性能，Zen 5c 可實現(xiàn)效率，支持 4nm 和 3nm 工藝節(jié)點。

?05、高通：Oryon 核心解析

在 Hot Chips 2024 上，高通詳細展示了驍龍 X Elite 中的 高通Oryon CPU。高通 Snapdragon X Elite 是該公司進軍基于 Arm 的 PC SoC 的嘗試。

高通Oryon 是該公司為 Snapdragon X Elite SoC 提供動力的 CPU。這是 Nuvia 團隊基于 Arm 的核心。這里的集群是相同的，但出于功率目的，它們的運行方式不同。

高通重點關注的 CPU 核心領域包括指令獲取單元 (IFU)、矢量執(zhí)行單元 (VXU)、重命名和退出單元 (REU)、整數(shù)執(zhí)行單元 (IXU)、內存管理單元 (MMU) 以及加載和存儲單元 (LSU)。以下是 Oryon 的提取和解碼規(guī)格。13 周期分支預測錯誤延遲并非業(yè)界最佳，但高通表示，該設計已“平衡”。

矢量和標量引擎都具有類似的總體布局和物理寄存器文件。兩者都有來自加載/存儲單元的四個數(shù)據(jù)饋送，因此每個周期可以進行四次加載。相比之下，AMD 的 Zen 4 在整數(shù)方面每個周期只能處理三次加載，在矢量方面每個周期只能處理兩次加載。

高通選擇了分布式調度模型。雖然統(tǒng)一調度器有其優(yōu)勢，但拆分隊列可以更輕松地選擇最早就緒的指令。Oryon 的加載/存儲單元擁有大型 64 個條目保留站或調度器。核心的調度容量大于加載/存儲隊列容量，這與我們在其他架構中看到的情況相反。

高通指出，更大的調度器仍能滿足時序要求，并緩解一些瓶頸。此外，調度器可以執(zhí)行除加載/存儲之外的其他操作（可能是存儲數(shù)據(jù)操作），額外的容量有助于吸收這些操作。Oryon 的 L1 數(shù)據(jù)緩存容量為 96 KB。它是多端口的，并使用代工廠的標準位單元設計。高通確實評估了使用更大數(shù)據(jù)緩存的可能性，但選擇了 96 KB 的設計以滿足時序（時鐘速度）要求。

這是使用單線程的內存帶寬圖表。單核能夠以略低于 100GB/s 的范圍進行傳輸，考慮到 LPDDR5x 內存的 135GB/s 平臺帶寬，這非常了不起。

預取在任何現(xiàn)代核心中都扮演著重要角色。Oryon 特別強調預取，各種標準和專有預取器都會查看訪問模式，并嘗試在指令請求數(shù)據(jù)之前生成請求。高通通過使用各種訪問模式測試軟件可見的加載延遲來展示這一點。預取器拾取的模式具有較低的延遲。對于簡單的線性訪問模式，預取器運行得足夠靠前，幾乎可以完全隱藏 L2 延遲。

在系統(tǒng)層面，驍龍 X Elite 擁有 12 個內核，分為三個四核集群。之所以沒有使用更大的內核集群，是因為在開發(fā)生命周期的早期，L2 互連不支持超過四個內核的集群。該功能后來被添加，但并未出現(xiàn)在驍龍 X Elite 中。之前有測試指出，在測試的筆記本電腦中，12 個內核受到功率和散熱限制的嚴重限制。在與產品經理的對話中，他們表示，擁有 12 個內核讓驍龍 X Elite 能夠擴展到更高的功率目標，并在具有更好散熱的設備中提供額外的多線程性能。該策略與英特爾和 AMD 形成鮮明對比，后者使用不同的內核數(shù)量來實現(xiàn)廣泛的功率目標。

高通希望將 Oryon 的用途拓展到筆記本電腦以外的領域。

?06、特斯拉：TTPoE，即特斯拉以太網傳輸協(xié)議

去年在 Hot Chips 2023 上，特斯拉推出了他們的 Dojo 超級計算機。對于特斯拉來說，機器學習專注于自動駕駛汽車等汽車應用，訓練涉及視頻，這可能需要大量的 IO 帶寬。例如，對于公司的視覺應用，單個張量的大小可能為 1.7 GB。特斯拉發(fā)現(xiàn)，即使主機只是通過 PCIe 復制數(shù)據(jù)，他們的 Dojo 超級計算機的吞吐量也可能受到主機將數(shù)據(jù)推送到超級計算機的速度的限制。

特斯拉通過增加更多主機和將這些額外主機連接到超級計算機的廉價方式解決了這個問題。特斯拉沒有使用像 Infiniband 這樣的典型超級計算機網絡解決方案，而是選擇通過修改傳輸層來適應以太網的需求。TCP 被特斯拉以太網傳輸協(xié)議 (TTPoE) 取代。TTPoE 旨在提供微秒級延遲并允許簡單的硬件卸載。較低級別的層保持不變，讓協(xié)議在標準以太網交換機上運行。

TTPoE 的設計完全由硬件處理，并提供比標準 TCP 協(xié)議更好的延遲。因此，與 TCP 相比，TTPoE 的狀態(tài)機大大簡化。

通過消除 TCP 中的等待狀態(tài)，可以減少延遲。在 TCP 中關閉連接涉及發(fā)送 FIN、等待該 FIN 的確認，并確認該確認。此后，連接進入 TIME WAIT 狀態(tài)，這需要實現(xiàn)等待一段時間，允許任何無序數(shù)據(jù)包安全耗盡，然后新連接才能重用該端口。TTP 刪除 TIME_WAIT 狀態(tài)，并將關閉順序從三次傳輸更改為兩次?？梢酝ㄟ^發(fā)送關閉操作碼并接收確認來關閉 TTP 連接。Tesla 的目標是微秒級的延遲，因此即使是毫秒級的 TIME_WAIT 持續(xù)時間也可能導致嚴重問題。

TCP 以三向 SYN、SYN-ACK、ACK 握手打開連接。TTP 應用了與關閉端類似的優(yōu)化，將握手更改為雙向握手。同樣，打開連接時傳輸次數(shù)越少，延遲就越低。這些簡化的打開和關閉序列是在硬件中實現(xiàn)的，這也使其對軟件透明。這意味著軟件不必明確創(chuàng)建連接，而是可以告訴硬件它想要向哪個目的地發(fā)送數(shù)據(jù)或從哪個目的地接收數(shù)據(jù)。

與 TCP 一樣，特斯拉使用數(shù)據(jù)包丟棄來進行擁塞控制。但由于 TTP 設計為在低延遲底層網絡上運行，因此特斯拉能夠采取蠻力方法解決問題。傳統(tǒng)的 TCP 實現(xiàn)會維護一個滑動擁塞窗口，該窗口限制可以發(fā)送的未確認數(shù)據(jù)量。您可以將其視為網絡中正在傳輸?shù)牧髁?。如果?shù)據(jù)包得到及時確認，則擁塞窗口會擴大，從而增加帶寬。如果數(shù)據(jù)包被丟棄并且在時間閾值內未收到確認，則擁塞窗口會迅速縮小。這讓 TCP 能夠優(yōu)雅地處理各種不同的連接。帶寬將在低延遲、低損耗的家庭本地網絡中擴大，并自然地在與您的互聯(lián)網服務提供商及其他網絡的高延遲、高數(shù)據(jù)包丟失鏈接中縮小。

特斯拉不打算在開放互聯(lián)網的低質量鏈路上運行 TTP，因此采取了強力擁塞控制方法。擁塞窗口不會根據(jù)數(shù)據(jù)包丟失進行縮放。硬件跟蹤 SRAM 緩沖區(qū)中發(fā)送的數(shù)據(jù)，這定義了擁塞窗口大小。當緩沖區(qū)填滿時，發(fā)送停止，數(shù)據(jù)包丟失通過重新傳輸 SRAM 緩沖區(qū)中保存的數(shù)據(jù)來處理。當相應的確認從另一端返回時，數(shù)據(jù)將從 SRAM 緩沖區(qū)中釋放，從而自然地將滑動窗口向前移動。

特斯拉證明這種方法的合理性是，傳統(tǒng) TCP 擁塞控制算法（如 Reno）的工作時間尺度太長，因此對其 Dojo 超級計算機應用程序無效。

擁塞管理在每個端點上獨立處理，這是 TCP 擁塞愛好者所熟悉的模型。Tesla 提到這一點主要是為了與其他低延遲網絡（如 Infiniband）形成對比，在這些網絡中，擁塞控制是在交換機級別處理的。Infiniband 使用在交換機級別控制的信用系統(tǒng)，不會丟棄數(shù)據(jù)包。如果端點用盡信用，它就會停止發(fā)送。TCP 和 TTP 通過簡單地丟棄數(shù)據(jù)包來處理擁塞，從而消除了單獨發(fā)送信用的需要，并降低了網絡交換機的復雜性。

Tesla 在位于芯片和標準以太網硬件之間的硬件塊中處理其 TTP 協(xié)議。此 MAC 硬件塊由 CPU 架構師設計，并引入了許多 CPU 設計功能。演示者將其描述為像共享緩存一樣，其中仲裁器在考慮排序風險的情況下在請求之間進行選擇。

傳輸中的數(shù)據(jù)包在被確認后會按順序“退出”，這種機制讓人想起 CPU 從重新排序緩沖區(qū)按順序退出指令。最突出的資源之一是 1 MB 傳輸 SRAM 緩沖區(qū)，它定義了上述擁塞窗口。特斯拉表示，這個大小足以容忍大約 80 微秒的網絡延遲，而不會造成明顯的帶寬損失。根據(jù)利特爾定律，假設 1 MB 的傳輸數(shù)據(jù)和 80 微秒的延遲，則會產生 97.65Gbps。這剛好足以使 100 千兆位網絡接口飽和。TPP MAC 是在 Tesla 所謂的“Dumb-NIC”上實現(xiàn)的。NIC 代表“網絡接口卡”。之所以被稱為“Dumb”，是因為它盡可能便宜和簡單。Tesla 希望部署大量主機節(jié)點來為他們的 Dojo 超級計算機提供數(shù)據(jù)，而廉價的網卡有助于以經濟高效的方式實現(xiàn)這一目標。

除了 TPP MAC，Mojo 還集成了帶有 PCIe Gen 3 x16 接口的主機芯片以及 8 GB 的 DDR4。PCIe Gen 3 和 DDR4 并非尖端技術，但有助于控制成本。Mojo 這個名字源于這樣一種理念：額外的主機節(jié)點會為 Dojo 提供更多的 Mojo，從而保持高性能。

這些 Mojo 卡安裝在遠程主機上。當工程師需要更多帶寬來將數(shù)據(jù)輸入 Dojo 超級計算機時，可以從池中拉出遠程主機。這些機器的額外帶寬疊加在現(xiàn)有主機提供的入口帶寬之上，這些主機使用去年 Hot Chips 會議上展示的更高成本接口處理器。

總體而言，Mojo 和 TTPoE 協(xié)議提供了一個有趣的視角，展示了如何簡化眾所周知的傳輸控制協(xié)議 (TCP)，以用于更高質量的超級計算機內部網絡。雖然該協(xié)議理論上可以在互聯(lián)網上運行，但諸如固定擁塞窗口之類的簡化在互聯(lián)網服務提供商及其他低質量鏈路上效果不佳。與 Infiniband 等其他超級計算網絡解決方案相比，以太網上的自定義傳輸協(xié)議可能提供足夠的額外帶寬來滿足 Dojo 的需求。

?07、中國香山高性能 RISC-V 處理器亮相

“香山”開源高性能RISC-V處理器核源于中國科學院在2019年布局的“中國科學院先導戰(zhàn)略專項”。作為該項目的承擔單位，中國科學院計算技術研究所于2021年成功研制了第一代開源高性能RISC-V處理器核“香山（雁棲湖）”，是同期全球性能最高的開源處理器核。

第二代“香山”（南湖）開源高性能RISC-V處理器核發(fā)布，是我國首款對標A76的高性能開源RISC-V處理器核。第三代“香山”（微架構代號是昆明湖）生產線瞄準的是 Arm Neoverse N2。

以上是“昆明湖”和“南湖”芯片與Arm Neoverse N2和 Arm Cortex A76 的比較。