芯耀
990
近日，在Google Cloud Next 2025大會(huì)上，谷歌發(fā)布了第七代張量處理單元（TPU）——Ironwood。
作為Google迄今為止性能最強(qiáng)大的AI芯片，Ironwood專為AI推理任務(wù)設(shè)計(jì)，標(biāo)志著AI技術(shù)從傳統(tǒng)的“反應(yīng)式”模型向“主動(dòng)式”智能體的轉(zhuǎn)型。相較于2018年的第一代TPU，Ironwood的推理性能提升了3600倍，效率提高了29倍。單芯片配備192GB高頻寬內(nèi)存（HBM），峰值算力達(dá)4614 TFLOPs，并支持1.2Tbps的芯片間互連（ICI）帶寬。
相較于前代Trillium，Ironwood能效提升了兩倍，最高配置的9216顆芯片集群總算力高達(dá)42.5 Exaflops，超過(guò)全球最大超級(jí)計(jì)算機(jī)El Capitan的24倍。
官方聲稱，Ironwood代表著 AI 基礎(chǔ)設(shè)施的重大轉(zhuǎn)變。為什么這樣說(shuō)？
01、為什么說(shuō) Ironwood，代表著AI基礎(chǔ)設(shè)施的重大轉(zhuǎn)變？
???AI基礎(chǔ)設(shè)施的發(fā)展重心：從訓(xùn)練優(yōu)先過(guò)渡到推理時(shí)代
Google 如此大力投入并推出針對(duì)推理優(yōu)化的硬件，也預(yù)示著他們認(rèn)為未來(lái)的 AI 應(yīng)用將更加依賴于快速、高效的推理能力。例如，實(shí)時(shí)語(yǔ)音識(shí)別、自然語(yǔ)言理解、推薦系統(tǒng)、自動(dòng)駕駛等都對(duì)推理的性能和效率有著極高的要求。Ironwood 的出現(xiàn)正是為了支撐這些未來(lái)趨勢(shì)。
過(guò)去的 AI 硬件發(fā)展，尤其是像 Google 的早期 TPU，往往更側(cè)重于加速模型訓(xùn)練。訓(xùn)練需要巨大的算力來(lái)處理海量數(shù)據(jù)。然而，隨著大型模型訓(xùn)練的日益成熟，以及 AI 應(yīng)用的廣泛落地，模型推理（將訓(xùn)練好的模型應(yīng)用于實(shí)際場(chǎng)景進(jìn)行預(yù)測(cè)和決策）的需求正在爆炸式增長(zhǎng)。 Ironwood 明確地針對(duì)推理進(jìn)行了優(yōu)化，這標(biāo)志著 AI 基礎(chǔ)設(shè)施發(fā)展重心開(kāi)始向推理傾斜，或者至少是訓(xùn)練和推理并重。
正如官方所稱，Ironwood的推出標(biāo)志著AI發(fā)展及AI基礎(chǔ)設(shè)施的一大重要轉(zhuǎn)變。它代表了從響應(yīng)式AI模型（提供實(shí)時(shí)信息供人們解讀）到主動(dòng)生成洞察與解釋模型的轉(zhuǎn)變。
這就是我們所說(shuō)的“推理時(shí)代”，在這一階段，AI代理將主動(dòng)檢索并生成數(shù)據(jù)，以協(xié)作的方式提供見(jiàn)解和答案，而不僅僅是提供原始數(shù)據(jù)。
?? 需要重新思考和設(shè)計(jì)AI基礎(chǔ)設(shè)施，以滿足推理需求
傳統(tǒng)的CPU和GPU在處理大規(guī)模、低延遲的AI推理任務(wù)時(shí)可能存在瓶頸，例如能效比不高、延遲較高等問(wèn)題。雖然具體針對(duì)Ironwood與傳統(tǒng)GPU在推理任務(wù)上的直接性能對(duì)比數(shù)據(jù)尚未完全公開(kāi)，但通常而言，像Ironwood這樣專為推理設(shè)計(jì)的加速器，在處理特定類型的AI模型（尤其是大型神經(jīng)網(wǎng)絡(luò)）時(shí)，能夠提供遠(yuǎn)高于通用GPU的吞吐量和更低的延遲。 這得益于其針對(duì)性的架構(gòu)優(yōu)化，例如更高效的矩陣運(yùn)算單元和更大的片上內(nèi)存。Ironwood作為專為推理設(shè)計(jì)的加速器，能夠更高效地執(zhí)行這些任務(wù)。這可能會(huì)促使行業(yè)重新思考和設(shè)計(jì)現(xiàn)有的AI基礎(chǔ)設(shè)施，以更好地滿足推理的需求。
更重要的是，Ironwood驚人的能效提升（能效是Trillium的兩倍，相較于 2018年的第一代Cloud TPU提升了近 30 倍）對(duì)于大規(guī)模 AI 部署至關(guān)重要。在AI模型日益龐大的今天，運(yùn)行和維護(hù)這些模型需要巨大的能源消耗。Ironwood的高能效不僅能顯著降低運(yùn)營(yíng)成本，還能減少數(shù)據(jù)中心的碳排放，對(duì)于AI的可持續(xù)發(fā)展具有重要意義。
?? 推動(dòng)所有基礎(chǔ)設(shè)施同行創(chuàng)新和競(jìng)爭(zhēng)
Google在AI硬件領(lǐng)域的突破，特別是針對(duì)推理的專注，會(huì)給其他競(jìng)爭(zhēng)者（如 NVIDIA、AMD、Intel以及其他云服務(wù)提供商）帶來(lái)壓力，促使他們也在推理硬件和基礎(chǔ)設(shè)施方面加大投入和創(chuàng)新。這種競(jìng)爭(zhēng)將加速整個(gè)行業(yè)的技術(shù)進(jìn)步。
02、Ironwood?將如何轉(zhuǎn)變，AI 基礎(chǔ)設(shè)施？
?? 出現(xiàn)更專業(yè)化的硬件
Ironwood的出現(xiàn)可能會(huì)引領(lǐng)行業(yè)走向更專業(yè)化的AI硬件時(shí)代。未來(lái)，我們可能會(huì)看到更多針對(duì)特定AI任務(wù)（如推理、特定模型架構(gòu)等）優(yōu)化的硬件出現(xiàn)，而不再僅僅依賴通用的GPU。
?? 異構(gòu)計(jì)算的普及
AI工作負(fù)載通常包含多種不同的計(jì)算任務(wù)。Ironwood的加入可能會(huì)加速異構(gòu)計(jì)算的普及，即根據(jù)不同的任務(wù)選擇最合適的硬件來(lái)執(zhí)行，例如用 TPU 進(jìn)行推理，用GPU或CPU進(jìn)行其他類型的計(jì)算。這將提高整體的效率和性能。
?? 云端推理能力的增強(qiáng)和普及
Google Cloud大規(guī)模部署Ironwood 將直接提升其云端AI推理能力。這將使得更多的企業(yè)和開(kāi)發(fā)者能夠以更低的成本、更高的效率使用先進(jìn)的AI推理服務(wù)，從而推動(dòng)AI在各行各業(yè)的應(yīng)用。其他云服務(wù)提供商也可能會(huì)效仿，加大在推理基礎(chǔ)設(shè)施方面的投入。
?? 邊緣 AI 的發(fā)展加速
雖然Ironwood目前主要部署在云端，但其在能效方面的提升，以及未來(lái)可能出現(xiàn)的更小、更低功耗的推理芯片，也將為邊緣AI的發(fā)展帶來(lái)機(jī)遇。邊緣設(shè)備將能夠直接進(jìn)行更復(fù)雜的AI推理，而無(wú)需依賴云端，從而實(shí)現(xiàn)更快的響應(yīng)速度和更好的隱私保護(hù)。
?? 軟件生態(tài)的演進(jìn)
新的硬件架構(gòu)需要相應(yīng)的軟件生態(tài)支持才能發(fā)揮其全部潛力。Ironwood的推出將推動(dòng)針對(duì)TPU的推理優(yōu)化工具、框架和庫(kù)的開(kāi)發(fā)和完善，使得開(kāi)發(fā)者能夠更方便地利用其強(qiáng)大的推理能力。這也會(huì)促進(jìn)整個(gè)AI軟件生態(tài)系統(tǒng)的發(fā)展。
概括來(lái)講，Ironwood代表著 AI 基礎(chǔ)設(shè)施發(fā)展方向的重要轉(zhuǎn)變，它標(biāo)志著行業(yè)對(duì)AI模型推理的重視程度日益提升，并預(yù)示著未來(lái)AI基礎(chǔ)設(shè)施將更加專業(yè)化、異構(gòu)化，云端和邊緣的推理能力都將得到顯著增強(qiáng)，最終推動(dòng)AI技術(shù)更廣泛、更深入地融入到我們的生活和工作中。
