芯耀
169
NVIDIA今日宣布其AI推理平臺的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶都在使用該平臺。
?
這些更新包括開源NVIDIA Triton推理服務器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺推理； 同時也包含對NVIDIA TensorRT的更新，該軟件優(yōu)化AI模型并為NVIDIA GPU上的高性能推理提供運行時優(yōu)化。
NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。
NVIDIA副總裁兼加速計算總經(jīng)理Ian Buck表示："NVIDIA AI推理平臺正在推動各行各業(yè)的突破，包括醫(yī)療健康、金融服務、零售、制造和超級計算。無論是提供更智能的建議，發(fā)揮對話式AI的力量，還是推進科學發(fā)現(xiàn)，NVIDIA推理平臺都能以簡單易用的方式提供低延遲、高吞吐及多種性能組合的服務，為全球關鍵的AI新應用賦能。"
?
關鍵的軟件優(yōu)化
Triton 推理服務器的主要更新包括：
- Triton 模型分析器 – 這款新工具可以自動化地從數(shù)百種組合中為 AI 模型選擇最佳配置，以實現(xiàn)最優(yōu)性能，同時確保應用程序所需的服務質量。
- 多 GPU 多節(jié)點功能 – 這一新功能支持基于Transformer的大規(guī)模語言模型，例如 Megatron 530B，在多個GPU和服務器節(jié)點上運行并提供實時推理性能，而不是在單個GPU上運行。
- RAPIDS FIL – 這一針對隨機森林和梯度提升決策樹模型 GPU 或 CPU 推理的新后端為開發(fā)者使用 Triton 進行深度學習和傳統(tǒng)機器學習提供了一個統(tǒng)一的部署引擎。
- Amazon SageMaker 集成 – 這種無縫集成讓客戶能夠在 SageMaker（AWS 完全托管的 AI 服務）中使用 Triton 輕松部署多框架的模型，并實現(xiàn)高推理性能。
- 支持 Arm CPU – 除了 NVIDIA GPU 和 x86 CPU 外，Triton 后端現(xiàn)在還支持在 Arm CPU 上優(yōu)化 AI 推理工作負載。
Triton 支持在云、數(shù)據(jù)中心、企業(yè)邊緣和嵌入式設備等環(huán)境中對 GPU 和 CPU 進行 AI 推理，并與 AWS、Google Cloud、Microsoft Azure、阿里云PAI-EAS 等平臺集成。此外，NVIDIA AI Enterprise 也集成了 Triton。
NVIDIA AI Enterprise 是一款經(jīng) NVIDIA 優(yōu)化、認證和支持的用于開發(fā)和部署 AI 的端到端軟件套件，客戶可利用它在本地數(shù)據(jù)中心和私有云的 主流服務器上運行 AI 工作負載。
?
除了 Triton 外，TensorRT 現(xiàn)在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內(nèi)推理快3倍的性能。這使得開發(fā)人員采用極為簡化的工作流程就可以體會TensorRT的強大功能。
NVIDIA TensorRT 8.2 是SDK的最新版本，可加速高性能的深度學習推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優(yōu)化，數(shù)十億個參數(shù)的語言模型可實現(xiàn)實時運行。
?
行業(yè)領導者支持 NVIDIA AI 平臺推理
全球眾多行業(yè)領導者都正在使用 NVIDIA AI 推理平臺改進業(yè)務運營并為客戶提供新的AI賦能服務。
?
Microsoft Azure 認知服務為高品質 AI 模型提供基于云的 API，以創(chuàng)建智能應用程序。他們正在使用Triton 運行語音轉文本模型，為 Microsoft Teams 用戶提供準確的實時字幕和轉錄。
?
“Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近 2.5 億活躍用戶，”Microsoft 團隊呼叫、會議和設備部首席 PM 經(jīng)理 Shalendra Chhabra 表示?！斑@樣的 AI 模型極其復雜，需要數(shù)千萬個神經(jīng)網(wǎng)絡參數(shù)才能在幾十種不同的語言中提供準確的結果。模型越大，就越難以經(jīng)濟高效地實時運行。Microsoft Azure 認知服務上的 NVIDIA GPU 和 Triton 推理服務器使用 28 種語言和方言，通過 AI 近乎實時地幫助改進實時字幕和轉錄功能。”Microsoft Azure 認知服務上的 NVIDIA GPU 和 Triton 推理服務器，結合AI模型，幫助提升了涉及28 種語言和方言的實時字幕和轉錄功能的成本效益。
?
Samsung Medison 是三星電子旗下一家全球醫(yī)療設備公司。該公司正利用 ?NVIDIA TensorRT 通過智能輔助功能來為其超聲波系統(tǒng)提供增強的更優(yōu)質的醫(yī)療影像。Samsung Medison 致力于通過提高患者的舒適度、減少掃描時間、簡化工作流程并最終提高系統(tǒng)吞吐量來改善患者和醫(yī)療健康領域專業(yè)人員的生活。
?
“在新款 V8 高端超聲波系統(tǒng)中應用 NVIDIA TensorRT 后，我們能夠在查看和診斷圖像時更好地為醫(yī)學專家提供支持，”Samsung Medison 副總裁、客戶體驗團隊主管 Won-Chul Bang 表示?！拔覀冋诜e極地將基于 AI 的技術引入我們的超聲波系統(tǒng)，以便為醫(yī)療專業(yè)人員提供更好的支持，使他們能夠專注于患者診斷和治療等更重要的領域?！?br />
?
Siemens Energy是一家擁有領先能源技術解決方案的能源專營公司，該公司正利用 Triton 通過 AI 來幫助其發(fā)電廠客戶管理相關設施。
?
“高度復雜的發(fā)電廠通常會配備攝像頭和傳感器，但采用的卻是傳統(tǒng)軟件系統(tǒng)，NVIDIA Triton 推理服務器出色的靈活性能夠讓這些發(fā)電廠加入自主工業(yè)革命，” Siemens Energy自主運營部投資組合經(jīng)理 Arik Ott 表示。
Snap是一家全球性攝影軟件和社交媒體公司，其主要產(chǎn)品和服務包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術來提高商業(yè)變現(xiàn)能力和降低成本。
?
"Snap使用NVIDIA GPU和TensorRT將機器學習推理的成本效率提高了50%，并將服務延遲降低了2倍，“Snap公司策劃與商業(yè)變現(xiàn)部門工程副總裁Nima Khajehnouri表示。"這為我們提供了計算資源，以實踐和部署更大型、更準確的廣告和內(nèi)容排名模型。"
NVIDIA面向推理的 AI 平臺包括了新的 NVIDIA 認證系統(tǒng),全新A2 GPU?
NVIDIA 認證系統(tǒng)可以幫助客戶在高性能、經(jīng)濟高效且可擴展的基礎設施上為各種現(xiàn)代 AI 應用識別、獲取和部署系統(tǒng)，該認證系統(tǒng)現(xiàn)在包含兩個新的邊緣AI類別。
?
擴展的類別允許 NVIDIA 系統(tǒng)的合作伙伴為客戶提供完整系列的由基于 NVIDIA Ampere 架構的 GPU 支持的 NVIDIA 認證系統(tǒng)，來處理各種實際工作負載。新的 NVIDIA A2 GPU 也包含在內(nèi)，它是一個入門級、低功耗的緊湊型加速器，適用于邊緣服務器中的推理和邊緣 AI。 NVIDIA A2與適用于主流企業(yè)服務器的 NVIDIA A30 、適用高性能 AI 服務器的 NVIDIA A100 一起，為邊緣、數(shù)據(jù)中心和云端的 AI 推理提供了完整的方案。
?
Atos、戴爾科技、技嘉、慧與、浪潮、聯(lián)想和 Supermicro 等全球領先的企業(yè)系統(tǒng)供應商，其AI系統(tǒng)產(chǎn)品線均支持在 NVIDIA 認證系統(tǒng)上使用 NVIDIA AI Enterprise。
其他系統(tǒng)提供商，如研華科技、ASRock Rack、華碩、寧暢、新華三 和 QCT 也為各種工作負載提供了 NVIDIA 認證系統(tǒng)。包括 研華科技、技嘉和聯(lián)想在內(nèi)的領先供應商將很快推出首款通過新邊緣類別認證的 NVIDIA 認證系統(tǒng)。
?
供貨情況
Triton 通過 NVIDIA NGC 目錄提供。NVIDIA NGC是針對 GPU 優(yōu)化的 AI 軟件中心，包括框架、工具包、預訓練模型和 Jupyter Notebooks。Triton源代碼可從 Triton GitHub 資源庫獲取。
NVIDIA 開發(fā)者計劃成員可通過 TensorRT 頁面獲取 TensorRT。最新版本的插件、解析器和示例也以開源形式提供，可從 TensorRT GitHub 資源庫獲取。
客戶可以通過今日獨家發(fā)布的 NVIDIA LaunchPad中的全球精選實驗室，在 NVIDIA AI Enterprise 軟件套件中體驗 NVIDIA Triton。
?
NVIDIA AI Enterprise 軟件套件可通過全球 NVIDIA 渠道合作伙伴獲取，包括 Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3 和 WWT。
