推理芯片

• 英偉達(dá)依然堅挺

  DeepSeek并不是英偉達(dá)的競爭者，反而是大客戶。但它的橫空出世像一顆光芒耀眼的信號彈：是時候跟英偉達(dá)算算總賬了。在英偉達(dá)身上栽過跟頭的投資機(jī)構(gòu)迅速團(tuán)結(jié)起來，共同醞釀了一場價值5890億美元的“1·27慘案”。

  遠(yuǎn)川科技評論

  2090

  02/14 13:14

  英偉達(dá) 推理芯片

  
• Groq芯片的創(chuàng)新意義

  前一陣子，Groq芯片刷屏了，據(jù)說Groq芯片計算速度遠(yuǎn)遠(yuǎn)超過英偉達(dá)GPU，經(jīng)網(wǎng)友測試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企，據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計的芯片。LPU的工作原理與GPU截然不同。它采用了時序指令集計算機(jī)（Temporal Instruction Set Computer）架構(gòu)，這意味著它無需像使用高帶寬存儲器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。

  土人觀芯

  2618

  2024/03/01

  推理芯片 LPU

  
• AI推理速度提升超10倍，Groq LPU能否取代英偉達(dá)GPU？

  2月20日消息，美國人工智能初創(chuàng)公司Groq最新推出的面向云端大模型的推理芯片引發(fā)了業(yè)內(nèi)的廣泛關(guān)注。其最具特色之處在于，采用了全新的Tensor Streaming Architecture (TSA) 架構(gòu)，以及擁有超高帶寬的SRAM，從而使得其對于大模型的推理速度提高了10倍以上，甚至超越了英偉達(dá)的GPU。

  芯智訊

  3063

  2024/02/21

  大模型 SRAM

  
• 產(chǎn)業(yè)丨AI推理芯片，下一個[群模共舞]的入場券

  生產(chǎn)大模型并不是終極目標(biāo)，讓它在各行各業(yè)中大展拳腳、發(fā)揮出實用價值才是最終追求。

  AI芯天下

  1537

  2023/12/01

  AI芯片 AI大模型

  
• 云天勵飛發(fā)布大模型推理芯片：14nm Chiplet架構(gòu)，國內(nèi)首創(chuàng)！

  11月15日，在第25界高交會上，云天勵飛重磅發(fā)布新一代自主可控的面向邊緣人工智能（AI）推理芯片DeepEdge10系列，最高算力可達(dá)48TOPS，支持D2D/C2C Mash互聯(lián)擴(kuò)展，可以滿足千億參數(shù)的大模型部署需求。

  芯智訊

  3135

  2023/11/16

  AI芯片 大模型

  
• 大模型需求暴增，NPU有望在端邊落地部署

  ChatGPT的火爆，讓人們意識到AI其實有著更高的上限，也讓業(yè)界更多關(guān)注到其背后的Transformer大模型。除了云端、除了自然語言處理，業(yè)界正在思考：是否可以讓Transformer在端側(cè)、邊緣側(cè)高效部署？是否可以讓Transformer在計算機(jī)視覺領(lǐng)域發(fā)揮出更大潛能？ 可能嗎？愛芯元智已經(jīng)開始了這一嘗試。 Transformer何方神圣？ GPT大模型，全稱Generative Pre-t

  張慧娟

  4411

  2023/06/06

  與非觀察 AI大模型

  
• IAR Systems 與嘉楠科技達(dá)成合作，支持RISC-V內(nèi)核高精度AI芯片

  嵌入式開發(fā)軟件和服務(wù)的全球領(lǐng)導(dǎo)者 IAR Systems 與領(lǐng)先的端側(cè) AI 芯片研發(fā)供應(yīng)商嘉楠科技今天共同宣布，最新推出的 Embedded Workbench for RISC-V 3.11.1版本已支持嘉楠勘智K510芯片，助力開發(fā)雙核RISC-V 64位 AI 端側(cè)推理芯片。

  與非網(wǎng)編輯

  432

  2022/11/23

  RISC-V AI芯片

正在努力加載...