Arm Ethos-U85 NPU:利用小語言模型在邊緣側(cè)實現(xiàn)生成式 AI
隨著人工智能 (AI) 的演進(jìn),利用小語言模型 (SLM) 在嵌入式設(shè)備上執(zhí)行 AI 工作負(fù)載成為業(yè)界關(guān)注的焦點。Llama、Gemma 和 Phi3 等小語言模型,憑借其出色的成本效益、高效率以及在算力受限設(shè)備上的易部署性,贏得了廣泛認(rèn)可。Arm 預(yù)計這類模型的數(shù)量將在 2025 年繼續(xù)增長。 Arm 技術(shù)以其高性能與低功耗的顯著優(yōu)勢,為小語言模型提供了理想的運行環(huán)境,能夠有效提升運行效率,并進(jìn)