芯耀
2857
過去的一年，ChatGPT拉開全民AI的序幕，AI經歷“iPhone時刻”。這一年，大佬入局、獨角獸“宮斗”、千模大戰(zhàn)；這一年，AI芯片已經成為不容忽視的產業(yè)力量，對于國產芯片來說，如何“戴著鐐銬”前進成為產業(yè)突圍的重點……這是AI狂奔的一年，也是AI不斷刷新認知的一年。
高漲也好，低潮也罷，我們不能孤立地看待這些現(xiàn)象。AI這一波發(fā)展背后，是應用的快速變焦，炙手可熱的計算機視覺、智能語音等賽道暫時平靜，AIGC站上風口，相伴而來的還有無止境的算力焦慮……
只有直面困難，才能更好地走向未來。新年伊始，<與非網>對話AI芯片領域幾家明星公司，聽他們聊聊AI的難處和新機遇。
AI落地的冰與火
2023年，AI產業(yè)在生成式AI驅動下邁向新臺階，迎來了爆發(fā)式增長，大語言模型以及多模態(tài)大模型成為AI產業(yè)發(fā)展的重要推手?；鸨耐瑫r，國內外大模型在大規(guī)模應用和落地時也遇到了實際困難。
千芯科技董事長陳巍認為主要有三類：
第一，實際模型與客戶場景的匹配問題。由于大模型精度和幻覺問題，好的大模型業(yè)務產品需要與客戶協(xié)作深度打磨，單純使用RAG方法和向量數(shù)據庫增強可能還不夠，需要結合Pre-train使用Fine-tune或Instruct-tune，并且模型參數(shù)量較大且訓練時間較長。
第二，大模型部署的成本問題。大部分AI廠商面臨大模型部署成本較高的問題，通常需要7nm或工藝更先進的算力芯片、12GB以上的存儲，部署越多可能利潤越低。
第三，國際大環(huán)境的客戶需求下降和下行問題，當然這也是國際和國內普遍遇到的情況，不僅限于AI產業(yè)。
千芯科技董事長 陳巍
“受到大的經濟形勢、芯片行業(yè)周期的影響，整體來看，AI行業(yè)的落地和發(fā)展，今年還是低于預期的，不少下游環(huán)節(jié)反映，AI特性在應用中并非強需求，市場導入的意愿，在目前的大背景下，并不強烈”，時擎科技總裁于欣表示，“AI還是需要算法和芯片更緊密的耦合，相對而言，前期的一次性投入會比較大。這對AI加速落地，形成了一定的障礙。”
時擎科技總裁 于欣
安謀科技市場總監(jiān)錢電生認為，大模型帶來的挑戰(zhàn)主要體現(xiàn)在軟硬件兩方面：
硬件方面，由于主流的AI芯片都是針對并行計算而設計的，更適用于以卷積神經網絡（CNN）為主的架構。而如今到了以Transformer架構為主流的時代，則需要更多串行計算的能力以及足夠的存儲帶寬支持；此外，除了硬件算力的提升以外，如何提升計算的效率以及對內存的利用和優(yōu)化，是眾多硬件廠商在大模型時代所面臨的最大挑戰(zhàn)。
軟件方面，大模型的輕量化、如何兼顧性能及精度、實現(xiàn)大模型在端側設備的部署等問題，有待進一步解決。
安謀科技市場總監(jiān) 錢電生
端、邊AI將成為硬件廠商布局重點
在Transformer大模型熱戰(zhàn)于云端之際，業(yè)界已經看到了它在端側、邊緣側的市場機會。如何使Transformer在硬件設備尤其是端側和邊緣側硬件高效運行，將成為硬件廠商未來的重點方向。
于欣表示，對于人工智能算法而言，模型的“大”和“小”，“專用”和“通用”都是相對的。很多垂直領域，十億參數(shù)量級的“大模型”開始在邊、端部署。未來1-2年，時擎科技會繼續(xù)基于語音、視覺、影像等多模態(tài)智能交互和信號處理的應用落地。同時，也會密切關注并積極布局大模型在端側推理的進展。
錢電生認為，未來一到兩年，在硬件及架構層面，伴隨著算力低成本、隱私、及時響應等需求攀升，大模型的推理會逐步從云端向端側及邊緣側轉移，未來大模型推理市場規(guī)模遠遠大于訓練市場已成為業(yè)內共識。
Transformer仍是大模型的主流基礎架構，業(yè)界需要重點關注端側硬件對Transformer架構的持續(xù)優(yōu)化所帶來的算力效率提升。同時，也需要關注下一代新架構的動態(tài)，例如微軟的RetNet、斯坦福的Mamba等，是否有機會挑戰(zhàn)Transformer的主流地位以及可能對硬件架構設計產生的影響有待進一步關注。
軟件層面，錢電生強調，“大模型輕量化將成為規(guī)?；瘮U展的關鍵，有望進一步降低應用成本并帶動端側算力發(fā)展，業(yè)界需要重點關注大模型輕量化前沿技術與公司產品的深度融合，例如大語言模型推理框架、模型量化壓縮的最新算法等。”
同時，面臨Meta公司LLaMA為代表的大模型引領的開源風潮，他認為需要繼續(xù)重點關注新的開源大模型，特別是面向端側的大模型(參數(shù)量<70億)的性能表現(xiàn)，以及在手機、PC、智能汽車等智能終端上落地的應用場景。
在多模態(tài)領域，以Stable Diffusion為代表的開源擴散模型已成為文生圖領域的主流，未來，需要進一步關注多模態(tài)領域文生圖、文生視頻的最新技術趨勢及端側落地的應用場景。
人才、高性價比算力是當前競爭核心
結合AI產業(yè)當前的現(xiàn)實因素，哪些是稀缺動力？陳巍認為，核心是人才和高性價比的算力。從OpenAI的“宮斗戲”可以看到，人才是極力爭奪的關鍵，而不是數(shù)據和算法。對國內市場來說，缺乏的不僅是算法人才，更多是算法應用和工程人才。雖然很多開源大模型已經做得很不錯了，但是落地時缺少合適的人才把大模型的優(yōu)勢發(fā)揮出來。
此外是高性價比的算力。國內很多廠商已經開始大舉進入AI領域，但在算力方面，受限于成本和可用的計算卡，推進速度相對慢一些。特別是國內有些優(yōu)秀的開源大模型團隊，由于缺乏算力支持，有些很好的想法可能不一定有條件嘗試。
“也正因算力受限，國內的AI產業(yè)，特別是大模型技術的發(fā)展有些延緩”，陳巍談到，“盡管我們開玩笑是‘百模大戰(zhàn)’、‘千模大戰(zhàn)’，但實際上針對國內場景進行了大規(guī)模底層Pre-train的國內模型還較少，這使得國內大模型的落地速度也有一定的延緩?！?/p>
前景遠大光明，道路曲折漫長
辯證看待AI產業(yè)當前的發(fā)展現(xiàn)狀，其實困難往往也意味著新的機會。
陳巍談到，目前來看，解決大模型的精度和幻覺都需要更大的算力。積極效應是對新架構技術的發(fā)展產生了明顯推動作用：一方面，越來越多國內AI產業(yè)玩家在尋找能代替GPGPU的高性價比方案；另一方面，也在積極研究能降低算力需求的新型模型。在市場客戶需求帶動下，同時給國內AI產業(yè)和算力芯片的快速發(fā)展帶來了契機。
IP層面如何克服大模型的挑戰(zhàn)？錢電生表示，布局大模型相關的技術路線是必不可少的舉措，產品層面要更好地支持以Transformer為主的模型架構，比如在下一代“周易”NPU的設計上，安謀科技將會從精度、帶寬、調度管理、算子支持等多方面對主流大模型架構進行迭代優(yōu)化。同時，IP廠商還需要聯(lián)合大模型算法廠商、模型輕量化廠商、OS/應用側廠商等產業(yè)鏈合作伙伴在生態(tài)層面進行深入合作，打造軟硬一體的端側大模型解決方案。
于欣認為，只有把技術、場景和成本三者進行更深度的有機融合，形成自己的技術壁壘，才能避免陷入到單純的價格戰(zhàn)，從而有利于行業(yè)長期的發(fā)展。未來，一定還是場景驅動技術，而不是相反。這要求上游從業(yè)者深刻理解場景和業(yè)務模式，甄別形形色色的需求，去偽存真，在這個基礎上去打磨底層的算法、處理器、芯片，形成自己的差異化的競爭優(yōu)勢，才有可能在激烈的市場競爭中破局突圍。
“隨著AIGC元年的到來，未來5-10年會是AI行業(yè)發(fā)展的一個嶄新階段，AI芯片作為算力的基石，也一定會有更多的機會等待從業(yè)者去挖掘”，于欣強調，“用一句話來形容目前AI產業(yè)的發(fā)展，我認為是‘前景遠大光明，道路曲折漫長’。”
下載ECAD模型
