芯耀
435
ISP性能已經(jīng)達到傳統(tǒng)算法的極致，引入AI則可以顛覆傳統(tǒng)。”
想要在資金、技術(shù)、人才門檻“三高”的芯片領(lǐng)域沿著領(lǐng)先者走過的路實現(xiàn)彎道超車，可能性微乎其微，創(chuàng)新則可以顛覆傳統(tǒng)。
前博通副總裁、紫光展銳CTO仇肖莘2019年5月創(chuàng)立的愛芯元智（原愛芯科技）僅用時一年四個月就量產(chǎn)了一款可以與競爭對手迭代十多年的高端視覺芯片比拼的產(chǎn)品。
“ISP（Image Signal Processor，圖像信號處理器）經(jīng)過十幾二十年的發(fā)展性能已經(jīng)達到傳統(tǒng)算法的極致，我們引入AI的方式顛覆傳統(tǒng)的ISP設(shè)計，同時提升ISP的性能天花板。”愛芯元智創(chuàng)始人兼首席執(zhí)行官仇肖莘對雷鋒網(wǎng)表示。
用AI顛覆傳統(tǒng)的ISP，有哪些關(guān)鍵？
1
感知+計算的大市場
愛芯元智（原愛芯科技）成立的2019年并非AI芯片初創(chuàng)公司大量成立的時間點，之所以選擇在2019年創(chuàng)業(yè)，仇肖莘說，“我非?？春酶兄?計算芯片的應(yīng)用前景。ISP是感知的關(guān)鍵，但這個技術(shù)沿著傳統(tǒng)的方式很難有很大的提升，如果把ISP和AI計算結(jié)合起來，不僅能夠提升ISP，也有廣闊的應(yīng)用市場，包括智慧交通、智慧城市、運動相機、翻譯筆等。”
看好市場的機遇是一方面，仇肖莘的個人經(jīng)歷也決定了愛芯的創(chuàng)立時間。她本碩畢業(yè)于清華大學自動化專業(yè)，并在美國南加州大學取得了電子工程博士學位。在2018年9月加入紫光展銳任CTO之前，仇肖莘一直在國外工作，曾在AT&T Labs任職并獲得研究卓越獎，也曾任博通公司副總裁。2019年，創(chuàng)業(yè)并且聚焦感知和計算成為她新的的選擇。“我們希望做AI視覺芯片行業(yè)的開拓者，同時也堅持長期主義。”仇肖莘說。
明確了目標，堅定了信念后，仇肖莘迅速集結(jié)了一批參與過10顆以上的芯片設(shè)計和生產(chǎn)的核心成員，業(yè)務(wù)范圍涵蓋芯片的設(shè)計、生產(chǎn)，軟件和硬件。“我現(xiàn)在可以說，愛芯元智已經(jīng)有非常完整的芯片團隊，負責芯片從設(shè)計到生產(chǎn)到應(yīng)用的各個環(huán)節(jié)。”仇肖莘表示。
團隊的完善帶來了產(chǎn)品的快速量產(chǎn)。愛芯元智的首顆人工智能視覺芯片AX 630A在2019年8月立項，9個月后的2020年5月流片，7月31號回片后一次成功點亮，12月進入量產(chǎn)狀態(tài)，今年6月正式風險量產(chǎn)。
“AX630A是我們目前的旗艦產(chǎn)品。這款新品第一版就流片成功，既沒有做MPW，也沒做任何Metal Fix。”仇肖莘自信的表示。
2
顛覆傳統(tǒng)ISP的兩大關(guān)鍵
愛芯元智的首款旗艦產(chǎn)品AX630A功耗約3W，可實現(xiàn)57.6TOPS@800MHz 2w4f算力，等效算力到達28.8TOPS@800MHz INT4。如果對比市場同類產(chǎn)品，競品以int8運行Resnet50的網(wǎng)絡(luò)，AX630A以混合精度的方式運行Resnet50，在最終精度幾乎相同的情況下，愛芯的芯片每秒處理的圖像幀數(shù)是競品的十倍多。
能夠?qū)崿F(xiàn)一個數(shù)量級性能差距的關(guān)鍵是愛芯元智自研的混合精度NPU以及聯(lián)合設(shè)計的AI ISP。要用AI顛覆ISP，首先需要解決AI芯片面臨的內(nèi)存墻挑戰(zhàn)。所謂的內(nèi)存墻，是由于內(nèi)存性能遠小于計算性能，內(nèi)存不能高效將數(shù)據(jù)傳輸到計算核心，帶來高功耗和有效率計算性能不高的問題。
目前業(yè)內(nèi)通過多種方式解決內(nèi)存墻的挑戰(zhàn)，包括存算一體、可重構(gòu)計算等。愛芯解決內(nèi)存墻挑戰(zhàn)的方式是混合精度。
“AI模型有非常多層，在端側(cè)，目前主流的方式是每一層都讀取8位整數(shù)（int8），但實際上，在最終模型精度不變的情況下，并不是每一層都需要讀取8位數(shù)，中間層的數(shù)據(jù)表達4位甚至2位就足夠，不同的層用不同的數(shù)據(jù)精度表達就是混合精度。”仇肖莘表示，
“采用混合精度設(shè)計AI芯片可以降低對內(nèi)存的需求，比如原來每層網(wǎng)絡(luò)都讀取8位數(shù)據(jù)，用混合精度表示可能平均只需要4位的精度就足夠，這樣不僅能夠在相同的芯片面積下提供更大的算力而且對內(nèi)存的帶寬需求就可以減少為原來的四分之一，也就解決了內(nèi)存墻的問題。”
要用混合精度的方式設(shè)計AI芯片的挑戰(zhàn)在于需要芯片和算法的協(xié)同設(shè)計，既然是協(xié)同設(shè)計，就需要同時非常了解算法和芯片架構(gòu)，用算法指導AI芯片的硬件設(shè)計，同時又要思考AI芯片的設(shè)計反過來對算法實現(xiàn)的影響。
也就是說，硬件可以提升算法的效率，而算法又可以繞過硬件的限制，這是一個在算法靈活性和硬件效率間尋求最佳平衡點的難題。
“我們是業(yè)內(nèi)第一個設(shè)計且量產(chǎn)端側(cè)混合精度AI芯片的公司。”仇肖莘說。
解決AI芯片的內(nèi)存墻挑戰(zhàn)只是第一步，接下來需要思考的是如何將AI與ISP結(jié)合超越傳統(tǒng)ISP，真正實現(xiàn)顛覆。
“傳統(tǒng)的ISP流水線（pipeline）有十幾到二十個模塊，我們將ISP流水線中最重要的幾個模塊，包括高動態(tài)、3D降噪等AI化處理，將AI處理融入到ISP流水線中。”仇肖莘透露。
愛芯元智ISP負責人、系統(tǒng)架構(gòu)師張興解釋，“用AI的方式實現(xiàn)ISP流水線中的關(guān)鍵模塊，我們就能夠不斷迭代和優(yōu)化AI模型，不斷提升畫質(zhì)。AX630A從去年7月底回片到現(xiàn)在，我們的模型每半個月更新一版效果，效果實現(xiàn)了質(zhì)的飛躍。”
仇肖莘說：“如果用傳統(tǒng)的方式，我們沒有辦法在第一代芯片就達到行業(yè)內(nèi)迭代了十多年的高端水平。通過AI定義ISP，我們的第一代芯片就趕上了行業(yè)高端ISP，并且在某些性能上實現(xiàn)了超越。”
也就是說，傳統(tǒng)ISP需要通過芯片按年來迭代的方式，才能不斷完善ISP，而愛芯將ISP中的關(guān)鍵模塊AI化，ISP的迭代周期大幅縮短到以周來計算，提升了ISP的迭代速度的同時，還提高了ISP的靈活性能夠匹配不同傳感器。
“如果是沒有協(xié)同設(shè)計的ISP和NPU，很難實現(xiàn)將ISP流水線中的關(guān)鍵模塊軟件化或者說AI化。我們之所以率先量產(chǎn)AI ISP不僅因為這兩個核心IP都是自主研發(fā)，聯(lián)合設(shè)計也非常關(guān)鍵。”仇肖莘特別指出。
“高算力的AI ISP有很多好處，比如可以提升圖像的信噪比，把原來被埋在噪聲里的信號恢復出來。或者，大算力也能夠?qū)崿F(xiàn)大規(guī)模的智能分析，用于智慧城市等。還有，大算力能夠滿足視頻流處理需求的同時，實現(xiàn)更好的夜間視頻效果。”
要知道，視頻流的處理對ISP有較高要求，每幀的處理時間只有33毫秒，這對ISP是極大的考驗。
注：視頻截圖已做人物隱私保護
從愛芯展示的視頻看，AX630A在多路視頻結(jié)構(gòu)化智能分析、大規(guī)模智能分析和夜間視頻效果中確實有顯著提升。這款芯片也已經(jīng)被華東地區(qū)的大客戶采用。
3
普及AI ISP
“手機業(yè)界已經(jīng)發(fā)現(xiàn)在AI算力的支持下，AI算法已經(jīng)超越了傳統(tǒng)ISP算法的效果，因此目前主流的趨勢是用AI算法替代傳統(tǒng)算法，或者將AI算法與傳統(tǒng)算法結(jié)合。”張興指出。
近來，手機業(yè)界也掀起了自研芯片潮流，頭部手機公司紛紛研發(fā)起ISP，本質(zhì)原因是影像和顯示功能是消費者最容易感知，也最愿意買單的功能，自研ISP能夠在提升手機影像相關(guān)性能的同時實現(xiàn)差異化，并且相比研發(fā)SoC，自研ISP的投入產(chǎn)出比最高。
作為率先量產(chǎn)AI ISP的公司，愛芯不會錯過這一市場。愛芯的第二款產(chǎn)品，也是其定位主流的產(chǎn)品AX620A也已經(jīng)在今年5月流片，7月下旬已經(jīng)回片，目前一切順利，預(yù)計在2022年第一季度客戶會出貨搭載AX620A的產(chǎn)品。
AX620A的功耗小于1W，可以實現(xiàn)28.8 TOPS @800MHz 2w4f（等效算力 14.4 TOPS @800MHz INT4）的性能，因其主流產(chǎn)品定位AX620A的性能低于AX630A，但因為ISP和NPU都是新一代，所以在單核性能和能效及圖像效果上相比旗艦產(chǎn)品AX630A都有所升級。
仇肖莘透露，“我們設(shè)計AX620A的時候還是希望能做手機的前處理ISP，所以功耗控制是一個大的設(shè)計目標。在這一應(yīng)用市場，預(yù)計明年會有好消息和大家分享。”
AI ISP應(yīng)用于手機和智慧城市等場景的效果一旦被市場認可，競爭對手就會迅速跟進，這也促進了愛芯的快速成長。“我們一定要比別人超前幾步，否則很容易被人追上。我們的目標是在初期迅速讓產(chǎn)品成系列，并且有相應(yīng)的客戶支持，客戶用起來之后，后續(xù)的產(chǎn)品迭代就會比較慎重，每一代產(chǎn)品都需要有亮點。”仇肖莘談及愛芯的產(chǎn)品規(guī)劃。
隨著愛芯芯片的量產(chǎn)，愛芯的團隊人數(shù)從年初的140多人迅速擴增到了如今的300人，并且軟件團隊的人數(shù)大約是硬件團隊人數(shù)的1.5倍左右。
“我們的芯片明年會有比較大的出貨量。愛芯元智最終的目標還是成為視覺處理領(lǐng)域的頭部企業(yè)，所以我們一定要成規(guī)模。同時，我們現(xiàn)在選擇投資人的時候，也更看重可能帶來的協(xié)同性。”仇肖莘說。
4
小結(jié)
元智的成立時間早已過了AI最熱的時間，但愛芯用技術(shù)和定位證明，只要滿足市場需求的產(chǎn)品就能夠迅速獲得市場認可。視覺作為AI落地的重要方向，相比許多AI芯片初創(chuàng)公司僅提供AI加速器的方法，愛芯元智的AI ISP使用的場景以及易用性的更加明確，這也是其產(chǎn)品能迅速落地的關(guān)鍵。
不過，要發(fā)揮混合精度NPU和AI ISP的優(yōu)勢，還有很多技術(shù)關(guān)卡需要持續(xù)突破，這對成立不久的愛芯來說，有大量軟件層面的工作需要做，對使用的客戶來說，也有一定的技術(shù)門檻。
愛芯元智已經(jīng)用自研核心IP表明了其想要在這一市場做大的決心。能否達成，拭目以待。
作者 |包永剛
