芯耀
833
馬里亞納海溝，位于西北太平洋，深11034米，是地球上水最深的地方。
2021年2月16日，網(wǎng)上傳出了一篇來自OPPO的內(nèi)部文章，第一次讓OPPO的造芯計劃浮出水面，代號為馬里亞納計劃。
10個月后，OPPO正式發(fā)布了馬里亞納計劃的第一款芯片，名為馬里亞納 MariSilicon X。這也是OPPO自研的第一顆影像專用NPU芯片。
看到這一系列新聞，我不僅對OPPO的這顆芯片感興趣，我更覺得他的命名方式很妙。你明知道這是世界上最深的水， 不僅還要去蹚，而且還真的蹚出了點東西。
所以今天這篇文章，我們不僅要來看看OPPO這次發(fā)布的NPU芯片，更要來一起看一下OPPO造芯背后的本質(zhì)邏輯和動機。也就是OPPO為什么要造芯片、造了什么芯片，它究竟是什么水平。另外還有特別重要的，就是這顆芯片、以及OPPO造芯這件事情，對OPPO自己、以及整個行業(yè)來說，究竟有哪些意義和影響。
OPPO自研芯片：公開的秘密
事實上，從今年年初開始，就陸續(xù)傳出了OPPO造芯的消息。除了前面說的內(nèi)部信之外，OPPO在之前就已經(jīng)開始大規(guī)模招聘芯片人才了，甚至還傳出給應(yīng)屆生開出了超過40萬的總包待遇，這也一度沖上了熱搜。所以O(shè)PPO造芯早就是公開的秘密了。
我覺得有必要給大家說明的一點，就是自研芯片這件事情可能聽起來非常高精尖、難度極大，但是其實不一定，也要分情況討論。
對于一個手機廠商，它獲取芯片的途徑主要有三種形式。最直接的就是買買買，也就是買高通聯(lián)發(fā)科這些廠商設(shè)計好的芯片、參考設(shè)計或者系統(tǒng)方案一步到位，這個也是絕大部分整機廠商采用的方法。
如果用前面說的蹚水的例子，這樣就像你站在沙灘上，根本不用下水，更不用花錢去學(xué)游泳或者買救生圈。當(dāng)然如果一切風(fēng)平浪靜波瀾不驚，這樣做也無可非議。
但是如果事情起了變化，比如水位上漲，或者一個大浪打過來，想要不濕鞋是很難的。造芯片也是這樣，很多公司都發(fā)現(xiàn)買芯片有很多這樣那樣的限制。很典型的例子就是，每個廠商都有自己獨特的需求，比如有人希望攝影效果更好，有人希望聯(lián)網(wǎng)更快，有人希望游戲性能更好等等。這樣去買統(tǒng)一的參考設(shè)計或者相同的芯片，就很難有效的滿足不同廠商的不同需求了，這也是像OPPO這樣的公司開始自研芯片的本質(zhì)邏輯之一。
當(dāng)然了，造芯也有很多種方式。特別是現(xiàn)在芯片行業(yè)的分工非常細，不僅有賣完整芯片的，還有賣芯片IP的，也就是芯片里的一個個組成模塊。我們可以從不同公司買合適的IP，比如專門負責(zé)通信的、專門做圖像處理的，然后把它們攢在一起、組成一個完整的芯片。
比如我們想吃西紅柿炒雞蛋，但是不一定非要在一個超市把西紅柿、雞蛋、油鹽糖都買齊了，我們可以去不同的超市買，或者直接用家里剩下的料，只買家里沒有的東西，然后炒一下就行了。不過每個人炒的方法、火候、食材的配比都不一樣，所以一樣的料會做出來很不一樣的菜。這和造芯片也是一樣的。
這種“攢芯片”的方法，是很多公司在開始自研芯片的時候都會走的路，而且這是一條相對來說比較平衡的路。我們既不需要從頭開始研發(fā)所有事情，從而能在很大程度上控制投入和風(fēng)險，另外也可以根據(jù)實際需求，在最短時間內(nèi)做出適合自己的芯片。再用前面蹚水的例子，這種方式就已經(jīng)從岸上走進水里了，只不過先在淺水區(qū)里練習(xí)一下游泳，也還是相對安全的。
漸漸的人們又發(fā)現(xiàn)，和買芯片一樣，買IP也并不能完全解決所有的事情，畢竟很少有IP公司是專門針對某個廠商的某個具體應(yīng)用或算法來開發(fā)一個IP。所以，就有一些公司決定再往前走一步，也就是自研IP與系統(tǒng)。
這就像一個人的游泳技術(shù)再強，也不可能下潛到馬里亞納海溝底部一樣，這件事情需要專門的技術(shù)、專門的團隊，專門圍繞這件事情本身去制定方案，并且不斷迭代優(yōu)化。為了研究到深水區(qū)、并且掌握這些深水區(qū)的技術(shù)，勢必需要大量的人力物力投入、以及大量時間和經(jīng)驗的積累。不過對于那些對產(chǎn)品和技術(shù)有著極致追求的公司來說，這最后一種造芯方式幾乎是必然選擇。
OPPO自研什么芯片？
如果說OPPO造芯早就是公開的秘密，那么OPPO究竟造的是什么芯，一直以來卻并不為大多數(shù)人所知。
有很多報道說OPPO造的是ISP，也就是專門用來做圖像信號處理的芯片。從芯片的本質(zhì)來看，ISP是一種專用芯片，這和我們之前介紹過很多次的CPU不一樣。CPU是通用芯片，幾乎可以做任何事情，不過不一定擅長所有事情。而ISP就是專門針對圖形圖像應(yīng)用進行優(yōu)化的芯片，這樣不管是支持的功能、還是性能、功耗，都要遠遠超過通用芯片。
不過從這次的發(fā)布來看，OPPO的這款馬里亞納 MariSilicon X芯片并不是單純的ISP，而是一個ISP+AI加速器的NPU。在說這個NPU的具體技術(shù)細節(jié)之前，我覺得有必要從架構(gòu)的層面先和大家一起梳理一下這次發(fā)布一直在強調(diào)的DSA。
DSA全名是領(lǐng)域?qū)Ｓ眉軜?gòu)，說人話就是針對某個特定應(yīng)用領(lǐng)域進行設(shè)計和優(yōu)化的專用芯片架構(gòu)。DSA特別值得大家留意，我之前也介紹過很多次，因為它是現(xiàn)代芯片設(shè)計的一個非常主流的趨勢。
那么為什么需要這種領(lǐng)域?qū)Ｓ眉軜?gòu)呢？從本質(zhì)上看，DSA是芯片架構(gòu)師和芯片工程師思維方式的重要轉(zhuǎn)變。傳統(tǒng)的芯片設(shè)計和使用遵循著一種自上而下的模式，這有點類似于軟件開發(fā)里的瀑布模型，也就是芯片公司提供現(xiàn)成的芯片，然后芯片的使用者再開發(fā)各種軟件去做適配。
這樣的模式就有很多問題，最主要的就是芯片設(shè)計和使用這兩個環(huán)節(jié)的脫鉤。芯片的設(shè)計者不知道使用者具體要用在什么地方，也不知道使用者的具體需求，只能盡量設(shè)計通用性強的結(jié)構(gòu)，而這樣勢必會犧牲芯片在具體應(yīng)用場景里的性能、功耗和面積。
另一方面，芯片的使用者也不知道芯片具體的設(shè)計細節(jié)，也只能根據(jù)有限的文檔資料去使用芯片，這樣也勢必很難充分發(fā)揮芯片的最大能力，使用體驗非常糟糕。
所以現(xiàn)在的芯片設(shè)計就開始慢慢流行起DSA。它的本質(zhì)思路其實很簡單，就是根據(jù)實際的具體需求，去指定芯片的設(shè)計方案，然后確定架構(gòu)、微架構(gòu)、編程方法、軟硬件系統(tǒng)等等一系列內(nèi)容。
馬里亞納 MariSilicon X
拿OPPO這次發(fā)布的馬里亞納 MariSilicon X芯片舉例，它的專用性主要體現(xiàn)在AI和影像領(lǐng)域。也就是通過分析各種影像專用的AI算法，找到它們中間共同、或者類似的算子和模塊，然后把這些模塊通過硬件實現(xiàn)在芯片上。
這樣當(dāng)AI算法用到這些算子的時候，就可以直接調(diào)用硬件單元，從而大幅提升算法執(zhí)行的算力性能，并且大幅降低功耗，兩者結(jié)合，從而取得極致的能效比，這對于手機這樣電池供電的移動設(shè)備至關(guān)重要。
在芯片的迭代過程中，使用領(lǐng)域?qū)Ｓ眉軜?gòu)的芯片可以讓硬件架構(gòu)和軟件算法同步更新，這就從根本上解決了前面說的瀑布模型里設(shè)計和使用脫節(jié)的問題。
特別值得注意的是，馬里亞納 MariSilicon X芯片并不是單純的圖像處理器ISP、也不是單純的AI加速器，而是二者的結(jié)合體，這樣的好處就是能結(jié)合二者的優(yōu)點，并且實現(xiàn)從需求到算法、再到芯片傳感器以及軟硬件功能的完整定制。
再來看看馬里亞納 MariSilicon X芯片的其他主要技術(shù)特點。首先，它采用了臺積電6納米工藝進行制造。在研究任何芯片的時候，我都會關(guān)注它的制造工藝。但我們不應(yīng)該過度解讀。就好像你做西紅柿雞蛋的時候，并不會先去養(yǎng)雞等它下單，更不可能先往地理播種西紅柿。當(dāng)然有條件的話我可以自己養(yǎng)雞種菜，但沒條件的話，專注于制作這道菜本身，也是非常有意義的事情。
再回到芯片的具體性能，在AI性能方面，由于采用了領(lǐng)域?qū)Ｓ眉軜?gòu)，芯片的AI int8峰值算力達到每秒18萬億次。特別是在影像領(lǐng)域，這樣的AI算力可以支持4k30幀的HDR智慧夜景視頻，并且達到20位UltraHDR的超高動態(tài)范圍，也就是說，圖像最亮的部分比最暗的部分要高100萬倍，但仍然能保持影像細節(jié)。當(dāng)然這只是一個例子，但這就很好的說明了像這樣的需求和提升，也只有自研芯片、并且真正的掌握深水區(qū)的技術(shù)，才能應(yīng)對。
說到影像，這個其實也是OPPO造芯的大背景和大原則。除了前面說的4K AI智慧夜景視頻之外，MariSilicon X芯片還支持無損RAW計算。
傳統(tǒng)的圖形圖像的處理鏈路大致可以分成RAW、RGB和YUV三個域，原先大部分ISP處理都在YUV域，但這個時候的圖像已經(jīng)是經(jīng)過壓縮和處理的內(nèi)容，可能已經(jīng)損失了很大部分的信息。但通過這顆芯片的算力加持，就可以直接在RAW域?qū)υ鸁o損內(nèi)容進行處理，從而提供更高的AI計算靈活性。根據(jù)OPPO的數(shù)據(jù)，馬里亞納 MariSilicon X芯片可以對最高93.75%的信息折損進行補償和還原，從而實現(xiàn)等效大底的感光能力。
OPPO還官宣，在明年第一季度的下一代OPPO Find旗艦系列手機里，將會首發(fā)搭載這款馬里亞納 MariSilicon X芯片。
OPPO自研芯片的意義
說了這么多造芯的意義和性能指標(biāo)，我最后其實還想再多說幾句那些造芯背后的事情，特別是那些我們普通人可能看不到的意義和成就。
對于造芯片，可能大家聽到的都是成功的案例，比如通過某款芯片一舉實現(xiàn)彎道超車這樣的勵志故事。但事實或許遠比這些故事來得殘酷。
我們都學(xué)過兩個物理原理：水越深，水里的壓力就越大，而且由于陽光照不到這么深的水里，周圍就會越來越黑，想要繼續(xù)下潛就只能靠自己不斷摸索。這兩件事就是在造芯過程中、特別是研發(fā)深水區(qū)技術(shù)的過程中，會經(jīng)常遇到的。
事實上，很多公司投入大量人力物力，但最終也沒能做出一個好芯片。越是高端制程工藝，制造投入就越大。對于6納米工藝，芯片單次的流片費用就高達一億人民幣。也就是說，如果流片回來的芯片沒有達到預(yù)期功能或者性能指標(biāo)，這一個小目標(biāo)就打水漂了，所以這其中的壓力和風(fēng)險可想而知。
不過對于公司自身的發(fā)展來說，造芯的意義遠遠不只在于芯片本身，更重要的是，這個過程會給公司帶來大量的技術(shù)儲備、培養(yǎng)一批一批的優(yōu)秀從業(yè)者和人才。他們在做項目過程中踩的坑、解決的問題、建立的流程、總結(jié)的方法等等，這些其實都是支持一個公司長久發(fā)展最寶貴的財富。
從發(fā)現(xiàn)馬里亞納海溝，到第一次下潛到海溝底部，人們花了85年。雖然現(xiàn)在造芯不需要這么久，但肯定不是一蹴而就的，肯定需要長年累月的積累。所以對于我們普通人來說，我們最應(yīng)該做的，就是對那些真正追求技術(shù)進步和提升的公司和人，給予更多的包容和支持。
