影像戀上智能：麒麟9000中的高甜CP創(chuàng)新

在移動芯片發(fā)展歷史上，始終有這樣一個趨勢：伴隨著智能手機的升級，移動 SoC 的組成模塊越來越多，制程上不斷挑戰(zhàn)摩爾定律極限。

但是看多了幾大廠商之間的芯片斗法，見慣了參數(shù)不斷上升、模塊不斷增多、制程納米數(shù)不斷下降，似乎也是有點乏味。難道移動芯片的創(chuàng)新之路，就沒有其他方向可走了嗎？

今年大家最關心的移動芯片，毫無疑問是麒麟 9000。這款芯片采用了 5nm 工藝制程，集成 153 億晶體管，在性能、AI、拍照等能力上都有大幅創(chuàng)新，各位想必也了解過很多了。但在麒麟 9000 的創(chuàng)新中，有一項卻是跟其他芯片完全不同的。那就是麒麟 9000 在業(yè)界首次實現(xiàn) ISP+NPU 融合架構。

移動芯片中的融合架構創(chuàng)新，這個說法大家似乎很少聽到，那么理解起來可能也難免生澀。但其實，麒麟 9000 中的這個創(chuàng)新，不僅將直接帶給華為旗艦機，比如 Mate 40 系列用戶以全新的影像體驗，還指向著移動芯片與產(chǎn)品能力高度同頻、智能與影像能力全面融合，這兩個在今天非常核心的行業(yè)趨勢。

或許可以說，麒麟 9000 中的 ISP 邂逅 NPU，不僅是一枚芯片，幾款手機的事，更是未來智能手機發(fā)展中的一種確定性未來。

為了幫助大家理解這個技術創(chuàng)新，咱們今天就換個路子：咱把 ISP 和 NPU 想象成偶像劇里的男女主角。這個架構融合就約等于組 CP。順著這個思路，咱們來聊三個問題：

1、?這對 CP 有什么緣分？

2、?他倆牽手需要跨過哪些障礙？

3、 CP 成了之后，能給觀眾發(fā)哪些糖？

好，咱們這就開始。

緣分注定多時：ISP 與 NPU 的邂逅

話說，整個一塊移動 SoC 中，一般來說有這么幾位成員：CPU、GPU、基帶，ISP 模塊，以及這幾年最火熱的 AI 處理單元 NPU。

其中 ISP 是手機拍照的必需品，堪稱智能手機時代的江湖老男神；而 NPU 則是剛剛出道幾年的少年俠女，興致勃勃要闖出一片新天地。

看過電視劇的都知道，男女主就得看著有區(qū)別，不在一個路子上，這樣邂逅之后才有 CP 感。ISP 和 NPU 正是如此。雖然 ISP 和 NPU，兩大部件看似處在不同的道路上，但它們在目前這個周期中卻有相遇的必然性。

一方面，傳統(tǒng)的手機端 ISP 開始面臨一系列瓶頸。比如對暗光拍攝的高要求，就為芯片硬件處理性能提出了更高要求。再比如為了解決手機攝影的進光量問題，近兩年興起了 RYYB 傳感器，傳統(tǒng) ISP 已經(jīng)無法應對其中 Y 像素蘊含的色彩信息容量?；蛟S可以說，影像的世界太復雜，傳統(tǒng) ISP 有點撐不住了。

另一方面，AI 算法也在面對越來越豐富的圖像處理任務時，通過深度網(wǎng)絡對逐個像素特征的學習和表達，大幅提升了畫質。所以在今天，圖像與視頻處理過程中需要大量 AI 算法的計算，而 ISP 本身在很多任務上不具備 NPU 的計算效率，就需要通過 ISP 與其他模塊間的計算傳輸來支撐復雜的圖形圖像算法，最終導致要么犧牲算法強度，要么造成處理延遲，都會導致用戶體驗變差。觸摸到天花板的 ISP，必須完成一些變革才行。當然，ISP 本身也在發(fā)生不少變化，比如麒麟 9000 里采用了新一代的 ISP 6.0 圖像處理器。但這還不夠，為了讓 ISP 能夠發(fā)揮出跟上時代的價值，需要給他安排一場邂逅。

邂逅的對象，就是近幾年風頭無兩的 NPU。NPU 在移動 SoC 中正處在高速進化階段，比如麒麟 9000 中，華為達芬奇架構升級到了 2.0 版本，實現(xiàn)了 NPU 算力的再次翻倍，以 148 分的成績刷新了蘇黎世聯(lián)邦理工學院 AI Benchmark 排行。

而實力雄厚的 NPU，正在雄心勃勃瞄準著新機遇。AI 處理能力需要與具體的任務和體驗結合，才能讓用戶真正感覺到智能的魅力。而在一系列任務中，圖像是與 AI 結合關系最緊密的一點。而 AI 計算需要跨越的主要挑戰(zhàn)，就是高效和實時化的圖像處理。

從這個關系可以看到，ISP 需要更強大的 AI 計算能力來完成突破，NPU 則需要與圖像處理更緊密的聯(lián)系來發(fā)揮自己的潛力，兩者的緣分其實早就注定。

從這點來看，麒麟 9000 的 ISP+NPU 融合架構雖然是行業(yè)的全新突破，但從產(chǎn)業(yè)邏輯上卻是一種必然的邂逅。

為了滿足這場邂逅的充分必要條件，麒麟 9000 還需要完成一系列挑戰(zhàn)。

嗑 CP 的準備工作：新架構，新挑戰(zhàn)

俗話說，沒有世仇的羅密歐與朱麗葉是無聊的，沒有挑戰(zhàn)的 CP 感也是乏味的。

ISP+NPU 的架構融合，可以有效解決今天手機用戶關于攝影的核心需求：一是提升了 AI 能力，讓視頻拍攝也可以獲得 AI 支持；二是讓華為提出的 RYYB 傳感器更加出色，將攝影的細節(jié)色彩還原和暗光拍攝能力再次提升。

但這樣的價值卻并不容易實現(xiàn)，ISP 與 NPU 的架構融合，還需要克服一系列的技術挑戰(zhàn)，在多種高精度因素之間尋求最合適的平衡點。讓我們繼續(xù)磕偶像劇的思路，把 ISP 和 NPU 的架構融合挑戰(zhàn)，想象成情侶間經(jīng)常碰到的三個困難場景：

1、性格：性格不合，是很多情侶遇到的第一個問題。而 AI 的性格就是算法。ISP+NPU 融合新架構，首先就是要找到適合這個新架構的算法。要知道，ISP 作為影像處理單元，在架構融合之后要給 NPU 輸入非常龐大而復雜的數(shù)據(jù)。為了能穩(wěn)定有效地處理這樣的數(shù)據(jù)，NPU 需要確保運算中的魯棒性，還需要提升運行效率。這就需要開發(fā)團隊最大化讓 NPU 的算法模型與硬件配合，確保 NPU 和 ISP 性格合適，相處得來。

2、能力：在 ISP+NPU 的融合架構里，一個重要目標就是滿足視頻拍攝時的 AI 處理。而這需要 NPU 具備足夠強的能力，也就是充沛的計算能效。比如說在如 30fps 場景下，整個 ISP 鏈路必須在 33ms 內完成單幀計算工作。這就留給 AI 處理算法的時間很短。如果計算性能不達標，將產(chǎn)生極大的卡頓問題。所以說，NPU 足夠強勁，能夠支撐起足夠的計算能效，是新架構面對的第二個挑戰(zhàn)。

3、錢包：情侶在一起，不能很快就把家底折騰沒了。對于 ISP+NPU 的新架構來說，就是不能以過度的耗電為代價執(zhí)行新架構。否則手機的耗電和發(fā)熱問題會嚴重影響用戶體驗。因此架構突破還必須約束在一定的能效范疇內，不能三兩下耗光手機電池的“錢包”。

這些因素的相互影響與制約下，麒麟 9000 的開發(fā)團隊必須在算力、算法、能耗間取得一個精準的平衡點，才能達成 ISP+NPU 的創(chuàng)新。

眾多技術創(chuàng)新背后，其實都是帶著枷鎖起舞。麒麟 9000 的 ISP+NPU 融合架構也是如此。只有在嚴苛的平衡條件下，AI 計算能力和圖像處理能力，才可以由原本的普通合作關系，變成一體化的高甜 CP。

一系列用戶體驗的創(chuàng)新，都由此開始。

影像智能高甜時刻：麒麟 9000 帶給用戶的質感

下面我們來回答最重要的一個問題：ISP 和 NPU 這一對，跨過了這么多艱難也要在一起，究竟能給廣大觀眾帶來點什么？

事實上，芯片是手機產(chǎn)品與應用的想象力基礎，真正的手機創(chuàng)新往往要從芯片開始。我們回到用戶的視角中，會發(fā)現(xiàn)麒麟 9000 的架構創(chuàng)新重新打破了我們對手機影像能力的常識界定，并且將近幾年備受矚目的技術路徑推到了更成熟的階段。

對于用戶來說，麒麟 9000 中 ISP+NPU 的高甜 CP，帶來了這樣幾個關于視覺世界的全新質感：

1、?升級：完美支持 RYYB 色彩。

新的 ISP+NPU 融合架構，首先實現(xiàn)了用智能計算的新方式，全面支持新型 RYYB CFA。這讓 RYYB 的價值被進一步放大，用戶體驗更加具有一致性。用戶直接的感受是，日常拍照的細節(jié)和色彩還原將更加逼真，尤其是夜晚拍攝效果將得到又一次巨大升級。

2、開啟：視頻拍攝真智能。

ISP+NPU 融合架構將超強的細節(jié)還原、降噪能力帶入了視頻領域，并且讓暗光環(huán)境下拍攝的視頻更加清晰、細節(jié)展現(xiàn)淋漓盡致。在新架構的支持下，麒麟 9000 可以實現(xiàn)視頻拍攝智能化水準，以及實時化效果質量的全面提升。開啟了智能視頻時代色彩、清晰度、光線捕捉的全新水準。

3、?和諧：計算攝影與整機體驗更加適配。

ISP+NPU 的融合新架構，讓計算攝影這個近幾年的核心議題，可以與手機的整體計算、能耗體驗更加適配，相互關系更加平衡。在提升攝影、攝像等視覺水準的同時，不以犧牲手機能耗為代價，細水長流，讓整體體驗更加順滑。

可以說，ISP+NPU 的新架構是對計算攝影新的理解，是一次芯片架構設計創(chuàng)新，讓手機影像拍攝能力得到了一次全面升級，在追求所見極致化的路上走得更遠。而麒麟 9000 更深層的產(chǎn)業(yè)意義在于，它展現(xiàn)了新一輪的移動芯片變革可能性。在智能手機行業(yè)中，芯片一般都是作為基礎部件，不會直接考慮手機產(chǎn)品本身的創(chuàng)新需求與方向。這是全球半導體行業(yè)分工導致的常態(tài)，但在華為這樣的全棧終端廠商崛起后，事情開始不斷發(fā)生改變。

以麒麟 9000 為例，ISP+NPU 的架構融合創(chuàng)新，更加適配華為終端產(chǎn)品采用的 RYYB 傳感器、電影攝像頭解決方案、影像智能等一系列新部件、新功能、新的產(chǎn)品方向。這展現(xiàn)出了華為在手機端與移動芯片端協(xié)同開發(fā)的全新高度。以用戶需求和用戶體驗為導向，芯片開發(fā)可以與手機發(fā)展高頻同步，即使需要跨越很高的融合難度，但最后依然可以把“甜美”的智能影像體驗送到用戶面前。

另一方面，智能技術與影像能力的融合，也讓移動芯片某種程度上反思一味追求多能力、高數(shù)值的傳統(tǒng)發(fā)展定式。

很大可能性上，ISP+NPU 的融合架構創(chuàng)新，將是創(chuàng)造更多可能的開始。手機產(chǎn)業(yè)的軟硬件之間、系統(tǒng)與應用之間的聯(lián)系正在更加緊密。

在這對 CP 成功牽手出道背后，我們能看到色彩的創(chuàng)新可能驅動芯片的更迭；AI 算法的演進也能帶來拍攝體驗的升級。集成化、一體化、智能化，構成了未來智能手機的康莊大道。

一條由麒麟 9000 開啟的，高甜的智能+影像之路。