芯耀
527
4月22日下午，國產(chǎn)芯片廠商國科微正式發(fā)布其自研新一代人工智能圖像處理引擎（AI ISP）品牌——圓鸮，標(biāo)志著其在人工智能與圖像處理技術(shù)結(jié)合方面邁出關(guān)鍵一步，有望為安防、低空經(jīng)濟(jì)、消費(fèi)電子、工業(yè)互聯(lián)網(wǎng)等行業(yè)帶來更加先進(jìn)的智慧視覺處理芯片及解決方案。
什么是AI ISP？有何優(yōu)勢(shì)？
傳統(tǒng)的圖像信號(hào)處理(lmage Signal Processing, ISP) 主要是用于對(duì)圖像傳感器輸出的原始圖像信號(hào)進(jìn)行處理和優(yōu)化。其原理是將圖像傳感器接收到的光信息處理成圖像信息，并通過系列數(shù)字圖像處理算法對(duì)圖像噪聲、亮度、色彩等進(jìn)行優(yōu)化，讓智能終端設(shè)備面對(duì)復(fù)雜多變的現(xiàn)實(shí)環(huán)境，擁有看清世界的能力。
但是隨著用戶對(duì)于畫質(zhì)的要求越來越高，傳統(tǒng)的ISP所能夠帶來的畫質(zhì)改善的空間已經(jīng)越來越小，特別的面對(duì)暗光等復(fù)雜場景，傳統(tǒng)ISP要有明顯的效果提升，則不可避免的需要增加器件，比如增加ISP的核心數(shù)量（不少智能手機(jī)芯片廠商甚至在旗艦芯片當(dāng)中采用了三個(gè)ISP）來提升性能、采用大面積的圖像傳感器、大光圈鏡頭、增加補(bǔ)光燈等，如此一來成本較高，難以普惠大眾。
國科微智慧視覺產(chǎn)品線高級(jí)市場經(jīng)理潘雨表示：“事實(shí)上，傳統(tǒng)ISP一直在持續(xù)迭代，但是能夠看到的收益已經(jīng)越來越小，給用戶帶來的能夠感受到的體驗(yàn)的提升非常有限。而將AI技術(shù)與ISP技術(shù)融合，通過構(gòu)建AI視覺的處理模型，則能夠突破傳統(tǒng)ISP的性能的天花板，帶來視覺效果的質(zhì)的提升?！?/p>
那么相對(duì)于傳統(tǒng)ISP，AI ISP具體能夠帶來哪些方面的提升呢？
簡單來說，AI ISP通過加入人工智能（AI）技術(shù)，使得ISP對(duì)于圖像信號(hào)的處理更加的智能和個(gè)性化，不僅能夠看得清，還能為“看得懂”提供有力保證。
具體來說，傳統(tǒng)的ISP主要涉及信號(hào)的預(yù)處理、降噪、色彩校正、白平衡調(diào)整、圖像增強(qiáng)和壓縮等步驟。這些步驟通常依賴于固定的算法和預(yù)設(shè)參數(shù)來對(duì)圖像進(jìn)行處理，在光線不足或復(fù)雜光環(huán)境下，圖像很容易出現(xiàn)噪聲、色彩失真、細(xì)節(jié)丟失等問題。而AI ISP則通過將訓(xùn)練過的AI算法模型、專用的NPU/IPU加速單元和圖像信號(hào)處理器進(jìn)行融合，不僅支持AI降噪、HDR增強(qiáng)、色彩矯正、提升逆光/暗光表現(xiàn)，并能夠根據(jù)實(shí)時(shí)場景、拍攝的物體、用戶的偏好來自適應(yīng)地來優(yōu)化各種參數(shù)，提供更精確、清晰的圖像處理效果。
得益于AI ISP的諸多優(yōu)勢(shì)，其在智能手機(jī)、安防監(jiān)控、工業(yè)檢測(cè)、AI/AR眼鏡、自動(dòng)駕駛、醫(yī)療成像等諸多領(lǐng)域?qū)碛袕V泛的增長空間。
四大核心技術(shù)能力加持，智慧視覺芯片市場國科微份額居前
作為多年來一直深耕于視頻處理、端側(cè)AI及車載電子領(lǐng)域的芯片及解決方案提供商，國科微憑借持續(xù)的研發(fā)投入以及市場端的不斷反饋和驗(yàn)證，形成了四大核心技術(shù)能力：
1、豐富的復(fù)雜SoC芯片及方案設(shè)計(jì)經(jīng)驗(yàn)。包括自研核心模擬IP；高集成度的能力，可以幫助客戶降低產(chǎn)品復(fù)雜度及成本；成熟的復(fù)雜SoC系統(tǒng)設(shè)計(jì)能力；多操作系統(tǒng)解決方案能力: Linux/Android/TVOS等。
2、優(yōu)異的視頻編解碼能力。在AVS2/AVS3、H.264/H.265/H. 266等編解碼技術(shù)方面，國科微都有深厚的積累，實(shí)現(xiàn)1080P~8K編解碼能力的完整布局，不僅支持HDR VIVID、Audio VIVID、ChinaDRM等國標(biāo)，還支持Smart264/265方案，可以進(jìn)一步降低碼率。
3、領(lǐng)先的圖像信號(hào)處理能力。國科微長期投入算法自研算法，并自研了核心的ISP，以及圖像處理IP。
4、自研NPU，實(shí)現(xiàn)了0.2T-20T算力的布局，可滿足多種場景應(yīng)用需求。其中，神經(jīng)網(wǎng)絡(luò)加速器利用率高，全面適配主流網(wǎng)絡(luò)，擁有高能效比，可滿足極低功耗應(yīng)用。在開發(fā)工具鏈方面，也非常高效易用。
憑借這四大核心技術(shù)能力的加持，國科微已經(jīng)成功構(gòu)建了從前端到后端、從高端到低端的AI視覺處理器產(chǎn)品矩陣，并在國內(nèi)的ISP、安防監(jiān)控IPC芯片、NVR/DVR芯片市場取得了不錯(cuò)的市場份額。
據(jù)潘雨介紹，國科微的自研ISP目前穩(wěn)居行業(yè)第一梯隊(duì)。憑借在ISP、編解碼、NPU等核心技術(shù)領(lǐng)域的優(yōu)勢(shì)積累，國科微AI視覺芯片已在國內(nèi)安防市場占據(jù)穩(wěn)定的市場份額。一些第三方數(shù)據(jù)顯示，在安防監(jiān)控IPC芯片市場，國科微大概占據(jù)了約20%的市場份額，在消費(fèi)類的智慧視覺芯片市場也拿到了約20%的市場份額。
國科微圓鸮AI ISP發(fā)布：六大關(guān)鍵技術(shù)特性解析
得益于國科微在上述四大核心技術(shù)方面的積累，以及對(duì)于AI視覺市場需求的敏銳洞察，國科微推出全新的圓鸮AI ISP產(chǎn)品線也是順理成章。
據(jù)介紹，圓鸮AI ISP在降噪、多光譜融合、RGBIR、防抖、拼接、快速對(duì)焦等技術(shù)方面實(shí)現(xiàn)了全方位的支持與性能提升，可以帶來更加優(yōu)異的“黑光全彩”效果與高質(zhì)量成像。
具體來說，在超感光降噪方面，圓鸮AI ISP基于自研的AI降噪算法模型，可以將信噪比提升8db，這樣可以有效區(qū)分圖像中的信號(hào)和噪聲，從而實(shí)現(xiàn)精準(zhǔn)降噪，即使在極低照度場景下，成像也能夠做到夜如白晝。
在多光譜融合方面，圓鸮AI ISP能夠支持同時(shí)融合紅外光和可見光圖像信息，結(jié)合自研的ISP融合算法，可以實(shí)現(xiàn)在暗光、弱光的環(huán)境中，僅需補(bǔ)充紅外光，即可輸出無光污染的全彩圖像，在夜間成像能夠?qū)崿F(xiàn)全彩透亮的效果。
“紅外光可以補(bǔ)充更多的細(xì)節(jié)，且不會(huì)產(chǎn)生光污染，與可見光（補(bǔ)充色彩信息）進(jìn)行融合后，可以實(shí)現(xiàn)圖像質(zhì)量的大幅提升。另外還可以一路接入紅外熱成像傳感器（可以感知溫度），一路接入可見光來做融合，這樣還可以實(shí)現(xiàn)更多的功能?！迸擞赀M(jìn)一步解釋道。
設(shè)備運(yùn)動(dòng)所帶來的畫面抖動(dòng)也是圖像處理的一大難點(diǎn)。國科微圓鸮AI ISP通過結(jié)合AI算法，可以支持6-DOF數(shù)字防抖，支持電子防抖和數(shù)字防抖，可以精準(zhǔn)識(shí)別并消除高頻抖動(dòng)，讓運(yùn)動(dòng)圖像更加流暢。
國科微ISP研發(fā)中心負(fù)責(zé)人王璽林告訴芯智訊：“傳統(tǒng)的防抖解決方案主要有兩大類，一類是光學(xué)防抖、機(jī)械防抖，這類解決方案可以實(shí)現(xiàn)出色的穩(wěn)像，但是成本很高；另一類則是電子防抖（EIS）、數(shù)字防抖（DIS），成本相對(duì)較低。其中，電子防抖是依賴于陀螺儀，但其對(duì)平移的抖動(dòng)不敏感，相比之下數(shù)字防抖對(duì)平移敏感。所以，圓鸮AI ISP可以幫助客戶以低成本實(shí)現(xiàn)超級(jí)穩(wěn)像?！泵鎸?duì)大視野的圖像處理需求，圓鸮AI ISP也能夠很好的滿足。據(jù)介紹，圓鸮AI ISP支持最大四目拼接，通過整合四個(gè)攝像頭的圖像，可提供更寬廣的視角和無縫融合，實(shí)現(xiàn)更高分辨率的成像，極大地拓展成像視角。
與此同時(shí)，圓鸮AI ISP還支持PDAF技術(shù)，可以實(shí)現(xiàn)快速對(duì)焦。
王璽林指出，多年以來，國科微在2D NR、3D NR、雙3DNR降噪，寬動(dòng)態(tài)，多光譜融合，AI降噪等方面有著深厚的技術(shù)積累，同時(shí)通過算法團(tuán)隊(duì)、AI 團(tuán)隊(duì)與邏輯芯片團(tuán)隊(duì)的深度協(xié)同創(chuàng)新，形成跨領(lǐng)域技術(shù)融合的研發(fā)優(yōu)勢(shì)，確保技術(shù)創(chuàng)新能夠高效轉(zhuǎn)化為實(shí)際產(chǎn)品競爭力。未來，圓鸮AI ISP將在AI SR，AI超分技術(shù)、AI去霧、AI拼接、AI DRC寬動(dòng)態(tài)等方面持續(xù)進(jìn)階，不斷提升產(chǎn)品的競爭力。
圓鸮Al ISP芯片已獲安防頭部企業(yè)采用
目前，首款基于圓鸮AI ISP的AI視覺處理芯片GK7606V1系列已在安防行業(yè)頭部企業(yè)實(shí)現(xiàn)應(yīng)用。據(jù)介紹，GK7606V1系列內(nèi)置雙核Cortex A55處理器，擁有最高2.5TOPS NPU算力，支持4K編解碼、4K@25fps AI降噪，具有高畫質(zhì)、低碼率、低內(nèi)存、低延時(shí)以及低功耗等優(yōu)勢(shì)?？梢詽M足專業(yè)安防、中高端消費(fèi)類IPC、運(yùn)動(dòng)DV、行車記錄儀、圖傳等應(yīng)用。
根據(jù)國科微公布的對(duì)比數(shù)據(jù)來看，GK7606V1系列在噪聲控制、飽和度、清晰度及暗區(qū)細(xì)節(jié)上，表現(xiàn)整體優(yōu)于友商。
除了GK7606V1系列之外，國科微還推出了一款搭載圓鸮AI ISP的普惠4K AI視覺處理芯片GK7206V1。該芯片支持雙核Cortex A7處理器并內(nèi)置RISC-V小核，1TOPS算力，支持4K@25 H.264/H.265編碼，支持AOV、快啟，支持雙MIPI+DVP三目輸入，近期即將上市。
AI ISP市場混戰(zhàn)，國科微能否脫穎而出？
根據(jù)市場調(diào)研數(shù)據(jù)顯示，2023年中國用于AI視覺芯片銷售收入將達(dá)到630億美元，同比增長約18%。預(yù)計(jì)到2024年，AI視覺芯片銷售額將增長25%，達(dá)到799億美元。近年來，隨著用戶對(duì)于圖像質(zhì)量要求的持續(xù)提升，已經(jīng)推動(dòng)了獨(dú)立的ISP芯片市場的快速增長。
根據(jù)dataintelo的數(shù)據(jù)顯示，2023年，全球獨(dú)立ISP芯片市場規(guī)模約為32億美元，預(yù)計(jì)到2032年將增長到約59億美元，預(yù)測(cè)期內(nèi)復(fù)合年增長率為7.1%。但是，由于傳統(tǒng)ISP對(duì)于圖像質(zhì)量的提升已經(jīng)遇到了“瓶頸”，而在人工智能技術(shù)加持下的AI ISP芯片，則能夠持續(xù)滿足不同領(lǐng)域?qū)τ诟鼜?fù)雜圖像信號(hào)處理需求，這也意味著AI ISP芯片有望逐步取代傳統(tǒng)的獨(dú)立ISP。并且，隨著應(yīng)用需求從傳統(tǒng)的安防監(jiān)控、車載市場進(jìn)一步擴(kuò)展到AI/AR眼鏡、工業(yè)等更廣泛的應(yīng)用領(lǐng)域，市場空間也將會(huì)進(jìn)一步打開。
目前，在AI ISP技術(shù)領(lǐng)域，除了國科微之外，還有華為海思、星宸科技、富瀚微、愛芯元智等玩家，他們也都在積極地推動(dòng)AI ISP對(duì)于傳統(tǒng)的ISP的替代，預(yù)計(jì)未來這一市場的競爭也將會(huì)越來越激烈。
對(duì)此，王璽林認(rèn)為，國科微擁有成熟的傳統(tǒng)算法團(tuán)隊(duì)，同時(shí)組建了優(yōu)秀的AI算法團(tuán)隊(duì)，外加邏輯和軟件團(tuán)隊(duì)，形成多個(gè)團(tuán)隊(duì)深度融合，構(gòu)建了從算法、邏輯到軟件平臺(tái)的完整組織架構(gòu)。特別是在降噪技術(shù)領(lǐng)域，國科微做了大量的儲(chǔ)備，構(gòu)筑了圓鸮AI ISP的技術(shù)優(yōu)勢(shì)。
AI ISP市場才剛剛興起，隨著人工智能技術(shù)的不斷提升，AI ISP在各行業(yè)的應(yīng)用需求將會(huì)日益增長。國科微此次推出的GK7606V1和GK7206V1系列一高一低的定位，將可為智能安防、行車記錄儀、無人機(jī)圖傳、運(yùn)動(dòng)DV、會(huì)議攝像頭等應(yīng)用領(lǐng)域提供豐富的解決方案。
編輯：芯智訊-浪客劍
