• 正文
    • ISP是手機(jī)攝影的超車點(diǎn)
    • 驍龍讓計(jì)算攝影成為可能
    • 讓用戶愛上拍照是手機(jī)攝影的最終目的
  • 推薦器件
  • 相關(guān)推薦
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

計(jì)算攝影的背后,手機(jī)廠商的“芯事”誰來解?

2023/06/15
2001
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

編 輯:鐘立磊

近日,中國國家地理主辦的2023中國野生生物影像年賽啟動(dòng)儀式在深圳舉辦。和絕大多數(shù)野生生物攝影項(xiàng)目不同,年賽自創(chuàng)立以來便設(shè)立手機(jī)組別,鼓勵(lì)大家用觸手可及的設(shè)備進(jìn)行創(chuàng)作和探索。

而這種讓手機(jī)和相機(jī)同臺(tái)競技的做法,也讓不少攝影愛好者重新思考一個(gè)問題:「如何用手機(jī)拍和專業(yè)相機(jī)媲美的照片?」或者用更直白的方式來說——手機(jī)拍照有超越專業(yè)相機(jī)的可能嗎?

如果單從部分配置上看,手機(jī)和專業(yè)相機(jī)之間確實(shí)存在差距:在犧牲了便攜性、易用性和高成本的前提下,專業(yè)相機(jī)用更大的機(jī)身換來了更大的傳感器、更準(zhǔn)確的對(duì)焦模塊。

當(dāng)然了,專業(yè)相機(jī)所使用的專業(yè)鏡頭在設(shè)計(jì)時(shí)也不需要照顧用戶對(duì)「鏡頭突起」的反感情緒,可以放心大膽地用復(fù)雜的光學(xué)設(shè)計(jì)和價(jià)格高昂的特殊鏡片來提高鏡頭的光學(xué)表現(xiàn)。這些都是現(xiàn)階段智能手機(jī)在比拼參數(shù)時(shí)必須承認(rèn)的差距,畢竟相機(jī)的唯一職責(zé)就是拍照,但拍照只不過是手機(jī)的其中一個(gè)使用場景而已。

但這就意味著智能手機(jī)拍出來的照片趕不上專業(yè)相機(jī)嗎?事情沒有這么簡單。

ISP是手機(jī)攝影的超車點(diǎn)

和專業(yè)相機(jī)類似,智能手機(jī)拍照也可以分為四個(gè)階段,分別對(duì)應(yīng)四組不同的元件:鏡頭負(fù)責(zé)將外部的景色聚焦在手機(jī)的圖像傳感器上。圖像傳感器是手機(jī)攝像頭的核心部分,當(dāng)光線照射到圖像傳感器上時(shí),每個(gè)像素會(huì)產(chǎn)生電荷,并將其轉(zhuǎn)換為數(shù)字信號(hào)。

一旦圖像傳感器將光線轉(zhuǎn)換為數(shù)字信號(hào),手機(jī)的圖像處理芯片ISP)便開始處理這些數(shù)據(jù)。圖像處理芯片會(huì)對(duì)圖像進(jìn)行色彩校正、降噪、對(duì)比度增強(qiáng)等操作,以優(yōu)化圖像質(zhì)量。處理后的圖像數(shù)據(jù)會(huì)被存儲(chǔ)在手機(jī)的存儲(chǔ)介質(zhì)中,再通過屏幕回放這些照片。

而ISP恰恰就是手機(jī)攝影證明自己的關(guān)鍵。

專業(yè)相機(jī)的圖像處理電路通常只專注于最小化圖像噪點(diǎn)、保持細(xì)節(jié)和動(dòng)態(tài)范圍。但得益于智能手機(jī)芯片行業(yè)的飛速發(fā)展,智能手機(jī)的ISP往往更加靈活。即使是多年前的手機(jī)ISP也已經(jīng)可以提供色彩矯正、畸變矯正甚至是場景識(shí)別、智能HDR、人像模式等高級(jí)功能。

以人像模式為例,過去我們?cè)谂恼諘r(shí)想拍出完美的「奶油虛化」淺景深照片,不僅需要一支大光圈的人像鏡頭,也要通過巧妙的構(gòu)圖來保證模特和背景拉開足夠的距離,才能有可能拍出想要的背景虛化效果。

但對(duì)于智能手機(jī)來說,從鎖屏界面快速啟動(dòng)相機(jī),手機(jī)自動(dòng)識(shí)別并切換到人像模式:高效的移動(dòng)處理平臺(tái)在轉(zhuǎn)瞬間就能自動(dòng)完成測光、對(duì)焦、拍攝,并借助ISP完成畸變校準(zhǔn)、膚色調(diào)整,再借助景深識(shí)別技術(shù)精確分離前中后景,并實(shí)現(xiàn)極為自然的景深虛化。

而這一切甚至可以在你按下拍攝按鈕之前就提前完成。這種匯聚了人工智能和計(jì)算攝影尖端技術(shù)的新一代成像方式,才是手機(jī)攝影能和專業(yè)相機(jī)同臺(tái)競技的秘訣。對(duì)于專業(yè)相機(jī)來說,對(duì)「原始數(shù)據(jù)」的追求限制了相機(jī)圖形芯片的發(fā)展,這些后期處理只不過是計(jì)算攝影時(shí)代的開端。

驍龍讓計(jì)算攝影成為可能

以旗艦手機(jī)必備的第二代驍龍8移動(dòng)平臺(tái)為例,更強(qiáng)的數(shù)據(jù)處理能力讓智能手機(jī)可以在機(jī)內(nèi)就完成傳感器像素融合運(yùn)算,在機(jī)內(nèi)處理2億像素的照片拍攝。

當(dāng)專業(yè)相機(jī)還在把照片導(dǎo)入電腦、準(zhǔn)備后期拼接時(shí),智能手機(jī)已經(jīng)完成了后期處理,用5G網(wǎng)絡(luò)將照片發(fā)了出去。當(dāng)別人還在用6K電影機(jī)拍攝素材時(shí),智能手機(jī)已經(jīng)開始拍攝8K視頻,并利用高分辨率實(shí)現(xiàn)不損害畫質(zhì)的無損剪裁;當(dāng)別人還在檢查HDR步長時(shí),智能手機(jī)已經(jīng)開始完成了測光、拍攝,并輸出了高色深的最終圖片。

除了這些「基本功」外,AI神經(jīng)網(wǎng)絡(luò)的支持也讓認(rèn)知ISP可以實(shí)現(xiàn)更多過去無法想象的后制,進(jìn)一步拉近手機(jī)和專業(yè)相機(jī)之間的距離。

比如小米13系列中第二代驍龍8移動(dòng)平臺(tái)的認(rèn)知ISP可以將場景細(xì)分成8個(gè)不同處理層,并單獨(dú)根據(jù)不同處理層的特點(diǎn)進(jìn)行圖像處理和優(yōu)化,從而帶來更具有質(zhì)感的圖像細(xì)節(jié)和色彩表現(xiàn)。努比亞Z50 Ultra可以在認(rèn)知ISP的支持下同時(shí)利用多個(gè)傳感器拍攝,并在后臺(tái)利用多幀融合技術(shù)顯著增強(qiáng)照片的信息量和細(xì)節(jié)層次。

對(duì)手機(jī)的光學(xué)系統(tǒng)來說,手機(jī)的通用性是限制手機(jī)影像發(fā)揮的短板。但對(duì)手機(jī)的ISP來說,手機(jī)的通用性恰恰是讓手機(jī)攝影表現(xiàn)突飛猛進(jìn)的加速器。相機(jī)和手機(jī)、光學(xué)素質(zhì)和計(jì)算處理,這其實(shí)都是數(shù)碼產(chǎn)品在不同使用場景下,根據(jù)用戶實(shí)際需求而分化出來的不同進(jìn)化方向。

而當(dāng)用戶希望用比昂貴相機(jī)更低的成本、更便捷的方式記錄眼前的美好時(shí),手中的智能手機(jī)顯然是更符合實(shí)際需求的拍攝工具。而手機(jī)所具備的計(jì)算攝影技術(shù),已成為用戶「隨手拍大片」的最大推動(dòng)力。

更智能的ISP為手機(jī)帶來了智能場景識(shí)別和自動(dòng)優(yōu)化等功能,讓全民攝影更輕松。無論是風(fēng)景、人像還是美食,相機(jī)能夠快速識(shí)別場景,并自動(dòng)調(diào)整參數(shù),獲得更好的曝光、對(duì)焦和色彩效果,讓拍照變得簡單而直觀。

更強(qiáng)的數(shù)據(jù)吞吐和處理能力也讓高級(jí)算法和多幀合成技術(shù)成為可能,夜景模式的出現(xiàn)也為用戶帶來了更多的創(chuàng)作空間。更不用說人像模式和虛化效果的出現(xiàn)彌補(bǔ)了手機(jī)在光學(xué)系統(tǒng)方面的遺憾,讓照片更加具有專業(yè)感。更強(qiáng)大的圖像算法和更默契的軟硬配合下,手機(jī)的發(fā)展為我們帶來了全新的拍攝體驗(yàn),讓攝影更加與眾不同、更加充滿樂趣。

而驍龍移動(dòng)平臺(tái)也可以利用高通AI引擎的出色性能在拍攝照片后繼續(xù)優(yōu)化畫面細(xì)節(jié),比如利用AI為照片執(zhí)行降噪操作,減少長時(shí)間曝光下的照片噪點(diǎn),讓照片更加干凈通透;又或者利用AI學(xué)習(xí)畫面運(yùn)動(dòng)方向,從而實(shí)現(xiàn)更出色的防抖補(bǔ)償效果;甚至在拍攝之前,AI引擎的強(qiáng)大算力就已經(jīng)讓手機(jī)可以對(duì)運(yùn)動(dòng)物體進(jìn)行精確的模型檢測,實(shí)現(xiàn)萬物追焦的效果。

讓用戶愛上拍照是手機(jī)攝影的最終目的

在計(jì)算攝影時(shí)代,芯片的作用不僅限于提供計(jì)算能力,更是構(gòu)建手機(jī)拍照端到端協(xié)作系統(tǒng)的基石。也正因芯片決定了計(jì)算攝影的最終表現(xiàn)能力,使得越來越多的手機(jī)品牌開始在影像芯片上發(fā)力。

而在這場關(guān)系到手機(jī)攝影進(jìn)化的影像芯片軍備競賽中,驍龍作為手機(jī)運(yùn)算的核心,從未消失在大眾視野當(dāng)中。從機(jī)內(nèi)HDR到像素融合,從4K視頻到8K拍攝,從簡單的透視修正到復(fù)雜的畸變矯正,再到現(xiàn)在盛行的AI計(jì)算攝影,驍龍從未停止推動(dòng)手機(jī)攝影進(jìn)步的步伐。

隨著手機(jī)芯片ISP算力以及算法的提升,計(jì)算影像已然成為近幾年手機(jī)影像的新發(fā)展方向之一,例如手機(jī)上常見的夜景拍攝、延時(shí)曝光、星空模式等都是依靠算法來實(shí)現(xiàn)的。

自手機(jī)邁入計(jì)算攝影的那一步起,手機(jī)影像的發(fā)展早已不再是純粹的硬件加持,更重要的是來源于算法強(qiáng)大且精準(zhǔn)的計(jì)算能力。計(jì)算攝影能讓普通人拍出一張及格線以上的照片,而未來的手機(jī)影像,肯定是為了貼近用戶的日常而發(fā)展。讓普通大眾也能邁入攝影的門檻,這才是手機(jī)影像的初衷。

 

 

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
MICRF113YM6-TR 1 Microchip Technology Inc SPECIALTY CONSUMER CIRCUIT, PDSO6

ECAD模型

下載ECAD模型
$1.07 查看
STUSB4500QTR 1 STMicroelectronics Standalone USB PD controller for power sinking devices

ECAD模型

下載ECAD模型
$2.45 查看
SI4707-B20-GM 1 Silicon Laboratories Inc Audio Single Chip Receiver,

ECAD模型

下載ECAD模型
$9.02 查看
高通

高通

高通(英文名稱:Qualcomm,中文簡稱:高通公司、美國高通或美國高通公司)創(chuàng)立于1985年,總部設(shè)于美國加利福尼亞州圣迭戈市,高通的基礎(chǔ)科技賦能了整個(gè)移動(dòng)生態(tài)系統(tǒng),每一臺(tái)3G、4G和5G智能手機(jī)中都有其發(fā)明。高通公司是全球3G、4G技術(shù)研發(fā)的領(lǐng)先企業(yè),已經(jīng)向全球多家制造商提供技術(shù)使用授權(quán),涉及了世界上所有電信設(shè)備和消費(fèi)電子設(shè)備的品牌。在中國,高通開展業(yè)務(wù)已逾20年,與中國生態(tài)伙伴的合作已拓展至智能手機(jī)、集成電路、物聯(lián)網(wǎng)、大數(shù)據(jù)、軟件、汽車等眾多行業(yè)。

高通(英文名稱:Qualcomm,中文簡稱:高通公司、美國高通或美國高通公司)創(chuàng)立于1985年,總部設(shè)于美國加利福尼亞州圣迭戈市,高通的基礎(chǔ)科技賦能了整個(gè)移動(dòng)生態(tài)系統(tǒng),每一臺(tái)3G、4G和5G智能手機(jī)中都有其發(fā)明。高通公司是全球3G、4G技術(shù)研發(fā)的領(lǐng)先企業(yè),已經(jīng)向全球多家制造商提供技術(shù)使用授權(quán),涉及了世界上所有電信設(shè)備和消費(fèi)電子設(shè)備的品牌。在中國,高通開展業(yè)務(wù)已逾20年,與中國生態(tài)伙伴的合作已拓展至智能手機(jī)、集成電路、物聯(lián)網(wǎng)、大數(shù)據(jù)、軟件、汽車等眾多行業(yè)。收起

查看更多

相關(guān)推薦