芯耀
1630
抵達(dá)極限的視覺體驗是人們不變的追求，體驗越好，視覺產(chǎn)業(yè)越是剛需。
從石壁作畫開始，提升畫面感和信息傳遞效率就是人們不變的追求，在現(xiàn)代科技趨勢下，視覺產(chǎn)業(yè)更是在迅速地升級和擴(kuò)大中。近年來，一個非常典型的應(yīng)用就是手機(jī)游戲，沉浸式和高度視覺化的游戲體驗迅速風(fēng)靡，手機(jī)已經(jīng)成為全球最大的游戲平臺。
手機(jī)游戲的高速增長與普及，一方面歸功于手機(jī)已成為人們?nèi)粘Ｉ畹闹匾M成；另一方面也因為手機(jī)所提供的用戶體驗，足以讓玩家能隨時隨地盡興暢玩。
隨著顯示技術(shù)日趨逼近人眼可察覺的極限，隨著VR、更為沉浸的3D顯示、更高級的光場顯示技術(shù)走向多元應(yīng)用，移動視覺產(chǎn)業(yè)將迎來大變局。那么，從手機(jī)游戲開始的視覺顛覆，可以帶給我們哪些思考？背后有哪些關(guān)鍵技術(shù)需要關(guān)注？哪些應(yīng)用又將成為未來的主流？
手機(jī)游戲拿下半壁江山背后
根據(jù)Newzoo《2022年全球游戲市場報告》的最新更新，手機(jī)游戲在2022年首次突破1000億美元大關(guān)，占整個游戲市場的51%。這一組數(shù)字的意義不僅在于手機(jī)游戲本身的規(guī)模擴(kuò)張，更意味著，伴隨手機(jī)游戲市場規(guī)模的逐年擴(kuò)張，“分水嶺”已經(jīng)產(chǎn)生了。
對比PC與手機(jī)的游戲體驗，處理能力更強(qiáng)、視覺體驗更好的PC一度占據(jù)更大優(yōu)勢。不過，隨著手機(jī)自身硬件素質(zhì)的提升，這一局面發(fā)生了反轉(zhuǎn)，包括手機(jī)內(nèi)存容量、電池電量，特別是GPU的性能提升，使得手機(jī)游戲體驗產(chǎn)生了質(zhì)的變化。
從整個系統(tǒng)層面來看，對手機(jī)游戲體驗非常關(guān)鍵的硬件產(chǎn)品就是GPU了。移動GPU經(jīng)過多年的發(fā)展，早已不局限于把一款游戲達(dá)到流暢及格線的程度，而是致力于實現(xiàn)“更快更強(qiáng)更沉浸”的游戲場景，甚至支撐跨平臺的游戲體驗獲得持續(xù)發(fā)展。從目前高端移動GPU的應(yīng)用情況來看，將自今年年底開始逐漸在旗艦手機(jī)上量，移動視覺產(chǎn)業(yè)也將進(jìn)一步迎來顛覆。
移動GPU“卷”出新高度
本周，MediaTek推出了天璣9200旗艦5G移動芯片，在手機(jī)游戲方面的突破值得特別關(guān)注。
據(jù)了解，天璣9200搭載了Arm的新一代Immortalis-G715，11核架構(gòu)，性能較上一代提升32%，支持移動端的硬件光線追蹤和可變速率渲染技術(shù)，能夠釋放圖形性能提升游戲體驗。據(jù)了解，采用天璣9200旗艦5G移動芯片的智能手機(jī)預(yù)計將于2022年底上市。
Immortalis是Arm今年6月推出的一條全新的旗艦級GPU產(chǎn)品線，首個產(chǎn)品是Immortalis-G715。在Mali GPU出貨量已超過80億顆，并成為全球出貨量最高的GPU產(chǎn)品時，Arm推出一條全新GPU產(chǎn)品線的動力是什么？
根據(jù)Arm當(dāng)時所做的說明，新GPU設(shè)計考慮到了游戲的未來。新的復(fù)雜和沉浸式AAA移動游戲體驗將對移動設(shè)備提出越來越高的要求，Immortalis-G715旨在為未來的旗艦手機(jī)提供更好的視覺體驗。
與前一代 Arm GPU 相比，這款產(chǎn)品性能提升了15%，節(jié)能15%，并且實現(xiàn)了兩倍的機(jī)器學(xué)習(xí)性能提升，在處理機(jī)器學(xué)習(xí)工作負(fù)載（例如圖像處理和精度靈活性等）更有余力。
移動應(yīng)用包括游戲在內(nèi)的最新用例，對硬件與性能正在提出更多新需求；更復(fù)雜、更具沉浸感的AAA游戲體驗在手機(jī)上越來越常見，領(lǐng)先的AAA級PC和控制臺游戲都有了移動版本；此外，新一代用戶越來越多地選擇手機(jī)作為他們的游戲平臺。Arm在新GPU中添加的功能，反映了對終極移動游戲體驗的追求，也代表了當(dāng)前的技術(shù)趨勢。
移動光線追蹤
Immortalis-G715提供了基于硬件的光線追蹤，這也是當(dāng)前移動終端關(guān)注的重點之一?！肮饩€追蹤”技術(shù)并不陌生，它作為一種計算機(jī)圖形技術(shù)，通過建模單個光線在場景周圍的路徑來生成逼真的照明和陰影，可以使圖形真實感達(dá)到躍升式變化。通過模擬真實世界中光線的表現(xiàn)，創(chuàng)造出與現(xiàn)實生活幾乎無異的3D場景。
在“光線追蹤”技術(shù)問世之前，游戲中的畫面主要采用“光柵化”進(jìn)行渲染，可以實現(xiàn)一些局部照亮的光線效果，畫面細(xì)節(jié)則主要靠貼圖。在當(dāng)時，光線追蹤技術(shù)如果想要實現(xiàn)更真實的畫面，需要顯卡具備較高的圖形運算能力。
2018年，NVIDIA發(fā)布了十多年來在計算機(jī)圖形領(lǐng)域的重要創(chuàng)新——圖靈GPU架構(gòu)，首次將光線追蹤帶入桌面級市場，當(dāng)時剛體驗過的玩家就認(rèn)為，“未來的游戲必然需要光線追蹤，那種擬真的質(zhì)感將俘獲大多數(shù)玩家。”
如今，隨著手機(jī)游戲玩家越來越注重畫質(zhì)表現(xiàn)，除了傳統(tǒng)的提升分辨率，手機(jī)游戲也在逐漸“PC化”，光線追蹤自然也就成為手機(jī)游戲復(fù)刻甚至超越桌面游戲體驗的關(guān)鍵。
在一些跨平臺的AAA大作中，移動游戲在畫質(zhì)上給予了玩家更高的自由度。他們可以根據(jù)設(shè)備本身的性能水平，除了游戲的特效等級、分辨率、抗鋸齒等設(shè)置，還可以對陰影、反射、環(huán)境光等細(xì)節(jié)參數(shù)做出改動。在這些高端游戲中廣泛應(yīng)用的正是光線追蹤技術(shù)。如今，MediaTek搶先在天璣系列的旗艦平臺上支持了光線追蹤功能。
Arm方面介紹，光線追蹤代表了移動游戲內(nèi)容的范式轉(zhuǎn)變，之所以在Immortalis-G715上引入基于硬件的光線追蹤支持，是因為合作伙伴已經(jīng)準(zhǔn)備好了，硬件已經(jīng)準(zhǔn)備好，開發(fā)者生態(tài)系統(tǒng)也即將準(zhǔn)備好。
據(jù)Arm當(dāng)時透露，Immortalis-G715將在明年年初出現(xiàn)在旗艦智能手機(jī)中，這是生態(tài)系統(tǒng)開始探索游戲內(nèi)容光線追蹤技術(shù)的基礎(chǔ)，且這一技術(shù)未來幾年將繼續(xù)得到發(fā)展。不過，從目前MediaTek的市場動作來看，已經(jīng)搶先推出了首款基于Immortalis-G715的移動端芯片，且內(nèi)置這一芯片的智能手機(jī)預(yù)計將于今年底上市，進(jìn)一步加速了移動端硬件光線追蹤技術(shù)的商用化進(jìn)程。
Imagination方面也曾表示，光線追蹤是改變游戲規(guī)則的3D圖形技術(shù)。多年前由于整個生態(tài)還未準(zhǔn)備好，也缺乏相對完善的API標(biāo)準(zhǔn)，因此這項技術(shù)在移動端的應(yīng)用一直沒有得到推進(jìn)。從2018年桌面級GPU公司推出PC光線追蹤開始，整個業(yè)界開始有了生態(tài)投入，并且在2020年Khronos圖形標(biāo)準(zhǔn)化組織推出了Vulkan API的光線追蹤Extension，現(xiàn)在推出具有光線追蹤功能芯片的時機(jī)已經(jīng)到來。
如上文所提到，除了IP廠商的推進(jìn)，全球?qū)τ诠饩€追蹤的標(biāo)準(zhǔn)也在不斷完善。特別是今年1月，Vulkan 1.3標(biāo)準(zhǔn)正式發(fā)布，已經(jīng)支持了Vulkan Raytracing API，這便于開發(fā)者通過 Vulkan標(biāo)準(zhǔn)的API，對光線追蹤支持加以利用。這也標(biāo)志著——移動GPU光追技術(shù)將繼續(xù)加速普及，并覆蓋更廣泛的內(nèi)容類型。
渲染優(yōu)化、執(zhí)行引擎優(yōu)化
除了光線追蹤這一核心亮點，移動GPU在優(yōu)化渲染效率、執(zhí)行引擎、PPA等方面也有了不小的改進(jìn)。
Arm最新的GPU中新增了可變比率著色功能，在圖形和視覺效果方面，通過優(yōu)化渲染提供了顯著的節(jié)能和性能提升。本質(zhì)上，它獲取一個場景，比如在游戲動作發(fā)生的地方，會以精細(xì)的像素粒度將渲染集中在需要它的部分；而需要較少關(guān)注的區(qū)域，比如背景風(fēng)景，則以更粗的像素粒度進(jìn)行渲染。這樣就使得游戲場景在保持視覺質(zhì)感的同時，能夠節(jié)約系統(tǒng)功耗。其次還有執(zhí)行引擎的創(chuàng)新等，也是以提高計算能力和能效的關(guān)鍵。
Imagination的分塊延遲渲染（TBDR）技術(shù)，總體的思路也是提高像素渲染的效率。通過分塊，可以把一個個小塊上的圖形數(shù)據(jù)挪到GPU的Cache上，只做一次性的搬移，從而節(jié)省帶寬。此外，分塊技術(shù)能對負(fù)載在GPU上進(jìn)行高效分布，更加善于利用系統(tǒng)內(nèi)存，通過只渲染可見像素，放棄被覆蓋或遮擋像素來大幅提高整體效率。此外還有硬件壓縮技術(shù)，通過對像素不同等級的壓縮，在保證圖像質(zhì)感的同時，達(dá)到節(jié)約帶寬的目的。
始于游戲，但不止于游戲
高端游戲技術(shù)由桌面向手機(jī)遷移的必然趨勢下，視覺體驗的顛覆式躍進(jìn)在加速。追求極致體驗的手機(jī)游戲，真正駛向的藍(lán)海難以估量?；蛘哒f，游戲帶來的技術(shù)沉淀與革新將在更廣泛深遠(yuǎn)的范圍內(nèi)被應(yīng)用，一切始于游戲而不止于游戲。
首先，硬件設(shè)備方面，大體量高度沉浸的手機(jī)游戲推動了高效硬件設(shè)備和通信網(wǎng)絡(luò)的落地;軟件技術(shù)方面，游戲引擎技術(shù)帶來的云能力，也提升了云計算、云原生引擎的落地動力，這都為視覺應(yīng)用的普及和升級打下了基礎(chǔ)。
其次，游戲引擎優(yōu)化帶來的沉浸感技術(shù)，將持續(xù)向各行業(yè)滲透，并帶來交互體驗的提升。在此基礎(chǔ)上進(jìn)行的數(shù)字重建、數(shù)字孿生，也可以讓虛擬世界更加真實，為AR/VR、虛擬購物、自動駕駛汽車及先進(jìn)駕駛輔助系統(tǒng)等領(lǐng)域帶來大規(guī)模落地的希望。
第三，移動游戲也正在助推實時3D技術(shù)的發(fā)展，這是一個價值1035億美元的龐大產(chǎn)業(yè)，其規(guī)模已超過了游戲機(jī)和電腦游戲市場的總和。移動設(shè)備的基礎(chǔ)計算和圖形處理能力正在提高，這意味著游戲?qū)⑼ㄟ^實時3D變得更加真實，令人感到身臨其境。
不僅如此，實時3D也在助力移動應(yīng)用創(chuàng)造出更多可能。比如3D導(dǎo)航、3D建模、實時3D虛擬體驗等，走向更逼真、更具沉浸感的視覺應(yīng)用。
第四，目前業(yè)內(nèi)很多人看好游戲作為元宇宙的切入點，從構(gòu)建元宇宙的環(huán)境來看，很多都是由影視素材和游戲素材搭建起來的；并且用戶在手機(jī)游戲中的虛擬身份，也便于他們暢游元宇宙；以上所有這些基于游戲而創(chuàng)新的視覺技術(shù)、設(shè)備，都有望在元宇宙煥發(fā)新生。
還有哪些挑戰(zhàn)？
對于有志于在未來視覺產(chǎn)業(yè)中大干一番的廠商來說，技術(shù)實力是一項硬性指標(biāo)，此外，還需要與相關(guān)技術(shù)的有機(jī)結(jié)合，以及產(chǎn)業(yè)生態(tài)之間的合縱連橫。
舉個例子，如果要將游戲應(yīng)用從智能手機(jī)轉(zhuǎn)移到 AR、VR等其他領(lǐng)域，首先需要游戲開發(fā)者和創(chuàng)作者將他們的經(jīng)驗應(yīng)用其中，這必然需要強(qiáng)大的產(chǎn)業(yè)對話能力和生態(tài)構(gòu)建能力，特別是生態(tài)，將會是移動視覺產(chǎn)業(yè)進(jìn)一步升級的必經(jīng)之路。
Arm方面就表示，接下來的GPU新品（代號：Titan和Krake）將持續(xù)提升性能，在系統(tǒng)層面優(yōu)化用例性能，賦能各類消費級設(shè)備實現(xiàn)高質(zhì)量的視覺體驗。為了實現(xiàn)這一點，他們正在和頂級游戲發(fā)行商、游戲開發(fā)工作室合作，通過軟件、工具等，最大限度地提高游戲應(yīng)用程序的性能。例如，動視暴雪 (Activision Blizzard)、拳頭游戲 (Riot Games)、King 和 Wargaming 等；同時與Unity開展戰(zhàn)略合作，將Arm技術(shù)預(yù)集成到Unity工具鏈中，使Unity開發(fā)者能夠在其原生開發(fā)環(huán)境中獲取Arm技術(shù)的性能，為創(chuàng)作者提供更好的體驗。
芯片廠商也在積極推進(jìn)生態(tài)布局。面向開發(fā)者和硬件廠商，MediaTek與評測工具廠商展開合作。并且，MediaTek基于移動端游戲等應(yīng)用的發(fā)展特征，提出了移動GPU增效方案，實現(xiàn)保持系統(tǒng)資源平衡的基礎(chǔ)上，滿足高復(fù)雜度內(nèi)容的計算需求。此外，MediaTek與騰訊《暗區(qū)突圍》游戲制作團(tuán)隊合作，開發(fā)移動端光線追蹤技術(shù)在游戲上的應(yīng)用，包括游戲引擎優(yōu)化、管線優(yōu)化、光追內(nèi)容特效的呈現(xiàn)等。
對于游戲開發(fā)者來說，他們也在思考如何突破移動平臺視覺效果界限，讓用戶體驗再度升級？當(dāng)前，照明是業(yè)內(nèi)備受關(guān)注的一個主題，即：如何在有限的熱預(yù)算限制下，實現(xiàn)與日益增長的場景復(fù)雜性相匹配的間接照明。
被譽(yù)為“皇冠上的珍珠”的全局照明 (Global Illumination, GI) 就是對逼真照明這一游戲中最重要視覺組件的終極模擬。據(jù)了解，騰訊游戲已經(jīng)和Arm圍繞實時照明進(jìn)行了深度合作，包括基于Arm Immortalis-G715 ?GPU硬件加速的極致光追性能，到高度優(yōu)化的預(yù)計算軟件實現(xiàn)，通過匯聚多種方案的優(yōu)勢讓全局照明進(jìn)一步得到提升。
寫在最后
綜合來看移動GPU近年來的創(chuàng)新，是架構(gòu)、算法、工具、生態(tài)等齊頭并進(jìn)發(fā)展的結(jié)果。這其中包括了架構(gòu)的可擴(kuò)展性、靈活性、效能、效率、可編程性，以及和行業(yè)標(biāo)準(zhǔn)API的協(xié)同發(fā)展，從而能夠針對更為多樣化的場景和終端進(jìn)行開發(fā)部署。
事實上，在移動GPU現(xiàn)有的應(yīng)用場景中，絕不止于手機(jī)游戲。例如手機(jī)的美顏軟件、短視頻特效、相機(jī)中AR的應(yīng)用或影像算法，其實都需要用到GPU的算力。只不過在游戲這個品類中，我們看到了發(fā)揮GPU巔峰算力時的應(yīng)用狀態(tài)，以及未來的更多可能性。
手機(jī)游戲最終駛向哪里？一切正處在變革時刻，性能、效率或?qū)⑹且曈X體驗應(yīng)用到各處的關(guān)鍵，同時，強(qiáng)大的生態(tài)也有助于更多視覺應(yīng)用快速落地。平衡好硬幣的兩面，實現(xiàn)性能、功耗、品質(zhì)、開發(fā)成本的完美平衡，移動視覺產(chǎn)業(yè)將駛向更廣闊的藍(lán)海。
下載ECAD模型
