芯耀
225
肇觀電子馮歆鵬親述Feynman深度相機(jī)背后的研發(fā)故事。
芯東西12月10報(bào)道，近日，國(guó)產(chǎn)視覺(jué)AI芯片公司肇觀電子推出了基于NE-D163A芯片的深度3D AI相機(jī)Feynman。NE-D163A芯片是肇觀電子在今年1月份推出的第二款D系列3D視覺(jué)芯片，具有高精度3D深度計(jì)算能力、支持200余種通用數(shù)學(xué)計(jì)算和較高的AI計(jì)算能力。
在這款芯片加持下，F(xiàn)eynman系列智能深度相機(jī)采用主動(dòng)雙目視覺(jué)技術(shù)，在室內(nèi)外各種場(chǎng)景均能生成高幀率和高精度的深度圖，同時(shí)支持端側(cè)AI算法的部署，能夠幫助機(jī)器人、安防、AR/VR等行業(yè)的廠商實(shí)現(xiàn)精確定位、避障和分析等需求。芯東西采訪到了肇觀電子創(chuàng)始人兼CEO馮歆鵬，就Feynman相機(jī)研發(fā)背后的故事，以及肇觀電子對(duì)于智能深度相機(jī)賽道看法進(jìn)行了深入地探討。
▲肇觀電子創(chuàng)始人兼CEO馮歆鵬
01.多部門(mén)協(xié)同，自主研發(fā)相機(jī)助力客戶AI落地
Feynman系列相機(jī)的誕生還要從NE-D163A芯片說(shuō)起。該芯片具備高AI算力和高精度3D深度計(jì)算能力，支持200余種通用數(shù)學(xué)計(jì)算。簡(jiǎn)單來(lái)說(shuō)，NE-D163A芯片在機(jī)器人上，可以消除傳統(tǒng)近距離盲區(qū)，提供周邊障礙的位置和距離；在近距離的人臉識(shí)別中，假如被測(cè)人員張嘴，NE-D163A可以精確識(shí)別嘴內(nèi)外的深度不同。
▲肇觀電子NE-D163A視覺(jué)AI芯片
芯片很好，也滿足了機(jī)器人、AR/VR、安防、工業(yè)等不同行業(yè)的痛點(diǎn)。但是在AI視覺(jué)這一新的賽道，相應(yīng)的模組廠商和系統(tǒng)廠商都不成熟，找上門(mén)的終端客戶需求也不盡相同。馮歆鵬稱：“市場(chǎng)的反饋是，有的客戶是有能力自己研發(fā)基于芯片的產(chǎn)品，有些客戶希望能拿到一個(gè)半成品（不光是提供芯片），有些客戶就希望拿到一個(gè)相機(jī)，然后進(jìn)一步推動(dòng)他們產(chǎn)品的研發(fā)。”
最終，為幫助終端客戶實(shí)現(xiàn)快速AI落地，肇觀電子決定自己做一款3D視覺(jué)+AI的智能深度相機(jī)。這個(gè)決定并不簡(jiǎn)單，一款合格的智能深度相機(jī)除了芯片，還需要面對(duì)傳感器光路設(shè)計(jì)、軟硬件結(jié)合、平衡系統(tǒng)功耗等不同的挑戰(zhàn)。可以說(shuō)做一款智能深度相機(jī)，肇觀電子要打通一整條產(chǎn)業(yè)鏈，而上一個(gè)這么做的是家大業(yè)大的英特爾。就算是英特爾，最近也為了專(zhuān)注芯片制造等核心業(yè)務(wù)，正在縮減RealSense深度相機(jī)業(yè)務(wù)規(guī)模，甚至?xí)P(guān)停其部門(mén)。
▲英特爾RealSense D435（左）與Feynman M1（右）
在產(chǎn)品之外，肇觀電子的客戶涉及各個(gè)不同的行業(yè)，僅機(jī)器人就既有用于內(nèi)蒙古強(qiáng)烈光照環(huán)境下的智能采集機(jī)器人，也有用于冷庫(kù)中的物流機(jī)器人，對(duì)環(huán)境要求可謂是天差地別。如何挖掘客戶需求進(jìn)行精準(zhǔn)地描述，最后加以解決是一個(gè)關(guān)鍵的挑戰(zhàn)。馮歆鵬透露，為了解決種種挑戰(zhàn)，肇觀電子動(dòng)員了很多部門(mén)進(jìn)行研發(fā)，最終在NE-D163A芯片的基礎(chǔ)上自主完成了算法、光路、硬件、軟件、結(jié)構(gòu)、認(rèn)證等各方面的設(shè)計(jì)研發(fā)。
02.自帶高算力AI芯片低成本、功耗產(chǎn)生高清深度圖
作為芯片公司的肇觀電子，最大化地發(fā)揮出了NE-D163A芯片的性能優(yōu)勢(shì)。NE-D163A芯片作為主控芯片，內(nèi)嵌幾何和深度引擎DEP、AI加速引擎NPU和視覺(jué)加速引擎DSP。在芯片的加持下，F(xiàn)eynman相機(jī)自帶1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU運(yùn)算性能，是業(yè)界唯一一款內(nèi)嵌AI和DSP擴(kuò)展算力的深度相機(jī)。這對(duì)Feynman的部署起到了關(guān)鍵作用。
▲不同芯片跑經(jīng)典網(wǎng)絡(luò)模型每秒處理的圖片幀數(shù)對(duì)比
此前，終端客戶如果采用英特爾的RealSense相機(jī)，往往需要搭配i7系列的處理器。這種方案對(duì)最后終端產(chǎn)品的成本、功耗都不友好，還需要占用處理器帶寬，造成延遲等問(wèn)題。相比之下，內(nèi)嵌高算力芯片的Feynman應(yīng)用更加簡(jiǎn)單，可以直接在端側(cè)處理視覺(jué)數(shù)據(jù)，無(wú)需外掛其他處理器，就可以產(chǎn)生性能高達(dá)720P 30FPS的深度圖。因此Feynman相機(jī)既不需要向后傳輸數(shù)據(jù)，也降低了終端產(chǎn)品的中控算力要求，對(duì)客戶來(lái)說(shuō)部署成本和使用成本都更低。Feynman相機(jī)整體的功耗水平在2W-3.8W之間，根據(jù)所運(yùn)行的AI模型大小不同有所浮動(dòng)。同時(shí)，在最重要的圖像探測(cè)上，F(xiàn)eynman相機(jī)搭載了散斑結(jié)構(gòu)光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測(cè)量單元（IMU）等傳感器，能夠提供多維度的信息。
▲Feynman M1結(jié)構(gòu)圖
這些傳感器并不是Feynman的探測(cè)極限。馮歆鵬強(qiáng)調(diào)，NE-D163A芯片支持當(dāng)前雙目立體視覺(jué)、結(jié)構(gòu)光、ToF（飛行時(shí)間傳感器）、激光雷達(dá)等各類(lèi)傳感器，F(xiàn)eynman傳感器配置是在功能、性能、成本和功耗四個(gè)維度考量后決定的。
當(dāng)前Feynman相機(jī)的傳感器可以最大化的滿足客戶需求，實(shí)現(xiàn)如在障礙物到相機(jī)僅有10cm的距離下仍能準(zhǔn)確分辨等功能。如果客戶需要使用其他類(lèi)型的傳感器，F(xiàn)eynman相機(jī)也能夠滿足需求。實(shí)測(cè)數(shù)據(jù)顯示，F(xiàn)eynman的空洞率僅為0.2%，而同一環(huán)境下英特爾的RealSense空洞率在1%左右，這意味著Feynman相機(jī)采集到空間位置的有效信息更多。同時(shí)，F(xiàn)eynman的深度圖具有90°對(duì)角的廣角視場(chǎng)，比常規(guī)深度相機(jī)的視野更廣。
▲Feynman M1深度圖效果
最重要的一點(diǎn)則是，肇觀電子對(duì)Feynman相機(jī)的研發(fā)目標(biāo)就是適應(yīng)所有他們見(jiàn)過(guò)的場(chǎng)景，這里面就包括前文提到的內(nèi)蒙古10萬(wàn)流明光照環(huán)境、冷庫(kù)中低溫環(huán)境和黑暗環(huán)境等。為此，肇觀電子在Feynman相機(jī)內(nèi)部的光路設(shè)計(jì)上花費(fèi)了不少心思，使其能夠精確地控制補(bǔ)光和傳感器曝光。結(jié)合NE-D163A芯片的自學(xué)習(xí)ISP流水線架構(gòu)，F(xiàn)eynman相機(jī)在各種復(fù)雜光照環(huán)境下均能獲得優(yōu)質(zhì)的圖像。
▲不同光照環(huán)境下的圖像處理對(duì)比圖
03.提供高效軟件工具鏈可部署差異化算法
對(duì)于智能深度相機(jī)這一賽道，馮歆鵬表示看好。從技術(shù)發(fā)展來(lái)看，工廠的高度自動(dòng)化、萬(wàn)物智聯(lián)的發(fā)展趨勢(shì)是必然的。在這樣的大趨勢(shì)下，智能設(shè)備需要具備視覺(jué)能力，甚至要讓智能設(shè)備自己看懂世界。這一宏偉藍(lán)圖的關(guān)鍵，就是視覺(jué)系統(tǒng)，也就是智能深度相機(jī)。假設(shè)全球人口繼續(xù)增長(zhǎng)，每個(gè)人周邊的智能設(shè)備也會(huì)越來(lái)越多，而這些智能設(shè)備都需要具備視覺(jué)能力，所以肇觀電子對(duì)這一賽道的市場(chǎng)前景十分看好。現(xiàn)實(shí)來(lái)講，肇觀電子已經(jīng)看到數(shù)十家Feynman相機(jī)的潛在客戶。為了讓Feynman相機(jī)應(yīng)用于各個(gè)客戶，肇觀電子提供了Windows、Android、Linux的驅(qū)動(dòng)SDK，客戶通過(guò)中控直接加載就可實(shí)現(xiàn)通信，完成對(duì)Feynman相機(jī)的部署。
▲Feynman相機(jī)對(duì)各平臺(tái)SDK的支持
對(duì)于需要利用端側(cè)AI和DSP算力的產(chǎn)品和深度定制的客戶，肇觀電子則有一套InferStudio™工具鏈?？蛻艨梢酝ㄟ^(guò)InferStudio™將自己的神經(jīng)網(wǎng)絡(luò)翻譯成一個(gè)鏡像文件，以提供給Feynman相機(jī)使用。在整個(gè)采訪中，馮歆鵬談到了很多次Feynman相機(jī)在研發(fā)和落地過(guò)程中的挑戰(zhàn)和困難，有一部分原因是AI芯片產(chǎn)業(yè)鏈并不完善。
作為芯片公司的肇觀電子在Feynman相機(jī)的研發(fā)過(guò)程中，同時(shí)扮演了模組廠商、系統(tǒng)廠商的角色。相比賣(mài)芯片，基于NE-D163A芯片研制Feynman當(dāng)然挑戰(zhàn)的環(huán)節(jié)更多，但在馮歆鵬看來(lái)，這是肇觀電子參與產(chǎn)業(yè)鏈塑形的一個(gè)過(guò)程，能夠幫助更多地客戶找到AI落地的正確路徑和方法，有著更為實(shí)際的意義。
04.結(jié)語(yǔ)：肇觀電子參與產(chǎn)業(yè)鏈構(gòu)建解答AI落地挑戰(zhàn)
AI將改變各行各業(yè)已成為產(chǎn)業(yè)共識(shí)，但由于產(chǎn)業(yè)鏈不成熟使得AI落地需要花很大力氣；如何破解AI落地難的問(wèn)題一直在困擾整個(gè)人工智能行業(yè)。對(duì)于很多AI芯片玩家的創(chuàng)始人，一方面他們有著深厚的芯片從業(yè)經(jīng)歷，另一方面卻要面對(duì)產(chǎn)業(yè)鏈并不完整的新問(wèn)題。肇觀電子作為AI芯片賽道的參與者，親身參與了產(chǎn)業(yè)鏈的構(gòu)建，F(xiàn)eynman相機(jī)也是他們對(duì)于行業(yè)挑戰(zhàn)所提交的一份答卷，結(jié)果如何值得行業(yè)期待。
作者 | 高歌
編輯 | 漠影
