我的研電賽記憶——蘇州大學(xué)“Gmirror”隊(duì)

參賽單位：蘇州大學(xué)
參賽隊(duì)伍：Gmirror
參賽作品:基于EAIDK-310的智能鏡系統(tǒng)
作者姓名：文晨銳
獲獎(jiǎng)等級(jí)：第十五屆中國研究生電子設(shè)計(jì)競賽Arm中國企業(yè)命題二等獎(jiǎng)

我的研電賽記憶

初識(shí)比賽時(shí)，一直對(duì)研電賽“激勵(lì)創(chuàng)新、鼓勵(lì)創(chuàng)業(yè)、提高素質(zhì)、強(qiáng)化實(shí)踐”的十六字宗旨印象深刻。研究生期間不像本科期間，各類電子競賽層出不窮，研究生的圈子范圍往往不大于實(shí)驗(yàn)室范圍，然而實(shí)驗(yàn)室內(nèi)研究方向大抵相似。因此，研電賽給予的一個(gè)與不同專業(yè)相互協(xié)作的機(jī)會(huì)，是我們研究生生涯中的一大福音。

我們的作品設(shè)定是專為女性量身打造了一款非接觸式的智能美妝鏡——Gmirror(Girl Mirror)。本文設(shè)計(jì)的智能鏡子以EAIDK 310為控制核心，核心功能為膚質(zhì)、膚色、臉型檢測，妝容選擇和對(duì)比分析，為女生提供了一套全面的出門方案。同時(shí)還帶有一些輔助功能，例如，時(shí)間、天氣顯示，重大新聞提示、音樂播放等，能夠帶給用戶更加舒適便利的體驗(yàn)。所做研究工作與研究結(jié)論如下：
分析智能鏡子的研究背景，結(jié)合目前的市場需求，研究智能鏡子的實(shí)現(xiàn)方式和所配備功能。熟悉并掌握人臉識(shí)別、圖像處理等算法原理。學(xué)習(xí)前端開發(fā)，實(shí)現(xiàn)交互式界面。

完成硬件選擇和整體電路設(shè)計(jì)，進(jìn)行實(shí)現(xiàn)功能所需的軟件開發(fā)，共分為交互式界面的系統(tǒng)設(shè)計(jì)和硬件模塊的功能實(shí)現(xiàn)兩方面。前者利用JavaScript語言開發(fā)智能鏡的顯示界面，同時(shí)融入了手勢識(shí)別，人臉屬性檢測以及語音同步等多個(gè)交互式功能，后者通過人體紅外感應(yīng)模塊感應(yīng)人體的靠近，并通過攝像頭采集圖像，電源開關(guān)進(jìn)行通電等之，實(shí)現(xiàn)對(duì)智能鏡功能的完善以及整個(gè)系統(tǒng)穩(wěn)定有效運(yùn)行。

對(duì)智能鏡的各功能模塊進(jìn)行測試，查看其實(shí)際使用情況。結(jié)果表明，智能鏡能夠進(jìn)行一系列的檢測，為用戶提供智能化的服務(wù)，實(shí)現(xiàn)了預(yù)期的目標(biāo)。

拂曉

選題初始，結(jié)合團(tuán)體人員專業(yè)和實(shí)驗(yàn)室研究內(nèi)容，選取了Arm的非接觸智能控制設(shè)備的選題。于是，導(dǎo)師和我們便開始了漫長的幻想道路，我們登錄各大商品網(wǎng)站開始搜羅新奇事物，直到我們發(fā)掘到了一款智能試穿鏡子。就智能魔鏡這個(gè)項(xiàng)目來說，它能夠?qū)崿F(xiàn)我們自身專業(yè)的優(yōu)勢，又能夠滿足女生對(duì)于一款優(yōu)越的化妝鏡的幻想，最后還能夠滿足Arm對(duì)于非接觸智能控制設(shè)備的設(shè)定。

曙光

確定項(xiàng)目要做的內(nèi)容后，黎明的曙光方才展現(xiàn)。從設(shè)計(jì)魔鏡的功能到設(shè)計(jì)進(jìn)程中的不斷改善，歷經(jīng)波折。需要考慮不同場景下的使用，以及實(shí)現(xiàn)的實(shí)時(shí)性與實(shí)際生活能否匹配，最后還需考慮的便是不同任務(wù)的時(shí)間分配問題。由于旨在做出一款美妝推薦型魔鏡，一開始，女生們的討論便如火如荼地展開了，有的想要一覽無余鏡中人的毛孔，有的想要清晰明確地指出鏡中人的膚色，還有想要魔鏡能夠提供美妝的手法以及美妝的內(nèi)容，以供學(xué)習(xí)實(shí)踐。在進(jìn)行物件的選型時(shí)，充分考慮了想要實(shí)現(xiàn)的功能所要的硬件設(shè)施，由于Arm公司直接提供邊緣智能板子，便省去了部署硬件的選擇。

整個(gè)項(xiàng)目的進(jìn)行主要是圍繞功能展開，為實(shí)現(xiàn)不同的功能，除了思考算法上的實(shí)現(xiàn)外，最后算法的部署，以及實(shí)時(shí)地測試，占據(jù)了我們絕大部分時(shí)間。有對(duì)實(shí)現(xiàn)的內(nèi)容滿意的地方，也有不滿的地方。早期對(duì)于linux系統(tǒng)不太熟悉，甚至對(duì)于這種推理板子也不太熟悉，前期花費(fèi)了較多的時(shí)間去摸索，正是這種不斷摸索的精神，使人愈戰(zhàn)愈勇。最終能夠熟練使用板子以及在板子上開發(fā)前端與后端算法的鏈接，是我們最滿意的地方。對(duì)我們自己不滿的地方在于訓(xùn)練的模型導(dǎo)出時(shí)，無法順利轉(zhuǎn)出onnx，最終使用傳統(tǒng)的圖像處理算法進(jìn)行的一些功能實(shí)現(xiàn)，這是最挫敗的地方。傳統(tǒng)的算法能夠快速給予反饋，但是準(zhǔn)確率并不能滿足于我們對(duì)于魔鏡的幻想。但是挑戰(zhàn)的出現(xiàn)永遠(yuǎn)帶來更好的實(shí)現(xiàn)，既然準(zhǔn)確率不高，那就自己提高，無論是從硬件上，還是算法上。在處理挑戰(zhàn)的階段，所有的人都處于一種特別“燃”的狀態(tài)下，即使最終到不了頂峰，但那時(shí)的我們永遠(yuǎn)是最好的狀態(tài)。

破曉

黑夜逐漸下沉，東方的日光沖破了黑夜的身影。我們對(duì)著鏡子貢獻(xiàn)著自己的面龐，自己的皮膚，自己的手掌用來調(diào)試實(shí)物最后的顯示階段。里面有隱藏的手勢交互，還有天氣預(yù)報(bào)，科技新聞，日歷等插件，通過人體感應(yīng)模塊，感應(yīng)到人的靠近，隨后便開始進(jìn)行膚質(zhì)膚色、臉型的檢測，將根據(jù)匹配到的臉型提供一定的妝容建議，界面會(huì)停留足夠的化妝時(shí)間，并通過手勢交互實(shí)現(xiàn)對(duì)妝容的對(duì)比度分析。

系統(tǒng)測試流程圖

后記

這個(gè)手勢識(shí)別來之不易，前期由于HSV空間調(diào)參，實(shí)現(xiàn)膚色分割，再通過凸包點(diǎn)實(shí)現(xiàn)的手勢識(shí)別。但是不同的人膚色略微有效差距，調(diào)參就很費(fèi)時(shí)費(fèi)力。好在經(jīng)典手勢可以最終實(shí)現(xiàn)交互！

智能鏡子的信息顯示模塊主要由顯示屏、原子鏡組成，信息顯示是智能鏡與用戶交互的基礎(chǔ)模塊，可以顯示包括天氣、新聞、時(shí)間等由互聯(lián)網(wǎng)獲得的信息。信息顯示模塊主要依托顯示技術(shù)，在智能鏡上顯示用戶想要獲取的信息。最重要的是，鏡子本身的成像特性不會(huì)受到影響，因此要對(duì)顯示的信息提前進(jìn)行篩選、排版，僅應(yīng)使用鏡子的外角顯示信息，以此在中部留出足夠的空間作為普通鏡子使用。下圖是設(shè)計(jì)并實(shí)現(xiàn)的顯示界面。

下圖是小師妹友情貢獻(xiàn)的面龐來測試81個(gè)關(guān)鍵點(diǎn)，由于目前對(duì)于臉型的定義，僅僅是定性的定義，通過查閱資料，從定性的定義中結(jié)合81個(gè)關(guān)鍵點(diǎn)，設(shè)計(jì)出一套定量使用的臉型測試模板。

下圖為找到人臉的81個(gè)面部關(guān)鍵點(diǎn)，通過不同關(guān)鍵點(diǎn)的連線分割臉部化妝區(qū)域。常見的臉部化妝區(qū)域有眉眼、臉頰、嘴唇三大區(qū)域，分割這三個(gè)區(qū)域，將不同妝容的三個(gè)區(qū)域兩兩對(duì)比，對(duì)比計(jì)算同樣區(qū)域下的不同色彩點(diǎn)的數(shù)量，通過直接調(diào)用直方圖函數(shù)實(shí)現(xiàn)，再將其標(biāo)準(zhǔn)化后進(jìn)行對(duì)比。

下圖是疫情期間，合照不易，斗膽從以往合照中截出老師頭像用來拼接團(tuán)體合照。