在計(jì)算機(jī)視覺領(lǐng)域，人臉識(shí)別一直以來都是學(xué)術(shù)界和工業(yè)界的雙重寵兒。學(xué)術(shù)上的熱門和工業(yè)市場(chǎng)的迫切需求，使得圍繞該方向的核心技術(shù)自深度學(xué)習(xí)爆發(fā)以來，得到了更為迅猛的發(fā)展。

　　得益于深度學(xué)習(xí)，當(dāng)前計(jì)算機(jī)對(duì)人臉屬性的分析判斷在某些(姿態(tài)、光照)限制條件下已經(jīng)媲美甚至超越人類，但是如何在非限制條件下，使計(jì)算機(jī)獲取和人類一樣，從姿態(tài)萬千的人臉圖像中依然能夠進(jìn)行識(shí)別的能力，是一項(xiàng)非常具有挑戰(zhàn)性的工作。

　　今天，地平線《大牛講堂》邀請(qǐng)到美國密歇根州立大學(xué)劉小明教授，他將結(jié)合自己近年來有關(guān)人臉識(shí)別的研究成果和發(fā)表在多篇世界頂級(jí)期刊(CVPR,TPAMI等)的論文，為大家?guī)矸窒?mdash;—2D/3D shape estimation and recognition for large-pose faces。

　　神奇idea:大姿態(tài)下人臉圖像矯正算法

　　人臉矯正是人臉屬性分析中至關(guān)重要的一步，能夠直接影響整體性能的好壞。在深度學(xué)習(xí)之前就有許多優(yōu)秀的方法被提出，例如知名度較高的ASM和AAM，這些方法能夠在人臉變化不大的條件下取得比較好的效果，但是對(duì)于一些發(fā)生遮擋或者姿態(tài)角度偏大的情況就差強(qiáng)人意了;在深度學(xué)習(xí)出來之后，一些基于深度學(xué)習(xí)的方法雖然能夠解決上述部分問題，但是對(duì)姿態(tài)角度偏大的情況仍然無能為力。

　　針對(duì)上述問題，劉小明教授在2016年CVPR的一篇論文中有提出一個(gè)神奇的idea，利用3D人臉可變模型來解決2D圖像中姿態(tài)角度偏大問題，該方法神奇之處在于能夠使3D人臉模型“學(xué)習(xí)”2D圖像中人臉在拍照時(shí)候的姿勢(shì)狀態(tài)，如下圖左邊的第一步，給神經(jīng)網(wǎng)絡(luò)輸入通用正面人臉模板模型和2D圖像，神經(jīng)網(wǎng)絡(luò)識(shí)別獲取圖像中人臉的姿態(tài)角度參數(shù)矩陣，利用這些參數(shù)就可以使模型“做出”和圖像中人臉同樣的臉部朝向。

　　反過來，對(duì)改變姿態(tài)之后的3D模型，我們給它“拍個(gè)照”，變成2D圖像，那么3D模型上的關(guān)鍵點(diǎn)通過“拍照”，就映射到2D圖像上來了，得到一個(gè)初步的粗定位;此時(shí)，再根據(jù)關(guān)鍵點(diǎn)坐標(biāo)，把原始圖像切片，輸入到另外的網(wǎng)絡(luò)來調(diào)整3D模型的形狀參數(shù)，使得模型更加精確的擬合2D圖像，這樣多次迭代之后，關(guān)鍵點(diǎn)便被精確定位出來;該方法開創(chuàng)性地利用3D人臉可變模型來學(xué)習(xí)2D圖像，并且通過級(jí)聯(lián)CNN神經(jīng)網(wǎng)絡(luò)回歸來提高精確度，使得即使大姿態(tài)下，被遮擋的關(guān)鍵點(diǎn)也能被很好的定位出來。

　　論文參考:Large-pose FaceAlignment via CNN-based Dense 3D Model Fitting

　　一個(gè)經(jīng)典的問題：3維人臉重構(gòu)

　　3維人臉重構(gòu)在3D動(dòng)畫、犯罪偵查以及身份識(shí)別等領(lǐng)域有著廣闊的應(yīng)用前景，當(dāng)使用在不固定場(chǎng)景下獲取的人臉圖像來重構(gòu)人臉時(shí)，由于光照表情的變化，使得任務(wù)變的非常困難，劉小明教授結(jié)合近幾年的研究提出了基于關(guān)鍵點(diǎn)和光照變換的人臉3維重構(gòu)技術(shù)。

　　該方法首先通過人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)，將2D圖像中人臉經(jīng)神經(jīng)網(wǎng)絡(luò)映射，使通用人面模型擬合2D圖像，然后利用Lambertian反射模型統(tǒng)一光照，最后通過3D模型的法向量反復(fù)迭代來重構(gòu)模型表面。

　　更接近真實(shí)場(chǎng)景：多角度人臉識(shí)別技術(shù)

　　隨著深度學(xué)習(xí)的發(fā)展，很多深度學(xué)習(xí)算法在正面臉情況下，對(duì)人臉識(shí)別的能力已經(jīng)超越了人類，但是實(shí)際場(chǎng)景中，很多時(shí)候都是非正面的;基于此，劉小明教授給我們分享了他在人臉識(shí)別方面的最新成果——多角度人臉識(shí)別技術(shù)。

　　(卡通圖像非實(shí)際效果，僅供參考示意)

　　該技術(shù)包含兩個(gè)核心部分，表示學(xué)習(xí)和圖像生成。表示學(xué)習(xí)是指在某一個(gè)場(chǎng)景下獲取的多張不同姿態(tài)的圖像，將這些圖像作為輸入，通過提出的DR-GAN網(wǎng)絡(luò)模型，產(chǎn)生一個(gè)固定長度的特征向量，該向量表示的是這個(gè)人的特征，與姿態(tài)光照無關(guān)，同時(shí)該網(wǎng)絡(luò)還可以根據(jù)輸入的Noise/Pose編碼，生成不同姿態(tài)的人臉。

　　劉小明：密歇根州立大學(xué)計(jì)算機(jī)科學(xué)與工程系助理教授。計(jì)算機(jī)視覺、模式識(shí)別、生物識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域?qū)＜摇Ｔ蜪CPR，WACV和CVPR等多個(gè)計(jì)算機(jī)視覺及圖像處理國際頂尖會(huì)議領(lǐng)域主席，獲得多項(xiàng)國際學(xué)術(shù)大獎(jiǎng)。共發(fā)表或出版100余本學(xué)術(shù)文章，持有22項(xiàng)美國專利。