照一張美美的自拍照一直是一個(gè)技術(shù)活！如果要和小伙伴們一起拍出一張漂亮的自拍那更是需要耐心加技術(shù)才能搞定，你需要握好手機(jī)準(zhǔn)備好拍照、看著相機(jī)并擺好pose，更重要的是要保證所有的小伙伴都在鏡頭內(nèi)沒有眨眼跑偏！一瞬間要行云流水地完成這些動(dòng)作對于不經(jīng)常自拍小伙伴們還是有點(diǎn)挑戰(zhàn)的。

那么，現(xiàn)在都9102年的AI時(shí)代了，智能相機(jī)能不能幫我們拍出好看的自拍呢？讓我們來看看谷歌給出的答案。其實(shí)在去年年底，谷歌推出了一款名為Clips的應(yīng)用就給智能相機(jī)打下了堅(jiān)實(shí)的基礎(chǔ)。Clips可以在移動(dòng)端分析拍攝的質(zhì)量，并從一小段視頻中找出用戶最美的瞬間。基于這樣的技術(shù)，谷歌的研究人員開發(fā)了可以智能抓拍自拍的新應(yīng)用PhotoBooth。

這個(gè)應(yīng)用將會(huì)為你捕捉最美的瞬間，無論是單人、情侶還是多人的小伙伴們，他都會(huì)找到最合適的姿勢角度和快門為你記錄下最美的時(shí)刻。在進(jìn)入軟件后它能自動(dòng)識(shí)別其中人臉的表情和眼睛，在大家都睜眼并且表情很棒的時(shí)候幫你按下快門。這一針對自拍的技術(shù)專門對前置攝像頭進(jìn)行了優(yōu)化，此外科研人員在逐一解決了三個(gè)挑戰(zhàn)才使得這一技術(shù)變?yōu)楝F(xiàn)實(shí)。為了實(shí)現(xiàn)Photobooth，

首先需要解決如何識(shí)別人群中眾多主體的表情是否到位；

隨后需要確定曝光時(shí)間已記錄最佳的圖像結(jié)果；

最后還需要為提供視覺輔助元素UI幫助用戶調(diào)整姿勢和表情以便相機(jī)可以拍攝下最好的你！

為優(yōu)質(zhì)內(nèi)容建模

為了拍下最美的瞬間，那么理解什么是美什么是好的姿勢和表情就尤為重要了。在自拍中相機(jī)需要識(shí)別是不是所有的人都在看鏡頭、或者當(dāng)情侶在接吻時(shí)抓拍下浪漫一刻。為了實(shí)現(xiàn)對優(yōu)質(zhì)內(nèi)容的理解和抓拍，Photobooth利用了兩個(gè)自拍模型來實(shí)現(xiàn)，分別用于檢測面部表情和親吻的動(dòng)作。

通過和攝影師合作，研究人員提取出了五種高頻表情用于觸發(fā)相機(jī)記錄：微笑、吐舌、嘟嘴/自拍臉、鼓臉頰和驚奇的表情，這些是人們在自拍時(shí)最常用的表情。隨后利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類模型來對這些表情實(shí)現(xiàn)分類。而對于親吻，則在Clips中已有的圖像內(nèi)容模型的基礎(chǔ)上進(jìn)行微調(diào)。最后通過MobileNets實(shí)現(xiàn)以便高效高幀率的進(jìn)行處理，網(wǎng)絡(luò)的輸出將用于評價(jià)每一幀的質(zhì)量，并用于快門控制算法。

快門控制

當(dāng)按下Photobooth快門的時(shí)候前面的質(zhì)量評價(jià)算法就開始給每一幀的質(zhì)量打分了。首先需要利用濾波器來處理閉眼、運(yùn)動(dòng)模糊或者表情識(shí)別錯(cuò)誤等。算法會(huì)對表情的置信度評分進(jìn)行短暫的分析，并使得機(jī)器學(xué)習(xí)模型的輸出較為穩(wěn)定和魯棒。隨后每一幀將進(jìn)行更加細(xì)粒度的分析同時(shí)輸出整體幀的評分。評分包含了表情的質(zhì)量或者親吻的分?jǐn)?shù)。針對親吻場景，算法將對整張圖像進(jìn)行處理并直接生成評分。對于面部表情識(shí)別模型來說，會(huì)對每個(gè)個(gè)體的表情進(jìn)行識(shí)別，并利用了注意力機(jī)制對視圖中所有的個(gè)體表情進(jìn)行迭代識(shí)別，同為每張臉賦予一定的權(quán)值。這一權(quán)值十分重要，可以對照片中不同部分的主體進(jìn)行突出和強(qiáng)調(diào)。在此基礎(chǔ)上計(jì)算出了用于評價(jià)幀質(zhì)量的全局質(zhì)量分?jǐn)?shù)。

最終，基于注意力分?jǐn)?shù)的加權(quán)表情評分和親吻評分將用于觸發(fā)相機(jī)快門。為了在最佳時(shí)刻進(jìn)行記錄，算法將會(huì)進(jìn)行一定時(shí)刻的觀察，并在幀評分超過歷史峰值后按下快門。

智能指示器

人們在利用前視攝像頭拍照的時(shí)候，需要與算法進(jìn)行交互才能調(diào)整自己的表情獲取最佳姿勢。算法同時(shí)提供了一個(gè)質(zhì)量評分指示器來幫助用戶理解算法的輸出。下圖中可以看到屏幕上方的小白條指示了當(dāng)前算法輸出的評分，主要包括了一下四種情況：視野中沒有清晰人臉；人沒有看相機(jī)；看了相機(jī)但是表情不到位；表情到位，開拍！為了讓指示器更便于理解，研發(fā)人員讓它在上面的四種情況中依次變換，同時(shí)加入了對評分質(zhì)量的平滑避免白條變化過快讓用戶無所適從。最終，當(dāng)指示器的長度達(dá)到了高質(zhì)量的水平相機(jī)就自動(dòng)為你記下完美時(shí)刻了。

會(huì)拍照的才是好手機(jī)！相機(jī)越來越智能，朋友圈也會(huì)越來越美麗。隨著計(jì)算機(jī)視覺技術(shù)的進(jìn)步，像這樣貼近生活的實(shí)用技術(shù)將越來越多的出現(xiàn)在我們生活中。優(yōu)秀技術(shù)解決生活中的小痛點(diǎn)的微創(chuàng)新將會(huì)不斷引領(lǐng)技術(shù)的落地，為人們帶去更加便捷的生活。