色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Google Pixel3在相機算法的升級路上越戰越勇

電子工程師 ? 來源:lq ? 2018-12-03 10:32 ? 次閱讀

想要提高拍照效果,想必對于多數手機廠商而言,給手機塞進更多的攝像頭似乎成了當前主流做法,例如“普通攝像頭+景深攝像頭”、“黑白+彩色攝像頭”、“廣角+長焦攝像頭”……不過,偏偏有這么一家企業反其道而行,從發布 Pixel 系列以來,就一直堅持單攝像頭,并強調在相機成像算法上的提升。

不久前的一篇《勝過 iPhone XS?Google Pixel 的“夜視功能”是怎樣煉成的》文章中,我們介紹了 Google 新款手機 Pixel3 系列的夜景拍攝功能(Night Sight)。果然,讀者們對于如何利用機器學習解決弱光條件下的拍攝難點持有很大興趣。近日,Google Pixel3 在相機算法的升級路上越戰越勇,對“人像模型”(Portrait Mode)拍攝功能進行了大幅升級。相比上一代的 Pixel2,Pixel3 的人像模式可為用戶提供專業的外景圖像拍攝,并通過模糊背景來加強主體對象的清晰度。

去年,Google 團隊描述了相位檢測自動對焦(PDAF)的技術,該技術使用了傳統的非學習立體算法,并通過單個攝像頭計算景深。如今,在最新推出的 Pixel 上,Google 將采用機器學習改進景深捕捉,以獲取更好的人像效果。

如上圖所示,上一代的人像模式主要通過神經網絡決定人與背景成像像素,并使用從 PDAF 導出的景深信息來增強這兩層人物的分割掩碼(segmentationmask)。這意味著能夠實現相應的背景虛化效果,更接近于專業相機的效果。

PDAF 通過捕捉場景的兩個略微不同的視角進行工作,如下圖所示。在兩個視角之間翻轉,我們看到人是靜止的,而背景是水平移動的,這種效果成為視差(parallax)。因為視差是點距相機的距離與兩個視點之間距離的函數,我們可以通過將一個視角中的每個點與另一個視角中的對應點進行匹配來估計景深。

圖注:左、中的兩個 PDAF 圖像看起來非常相似,但在右圖中,可以看到它們之間的視差

不過,通過立體算法在 PDAF 中找到這些對應關系極具挑戰性,因為場景中的點幾乎不在視圖之間移動。此外,所有的立體聲技術都存在孔徑問題(Aperture Problem)。也就是說,機器通過小光圈觀察場景,無法找到與立體基線平行的線的對應關系,即連接兩個攝像頭的線。換言之,當觀察上圖中的水平線(或縱向拍攝的垂直線)時,一個視角相對于另一個視角的任意可能的位移都看起來大致相同。結果,在上一代的人像模式中,以上提到的所有因素都有可能導致景深捕捉錯誤,產生令人不快的虛假圖像。

如何改善景深捕捉?

Pixel3 采用的人像模式,通過利用立體算法產生的視差來修復這些誤差。例如,遠離焦距平面的點看起來不如較近的點那么清晰銳利,利用了“背景離焦”模式。此外,即使在平面屏幕上觀看圖像,也能通過物體的大致大小準確判斷物體有多遠,利用了“語義”模式。

如果構建一種能將以上不同的模式組合起來的算法是非常困難的,但我們可以通過機器學習進行構建,并更好地利用 PDAF 的“視差”。具體來講,訓練一個用 TensorFlow 編寫的卷積神經網絡,可以將 PDAF 作為輸入并進行景深預測。這種新式改進的基于機器學習的景深捕捉方法被應用在了 Pixel3 的人像模式中。

圖注:CNN 將 PDAF 圖像作為輸入,并輸出景深圖像。該網絡使用“編碼-解碼”架構

如何訓練神經網絡?

為了訓練網絡,開發人員需要大量的 PDFA 圖像和對應的高質量景深圖,并且保證訓練數據與用戶使用智能手機拍攝的照片內容類似。為了實現這一目標,我們構建了自己的定制“Frankenphone”裝備,其中包括五臺 Pixel3 手機,以及基于 WiFi 的解決方案,使其能夠同時捕捉來自所有手機的圖片(在~2 毫秒的容差范圍內)。通過這個設備,我們使用來自運動和多視圖立體的結構從照片計算出高質量的景深。

圖注:左:用于收集訓練數據的自定義裝備;中:一個捕獲五個圖像翻轉的示例;右:真實景深,低保真點

該裝備收集的數據適用于訓練網絡,主要基于以下五點因素:

五個視點確保在多個方向上存在視差,因此不存在孔徑問題;

攝像頭的位置要確保圖像中的某一點在至少一張圖像中是可見的,并一一對應;

基線,即相機之間的距離要比 PDAF 的基線大得多,從而產生更準確的景深捕捉;

攝像頭同步確??梢杂嬎闵鲜鰟討B場景的景深;

該裝備具有便捷性,確??刹蹲揭巴庹掌?,模擬用戶使用智能手機拍攝的情況。

然而,即使從該裝備捕獲的數據是理想狀態,預測場景中物體的絕對深度仍然極具挑戰性,因為取決于鏡頭特性、焦距等因素,給定的 PDAF 對可以對應一系列不同的景深圖像。為了解釋這一點,我們改為捕捉場景中物體的相對景深,這足以產生令人滿意的人像模式結果。

值得一提的是,這個基于機器學習模式的景深捕捉模型目前主要應用于 Pixel3 手機上。此外,通過使用 TensorFlow Lite 用于在移動和嵌入式設備上運行機器學習模型的跨平臺解決方案,可以將得到的景深信息與分割掩碼神經網絡進行結合。

看到這里,不知道習慣了使用 iOS 系統手機的你,是不是正蠢蠢欲動回歸在性能、價位日益提升的 Android 手機呢?

據最新消息稱,Google 決定開放自己的相機算法授權給其他 Android 品牌使用,此前 Google 就開源了 Pixel2 系列的相機虛化算法。歡迎留言。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • 攝像頭
    +關注

    關注

    59

    文章

    4837

    瀏覽量

    95600
  • AI算法
    +關注

    關注

    0

    文章

    249

    瀏覽量

    12259

原文標題:三攝正普及,四攝在路上?谷歌逆天AI算法,只做單攝虛化

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    康謀方案 | 多源相機數據采集與算法集成測試方案

    如何滿足不同應用場景下對圖像采集和算法測試的多樣化需求?本文為您帶來多源相機數據采集與算法集成測試方案,通過BRICKplus/BRICK2與ADTF的結合,輕松實現多源相機快速集成和
    的頭像 發表于 12-11 09:59 ?317次閱讀
    康謀方案 | 多源<b class='flag-5'>相機</b>數據采集與<b class='flag-5'>算法</b>集成測試方案

    谷歌正式向Pixel設備推送Android 15穩定版

    10月17日最新資訊,谷歌今日已正式向Pixel系列設備推送Android 15穩定版更新。目前,已有部分Pixel設備成功完成升級,而更大范圍的推送預計將在本周末進行。
    的頭像 發表于 10-17 16:31 ?419次閱讀

    雙絞線線路上捕獲1394個事件

    電子發燒友網站提供《雙絞線線路上捕獲1394個事件.pdf》資料免費下載
    發表于 09-29 09:41 ?0次下載
    <b class='flag-5'>在</b>雙絞線線<b class='flag-5'>路上</b>捕獲1394個事件

    深視智能3D相機軸承內徑檢測的應用

    3D相機
    深視智能科技
    發布于 :2024年07月23日 10:33:54

    谷歌Pixel 9系列手機將于8月13日盛大發布

    谷歌震撼宣布:Pixel 9系列手機將于2024年8月13日(北京時間為次日凌晨1點)美國加州山景城總部盛大發布,這一消息瞬間點燃了全球科技迷與消費者的熱情。Pixel 9不僅標志著Pixe
    的頭像 發表于 07-16 14:43 ?804次閱讀

    使用google-translate和wwe合并后無法使用google-tts怎么解決?

    ,使用喚醒詞喚醒后,我想讓他使用google-tts說一句話,但是出現以下錯誤Code: Select all I (16188) wwe_example: rec_engine_cb
    發表于 06-28 06:05

    谷歌Pixel 10系列手機配備Tensor G5定制芯片,將迎來顯著升級

    據悉, Google Pixel 9 系列尚未正式發布之際,Android Authority已揭曉了其后續產品 Google Pixel
    的頭像 發表于 05-27 16:02 ?702次閱讀

    谷歌Pixel 9系列手機曝光:尺寸與規格各異

    據知情人士透露,Google即將于近期推出Pixel 9系列新款智能手機。該系列包括Pixel 9、Pixel 9 Pro及Pixel 9
    的頭像 發表于 05-14 09:54 ?766次閱讀

    谷歌Pixel 8a手機發布:搭載Tensor G3芯片,配備AI功能,5月開始預購

    相較于上代產品Pixel 7a,Pixel 8a升級了更快的處理器、更高亮度的屏幕、翻倍的存儲空間和全新的AI相機功能。其中,Tensor G3
    的頭像 發表于 05-08 17:03 ?854次閱讀

    Google Pixel 8a新款面世,全新顯示屏與AI相機引爆精明消費者

    相較于去年的7a,Pixel 8a升級了更快的處理器、更高亮度的屏幕、翻倍的存儲空間和全新的AI相機功能。其中,Tensor G3自研處理器內置AI助理Gemini、完美合照、畫圈搜索
    的頭像 發表于 05-08 09:58 ?581次閱讀

    谷歌Pixel 8a獲FCC認證,三維尺寸及相機島設計被曝光

    據悉,去年一月份以來,谷歌 Pixel 8a 手機的零售包裝盒設計已多次被透露,其中展示出采用家族式設計的相機島以及雙攝系統,同時,手機型號也彰顯出來——G6GPR(同 FCC 認證信息相符),且支持至高達 27W 的快速充電功能。
    的頭像 發表于 03-19 15:33 ?588次閱讀

    uvm1.1升級為uvm1.2 uvm_report_server報錯是何原因?

    ISP算法仿真中,小編會用reference model調用DPI接口用C++ 算法實現pixel算法處理,然后和DUT算法處理輸出的
    的頭像 發表于 03-04 14:18 ?802次閱讀
    uvm1.1<b class='flag-5'>升級</b>為uvm1.2 uvm_report_server報錯是何原因?

    AURIX TC397是否可以搭配Google TensorFlow的演算法去運算?

    請問各位大神,AURIX TC397 是否可以搭配 Google TensorFlow 的演算法 去運算??
    發表于 02-18 06:05

    谷歌再開啟大規模裁員,涉及Google Assistant、Pixel等多個部門

    彭博社報道稱,谷歌啟動了新一輪大規模裁員行動,預計影響人數高達數百人,涉及到語音助手 Google Assistant 部門,Pixel、Fitbit 手表及 Nest 智能音響等硬件部門,甚至一些核心工程團隊也未幸免。
    的頭像 發表于 01-11 14:07 ?602次閱讀

    友思特C系列3D相機:實時3D點云圖像

    3D相機
    虹科光電
    發布于 :2024年01月10日 17:39:25
    主站蜘蛛池模板: 国产亚洲精品久久久闺蜜| 久久亚洲精选| 柠檬福利精品视频导航| 午夜天堂一区人妻| 99视频这里只有精品| 娇妻归来在线观看免费完整版电影| 青柠在线观看免费高清电视剧荣耀 | 久久热最新网站获取3| 色大姐综合网| 91精品国产入口| 韩国黄色影院| 思思99精品国产自在现线| 欧美特级特黄a大片免费| 三级在线观看网站| 97亚洲狠狠色综合久久位| 经典WC女厕所里TV| 婷婷久久综合九色综合伊人色| adc高清在线观看| 久久亚洲精品2017| 亚洲国产第一区二区三区| 芳草地在线观看免费观看| 精品无码久久久久久久动漫| 微福利92合集| 成人精品亚洲| 757一本到午夜宫| 国产欧美一区二区精品仙草咪| 日本十八禁无遮无挡漫画| 99精品在线免费| 久久午夜夜伦痒痒想咳嗽P| 亚洲天堂2017无码| 国产亚洲精品久久久久久久| 色综合 亚洲 自拍 欧洲| 成年人视频在线免费播放| 欧美黑大炮18p| 亚洲精品国偷拍电影自产在线| 国产99r视频精品免费观看| 秋霞网站一级一片| 99热这里只有精品6| 美女视频秀色福利视频| 中文字幕一区中文亚洲| 久久精品人人做人人爽97|