色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度學習全新打開方式Google Brain提出概念激活向量新方法

Hf1h_BigDataDig ? 來源:YXQ ? 2019-07-31 14:11 ? 次閱讀

可解釋性仍然是現代深度學習應用的最大挑戰之一。計算模型和深度學習研究的最新進展使我們能夠創建極度復雜的模型,包括數千隱藏層和數千萬神經元。效果驚人的前沿深度神經網絡模型構建相對簡單,但了解這些模型如何創造和使用知識仍然是一個挑戰。

最近,Google Brain團隊的研究人員發表了一篇論文,提出了一種名為概念激活向量(Concept Activation Vectors, CAV)的新方法,它為深度學習模型的可解釋性提供了一個新的視角。

可解釋性 vs 準確性

要理解CAV技術,需要了解深度學習模型中可解釋性難題的本質。在當今一代深度學習技術中,模型的準確性與可解釋性之間存在著永恒的矛盾。可解釋性-準確性矛盾存在于完成復雜知識任務的能力和理解這些任務是如何完成能力之間。知識與控制,績效表現與可核查性,效率與簡便性...任意一項抉擇其實都是準確性和可解釋性之間的權衡。

你是關心獲得最佳結果,還是關心結果是如何產生的?這是數據科學家在每個深度學習場景中都需要回答的問題。許多深度學習技術本質上非常復雜,盡管它們在許多場景中都很準確,解釋起來卻非常困難。如果我們在一個準確性-可解釋性圖表中繪制一些最著名的深度學習模型,我們將得到以下結果:

深度學習模型中的可解釋性不是一個單一的概念。我們可以從多個層次理解它:

要得到上圖每層定義的可解釋性,需要幾個基本的構建模塊。在最近的一篇論文中,谷歌的研究人員概述了他們看來的一些可解釋性的基本構建模塊。

Google總結了如下幾項可解釋性原則:

- 了解隱藏層的作用:深層學習模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對于解釋深度學習模型至關重要。

- 了解節點的激活方式:可解釋性的關鍵不在于理解網絡中各個神經元的功能,而在于理解同一空間位置被一起激發的互連神經元群。通過互連神經元群對神經網絡進行分割能讓我們從一個更簡單的抽象層面來理解其功能。

-理解概念的形成過程:理解深度神經網絡如何形成組成最終輸出的單個概念,這是可解釋性的另一個關鍵構建模塊。

這些原則是Google新CAV技術背后的理論基礎。

概念激活向量

遵循前文討論的想法,通常所認為的可解釋性就是通過深度學習模型的輸入特征來描述其預測。邏輯回歸分類器就是一個典型的例子,其系數權重通常被解釋為每個特征的重要性。然而,大多數深度學習模型對諸如像素值之類的特征進行操作,這些特征與人類容易理解的高級概念并不對應。此外,模型的內部值(例如,神經元激活)也很晦澀難懂。雖然諸如顯著圖之類的技術可以有效測量特定像素區域的重要性,但是它們無法與更高層級的概念相關聯。

CAV背后的核心思想是衡量一個概念在模型輸出中的相關性。概念的CAV就是一組該概念的實例在不同方向的值(例如,激活)構成的向量。在論文中,Google研究團隊概述了一種名為Testing with CAV(TCAV)的線性可解釋方法,該方法使用偏導數來量化預測CAV表示的潛在高級概念的敏感度。他們構想TCAV定義有四個目標:

- 易懂:使用者幾乎不需要機器學習專業知識。

- 個性化:適應任何概念(例如,性別),并且不限于訓練中涉及的概念。

- 插入即用:無需重新訓練或修改機器學習模型即可運作。

- 全局量化:可以使用單一定量測度來解釋所有類或所有實例,而非僅僅解釋單個數據輸入。

為實現上述目標,TCAV方法分為三個基本步驟:

1)為模型定義相關概念。

2)理解預測對這些概念的敏感度。

3)推斷每個概念對每個模型預測類的相對重要性的全局定量解釋。

TCAV方法的第一步是定義相關的概念(CAV)。為實現此目的,TCAV選擇一組代表該概念的實例或尋找標記為該概念的獨立數據集。我們可以通過訓練線性分類器區分概念實例產生的激活和各層中的實例來學習CAV。

第二步是生成一個TCAV分數,用于量化預測對特定概念的敏感度。TCAV使用了用于衡量ML預測值在某一概念方向、在激活層對輸入敏感度的偏導數。

最后一步嘗試評估學到的CAV的全局相關性,避免依賴不相關的CAV。畢竟TCAV技術的一個缺陷就是可能學到無意義的CAV,因為使用隨機選擇的一組圖像仍然能得到CAV,在這種隨機概念上的測試不太可能有意義。為了應對這一難題,TCAV引入了統計顯著性檢驗,該檢驗以隨機的訓練次數(通常為500次)評估CAV。其基本思想是,有意義的概念應該在多次訓練中得到一致的TCAV分數。

TCAV的運作

團隊進行了多次實驗來評估TCAV相比于其他可解釋性方法的效率。在一項最引人注目的測試中,團隊使用了一個顯著圖,嘗試預測出租車這一概念與標題或圖像的相關性。顯著圖的輸出如下所示:

使用這些圖像作為測試數據集,Google Brain團隊在Amazon Mechanical Turk上邀請50人進行了實驗。每個實驗人員執行一系列共六個針對單個模型的隨機順序任務(3類對象 x 2種顯著圖)。

在每項任務中,實驗人員首先會看到四幅圖片和相應的顯著性蒙版。然后,他們要評估圖像對模型的重要程度(10分制),標題對模型的重要程度(10分制),以及他們對答案的自信程度(5分制)。實驗人員總共評定了60個不同的圖像(120個不同的顯著圖)。

實驗的基本事實是圖像概念比標題概念更相關。然而,看顯著圖時,人們認為標題概念更重要(0%噪聲的模型),或者辨別不出差異(具有100%噪聲的模型)。相比之下,TCAV結果正確地表明圖像概念更重要。

TCAV是這幾年最具創新性的神經網絡解釋方法之一。初始的代碼可以在GitHub上看到。許多主流深度學習框架可能會在不久的將來采用這些想法。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6164

    瀏覽量

    105322
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121117

原文標題:谷歌大腦發布概念激活向量,了解神經網絡的思維方式

文章出處:【微信號:BigDataDigest,微信公眾號:大數據文摘】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    基于遺傳算法的QD-SOA設計新方法

    了QD-SOA的設計,提出了一種基于遺傳算法的QD-SOA設計新方法。由于具有用于設計的模型是必不可少的,因此在第一步中獲得數值模型。然后,利用從數值模型中采樣的訓練數據建立人工神經網絡模型。實驗表明,該神經模型具有較高的精度和較
    的頭像 發表于 12-17 09:58 ?81次閱讀
    基于遺傳算法的QD-SOA設計<b class='flag-5'>新方法</b>

    一種降低VIO/VSLAM系統漂移的新方法

    本文提出了一種新方法,通過使用點到平面匹配將VIO/VSLAM系統生成的稀疏3D點云與數字孿生體進行對齊,從而實現精確且全球一致的定位,無需視覺數據關聯。所提方法為VIO/VSLAM系統提供了緊密
    的頭像 發表于 12-13 11:18 ?132次閱讀
    一種降低VIO/VSLAM系統漂移的<b class='flag-5'>新方法</b>

    大華股份榮獲2024年中國創新方法大賽一等獎

    近日,由中國科協、重慶市人民政府舉辦的2024年中國創新方法大賽全國總決賽在重慶落下帷幕。大華股份靈活運用創新方法、突破行業性技術難題,憑借“不懼強光,分毫必現,基于TRIZ的強逆光銳捕技術”項目,斬獲全國一等獎。
    的頭像 發表于 12-04 17:19 ?336次閱讀

    利用全息技術在硅晶圓內部制造納米結構的新方法

    本文介紹了一種利用全息技術在硅晶圓內部制造納米結構的新方法。 研究人員提出了一種在硅晶圓內部制造納米結構的新方法。傳統上,晶圓上的微結構加工,僅限于通過光刻技術在晶圓表面加工納米結構。 然而,除了晶
    的頭像 發表于 11-18 11:45 ?287次閱讀

    Pytorch深度學習訓練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學習訓練。
    的頭像 發表于 10-28 14:05 ?197次閱讀
    Pytorch<b class='flag-5'>深度</b><b class='flag-5'>學習</b>訓練的<b class='flag-5'>方法</b>

    上海光機所提出強激光產生高能量子渦旋態電子新方法

    近期,中國科學院上海光學精密機械研究所強場激光物理國家重點實驗室研究團隊發展了包括軌道角動量量子數的QED散射理論,并提出強激光產生高能量子渦旋態電子的新方法。相關成果以“Generation
    的頭像 發表于 10-23 10:41 ?152次閱讀
    上海光機所<b class='flag-5'>提出</b>強激光產生高能量子渦旋態電子<b class='flag-5'>新方法</b>

    保護4-20 mA,±20-mA模擬輸入的新方法

    電子發燒友網站提供《保護4-20 mA,±20-mA模擬輸入的新方法.pdf》資料免費下載
    發表于 09-24 09:27 ?0次下載
    保護4-20 mA,±20-mA模擬輸入的<b class='flag-5'>新方法</b>

    實踐JLink 7.62手動增加新MCU型號支持新方法

    大家好,我是痞子衡,是正經搞技術的痞子。今天痞子衡給大家分享的是實踐JLink 7.62手動增加新MCU型號支持新方法
    的頭像 發表于 08-08 15:25 ?710次閱讀
    實踐JLink 7.62手動增加新MCU型號支持<b class='flag-5'>新方法</b>

    NVIDIA推出全新深度學習框架fVDB

    在 SIGGRAPH 上推出的全新深度學習框架可用于打造自動駕駛汽車、氣候科學和智慧城市的 AI 就緒型虛擬表示。
    的頭像 發表于 08-01 14:31 ?593次閱讀

    一種無透鏡成像的新方法

    使用OAM-HHG EUV光束對高度周期性結構進行成像的EUV聚光顯微鏡 為了研究微電子或光子元件中的納米級圖案,一種基于無透鏡成像的新方法可以實現近乎完美的高分辨率顯微鏡。 層析成像是一種強大的無
    的頭像 發表于 07-19 06:20 ?374次閱讀
    一種無透鏡成像的<b class='flag-5'>新方法</b>

    新品|酷暑的新打開方式:SXB3568主板

    開源鴻蒙硬件方案領跑者觸覺智能選主板,接口雜太多?成本太高?性能不夠?來看看觸覺智能全新推出基于RockchipRK3568處理器開發設計的SXB3568商顯行業主板,低成本、高性能、全功能模塊拓展
    的頭像 發表于 07-13 08:33 ?336次閱讀
    新品|酷暑的新<b class='flag-5'>打開方式</b>:SXB3568主板

    深度學習中的時間序列分類方法

    的發展,基于深度學習的TSC方法逐漸展現出其強大的自動特征提取和分類能力。本文將從多個角度對深度學習在時間序列分類中的應用進行綜述,探討常用
    的頭像 發表于 07-09 15:54 ?890次閱讀

    一種利用光電容積描記(PPG)信號和深度學習模型對高血壓分類的新方法

    使用的方法將在以下部分中詳細闡述。 AlexNet是一種深度卷積神經網絡,由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年提出。整體結構由5個卷積
    發表于 05-11 20:01

    軋機牌坊滑板壓虧修復的新方法

    電子發燒友網站提供《軋機牌坊滑板壓虧修復的新方法.docx》資料免費下載
    發表于 03-14 16:16 ?0次下載

    氫壓機軸承位磨損維修的新方法

    電子發燒友網站提供《氫壓機軸承位磨損維修的新方法.docx》資料免費下載
    發表于 03-01 16:23 ?0次下載
    主站蜘蛛池模板: 亚洲国产成人在线| 良家人妻无码专区九色颜射| 俄罗斯人xxx| chinese东北老年tv视频| 2020最新无码国产在线视频| 永久久久免费人妻精品| 亚洲综合色在线视频久| 亚洲中文字幕一二三四区苍井空| 亚洲精品国产熟女久久久| 亚洲AV无码影院在线播放| 亚洲 综合 欧美在线 热| 亚洲 自拍 欧洲 视频二区| 亚洲spank男男实践网站| 亚洲成片在线看| 亚洲AV久久婷婷蜜臀无码不卡| 亚欧免费观看在线观看更新| 亚洲AV综合99一二三四区| 亚洲欧洲精品A片久久99| 亚洲熟女乱色一区二区三区| 亚洲综合色五月久久婷婷| 在线视频 国产精品 中文字幕| 在线播放毛片| 91国偷自产一区二区三区| 99热只有这里有精品| CHINESE熟女老女人HD视频| 打扑克床上视频不用下载免费观看| 动漫女生的逼| 国产日韩久久久精品影院首页 | 亚洲欧美中文日韩视频| 亚洲综合小说久久另类区| 最近免费中文字幕MV免费高清| 91素人约啪| 成人免费小视频| 国产精品久久人妻拍拍水牛影视| 国产亚洲精品在线视频| 久久www免费人成高清| 免费鲁丝片一级在线观看| 欧美性xxxxxx爱| 午夜伦伦电影理论片大片| 亚洲欲色欲色XXXXX在线AV| 97伦理97伦理2018最新|