色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

ICML 2023 | 對多重圖進行解耦的表示學習方法

智能感知與物聯網技術研究所 ? 來源:未知 ? 2023-09-24 20:45 ? 次閱讀
wKgaomUkfuqAZtgxAAAl6LOgh3c601.png

Introduction

無監督多重圖表示學習(UMGRL)受到越來越多的關注,但很少有工作同時關注共同信息和私有信息的提取。在本文中,我們認為,為了進行有效和魯棒的 UMGRL,提取完整和干凈的共同信息以及更多互補性和更少噪聲的私有信息至關重要。

為了實現這一目標,我們首先研究了用于多重圖的解纏表示學習,以捕獲完整和干凈的共同信息,并設計了對私有信息進行對比約束,以保留互補性并消除噪聲。此外,我們在理論上分析了我們方法學到的共同和私有表示可以被證明是解纏的,并包含更多與任務相關和更少與任務無關的信息,有利于下游任務。大量實驗證實了所提方法在不同下游任務方面的優越性。

wKgaomUkfuqAVfjYAABHPPBGdKY217.png

論文標題:

Disentangled Multiplex Graph Representation Learning

論文鏈接:

https://openreview.net/pdf?id=lYZOjMvxws

代碼鏈接:

https://github.com/YujieMo/DMG

wKgaomUkfuqAGHq2AAAuhh9-KLM945.png

Motivation

以前的 UMGRL 方法旨在隱式提取不同圖之間的共同信息,這對于揭示樣本的身份是有效和魯棒的。然而,它們通常忽視了每個圖的私有信息中的互補性,并可能失去節點之間的重要屬性。

例如,在多重圖中,其中論文是節點,邊代表兩個不同圖中的共同主題或共同作者。如果一個私有邊(例如,共同主題關系)僅存在于某個圖中,并連接來自相同類別的兩篇論文,它有助于通過提供互補信息來降低類內差距,從而識別論文。因此,有必要同時考慮共同信息和私有信息,以實現 UMGRL 的有效性和魯棒性。

基于有助于識別樣本的共同信息,捕獲不同圖之間的所有共同信息(即完整的)是直觀的。此外,這種完整的共同信息應該僅包含共同信息(即干凈的)。相反,如果共同信息包含其他混淆的內容,共同信息的質量可能會受到損害。

因此,第一個問題出現了:如何獲得完整和干凈的共同信息?另一方面,私有信息是互補性和噪聲的混合??紤]引文網絡的同一個示例,如果私有邊連接來自不同類別的兩篇論文,它可能會干擾消息傳遞,應該作為噪聲被刪除。因此,第二個問題出現了:如何保留私有信息中的互補性并去除噪聲?

然而,以前的 UMGRL 方法很少探討了上述問題。最近,已經開發了解耦表示學習方法,以獲得共同和私有表示,但由于多重圖中節點之間的復雜關系以及圖結構中的互補性和噪聲,將它們應用于解決 UMGRL 中的上述問題是具有挑戰性的。為此,我們提出了一種新的解耦多重圖表示學習框架,以回答上述兩個問題。

wKgaomUkfuqAGClPAAAtJ0fTuoM407.png

Method wKgaomUkfuuAFKzpAAOcVeoAsDo707.png

Notations

表示多重圖,表示多重圖中的第 張圖,表示圖的數量。

本文模型 DMG 首先通過一個共同變量 學習到經過解耦的共同表示以及私有表示,接著獲取到融合表示。

3.1 Common Information Extraction

以前的 UMGRL 方法(例如,圖之間的對比學習方法)通常通過最大化兩個圖之間的互信息來隱式捕獲不同圖之間的共同模式。例如,為了提取共同信息,STENCIL(Zhu等人,2022)最大化每個圖與聚合圖之間的互信息,而 CKD(Zhou等人,2022)最大化不同圖中區域表示和全局表示之間的互信息。

然而,由于它們未能將共同信息與私有信息解耦,因此這些努力不能明確地捕獲完整且干凈的共同信息。為了解決這個問題,本文研究了解耦表示學習,以獲得完整且 clean 的共同信息。

具體地,首先使用圖卷積層 生成節點表示

wKgaomUkfuuABQ8NAAAvkkAdEjM107.png

表示一個帶權重的自環; 表示度矩陣; 表示卷積層 的權重矩陣。

接著使用 MLP 來促進每張圖共同和私有信息的解耦過程,分別將節點嵌入 映射為共同表示和私有表示 給定每張圖的共同表示 ,對齊這些表示最簡單的方法使讓它們彼此相等。然而這樣做會影響共同表示的質量。在本文中,我們通過奇異值分解操作引入了一個具有正交性和零均值的公共變量 到共同表示中。然后,我們對公共表示 與公共變量 之間進行匹配損失,旨在逐漸對齊來自不同圖的共同表示,以捕獲它們之間的完整共同信息。匹配損失的公式如下:wKgaomUkfuuAN_OnAABm6_AnC5s014.png的作用是作為所有圖共同表示之間的一個橋梁,使得這些表示具有較好的一致性:

然后,為了解耦公共和私有表示,我們必須強化它們之間的統計獨立性。值得注意的是,如果公共和私有表示在統計上是獨立的,那么必須滿足:

wKgaomUkfuuAfQVjAAA1rUFYpCg594.png

顯然,通過最小化 之間的相關性,可以實現公共和私有表示之間的獨立性。特別是,相關性損失是通過計算 Pearson 相關系數來獲得的,即:wKgaomUkfuuAIf8PAABc_K2L0zc801.png我們期望通過匹配損失(即獲得完整的共同信息)和相關性損失(即獲得干凈的共同信息)來獲得清晰的共同表示 中的共同信息。然而,在無監督框架下,學得的共同和私有表示可能是微不足道的解決方案。 常見的解決方案包括對比學習方法和自編碼器方法。對比學習方法引入大量負樣本以避免微不足道的解決方案,但可能會引入大量的內存開銷。自編碼器方法采用自編碼器框架,通過重構損失來促進編碼器的可逆性,以防止微不足道的解決方案。然而,現有的圖自編碼器旨在重構直接的邊緣,忽略了拓撲結構,并且計算成本高昂。 為了解決上述問題,我們研究了一種新的重構損失,以同時重構節點特征和拓撲結構。具體而言,我們首先將共同和私有表示連接在一起,然后使用重構網絡 獲得重構的節點表示 。我們進一步進行特征重構和拓撲重構損失,以分別重構節點特征和局部拓撲結構。因此,重構損失可以表述為:wKgaomUkfuyACBs_AABGcDUoCZA710.png

, 表示采樣的鄰居數。

在上式中第一項鼓勵 重構原始節點特征,第二項鼓勵 重構拓撲結構。

3.2 Private Information Constraint

私有信息是補充信息和噪音的混合物。因此,鑒于學習到的私有表示,我們希望進一步回答 3.1 節中的第二個問題,即保留補充信息并消除私有信息中的噪聲。此外,多重圖的私有信息主要位于每個圖的圖結構中,因為不同圖的節點特征是從共享特征矩陣 X 生成的。因此,我們研究了在每個圖結構中保留互補邊并去除噪聲邊。

首先提供了以下有關圖結構中補充信息和噪聲的定義:
  • 圖 上的任意私有邊,即 ,若節點對 所屬的類別相同,那么 將是圖 的一條補充邊,否則是一條噪聲邊。
根據定義 3.2,每個圖中的私有信息分為兩部分,即補充邊和噪聲邊,根據節點對的類別。然而,在無監督方式下,節點標簽不可用。為解決這個問題,在這項工作中,我們將節點對(vi, vj)的標簽信息近似為共同變量 之間的余弦相似度:wKgaomUkfuyAfpVoAAAdVBUNh_A185.png ?給定邊集 中所有節點對的余弦相似度,進一步假設具有最高相似度的節點對屬于同一類,具有低相似度的節點對屬于不同類。因此,對于連接節點的高相似性邊是補充邊,表示為 ,而對于連接節點的低相似性邊是噪聲邊,表示為 。直觀地,應保留補充邊,而應刪除噪聲邊。

設計了一個對比模塊,用于進行對比損失:

wKgaomUkfuyARvQ0AABMx0GFwa4225.png

3.3 Objective Function

wKgaomUkfuyAQlDZAAAlJTzDbvE765.png

經過優化,預計所提出的 DMG 將獲得完整且干凈的公共表示,以及更多互補性和更少噪聲的私有表示,以實現有效且穩健的 UMGRL)。然進行平均池化(LeCun等人,1989)來融合所有圖的私有表示,以獲得總體的私有表示 P,即

wKgaomUkfuyADKqjAAAahdKicYQ162.png

最后,我們將總體的私有表示 P 與共同變量 S 連接起來,獲得最終的表示 Z。

wKgaomUkfuyARpcyAAAr2pbNr48206.png

Experiments

4.1 Node Classification

wKgaomUkfu2AWKwiAAZ8K96J5VQ663.png

4.2 Node Clustering

wKgaomUkfu2ASdYNAAQCp_M5_UQ687.png

4.3 Single-view graph datasets

wKgaomUkfu2ATRbIAAUw1jhX_cg715.png

wKgaomUkfu6AZ8zhAAAtTL4L6hI450.png

Conclusion

本文提出了一個用于多重圖的解耦表示學習框架。為實現這一目標,我們首先解耦了共同表示和私有表示,以捕獲完整和干凈的共同信息。我們進一步設計了對私有信息進行對比約束,以保留互補性并消除噪聲。理論分析表明,我們方法學到的共同和私有表示可以被證明是解耦的,包含更多與任務相關的信息和更少與任務無關的信息,有利于下游任務。廣泛的實驗結果表明,所提出的方法在不同的下游任務中在有效性和魯棒性方面始終優于現有方法。

·


原文標題:ICML 2023 | 對多重圖進行解耦的表示學習方法

文章出處:【微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 物聯網
    +關注

    關注

    2909

    文章

    44578

    瀏覽量

    372863

原文標題:ICML 2023 | 對多重圖進行解耦的表示學習方法

文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    瑞薩電子與吉利汽車聯合舉辦汽車主控芯片軟硬能力提升訓練營

    近日,由瑞薩電子與吉利汽車研究院聯合舉辦的“汽車主控芯片軟硬能力提升訓練營”順利落幕。
    的頭像 發表于 12-09 10:50 ?224次閱讀

    非線性光與線性光的差別

    非線性光與線性光的不同 在電路中光的電路非常常見,光在電路中的作用是進行隔離并對光電進行
    的頭像 發表于 11-16 10:28 ?333次閱讀

    什么是機器學習?通過機器學習方法能解決哪些問題?

    計算機系統自身的性能”。事實上,由于“經驗”在計算機系統中主要以數據的形式存在,因此機器學習需要設法對數據進行分析學習,這就使得它逐漸成為智能數據分析技術的創新源之一,
    的頭像 發表于 11-16 01:07 ?387次閱讀
    什么是機器<b class='flag-5'>學習</b>?通過機器<b class='flag-5'>學習方法</b>能解決哪些問題?

    如何使用 PyTorch 進行強化學習

    強化學習(Reinforcement Learning, RL)是一種機器學習方法,它通過與環境的交互來學習如何做出決策,以最大化累積獎勵。PyTorch 是一個流行的開源機器學習庫,
    的頭像 發表于 11-05 17:34 ?281次閱讀

    《DNK210使用指南 -CanMV版 V1.0》第一章本書學習方法

    第一章 本書學習方法 為了讓讀者更好地學習和使用本書,本章將為讀者介紹本書的學習方法,包括:本書的學習順序、編寫規范、代碼規范、資料查找和學習
    發表于 08-28 17:57

    不平衡電網下基于功率的PWM整流器控制策略研究

    當三相輸入電壓不平衡時,在靜止坐標系下進行分析,一般都忽略了電流的,應用傳統比例諧振控制器時存在一個問題,即有功功率與無功功率的耦合嚴重。針對不平衡電網工況下PWM整流器有功及無功功率嚴重耦合
    的頭像 發表于 07-23 14:40 ?192次閱讀
    不平衡電網下基于功率<b class='flag-5'>解</b><b class='flag-5'>耦</b>的PWM整流器控制策略研究

    深度學習中的無監督學習方法綜述

    應用中往往難以實現。因此,無監督學習在深度學習中扮演著越來越重要的角色。本文旨在綜述深度學習中的無監督學習方法,包括自編碼器、生成對抗網絡、聚類算法等,并分析它們的原理、應用場景以及優
    的頭像 發表于 07-09 10:50 ?690次閱讀

    智能數采網關助力破解軟硬件難題

    不同需求提供可靠的數字化支持。 軟硬件是指將軟件和硬件進行分離,使得軟件和硬件能夠獨立設計、開發、測試和部署,從而提高系統的靈活性、可擴展性和可維護性。在工業控制領域,由于PLC(可編程邏輯控制器)產品品牌眾多,且通常
    的頭像 發表于 04-11 15:37 ?396次閱讀
    智能數采網關助力破解軟硬件<b class='flag-5'>解</b><b class='flag-5'>耦</b>難題

    檢測儀的制作方法有哪些

    搭建和軟件編程等方面。本文將詳細介紹光檢測儀的制作方法,包括電路設計和搭建、元器件選型、軟件編程等方面。 一、光檢測儀的電路設計和搭建 1.選取合適的光件 光
    的頭像 發表于 04-01 18:10 ?2547次閱讀

    KUKA機器人8.7系統對PROFINET軟件進行編程控制的步驟

    為了可以在不同的機器人上交替地運行一個設備,需要 IOCTL 命 令 1060 進行。
    的頭像 發表于 03-04 09:35 ?2452次閱讀
    KUKA機器人8.7系統對PROFINET軟件<b class='flag-5'>進行</b>編程控制的步驟

    正向光和反向光區別

    場景。 首先,讓我們從正向光開始。正向光也被稱為光電耦合器或光電隔離器,它是一種能夠將電信號轉變為光信號來進行隔離的器件。正向光通常由一個發光二極管(LED)和一個光敏電阻(光控
    的頭像 發表于 02-02 10:08 ?1712次閱讀

    一種常見的設計

    在模塊劃分時,我們通常會考慮耦合,即盡量減少模塊間的交互,讓模塊間的接口盡量簡單。
    的頭像 發表于 01-17 10:05 ?545次閱讀
    一種常見的<b class='flag-5'>解</b><b class='flag-5'>耦</b>設計

    RAM的應用-一種常見的設計

    在模塊劃分時,我們通常會考慮耦合,即盡量減少模塊間的交互,讓模塊間的接口盡量簡單。
    的頭像 發表于 01-13 17:14 ?679次閱讀
    RAM的應用-一種常見的<b class='flag-5'>解</b><b class='flag-5'>耦</b>設計

    請問初學者要怎么快速掌握FPGA的學習方法?

    對于初學者 FPGA的編程語言是什么? FPGA芯片的基礎結構也不了解. FPGA開發工具的名稱和使用方法都不知道. 要學的很多啊,請問有什么自學的學習方法么?
    發表于 01-02 23:01

    損壞對輸出的影響 光損壞有哪些現象 怎樣測試光元件的好壞

    的影響,而光損壞的現象往往包括以下幾個方面:輸出信號失真、輸出信號弱化或消失、電氣隔離失效。為了測試光元件的好壞,我們可以采取一些方法和步驟。 光損壞對輸出的影響主要體現在以下幾
    的頭像 發表于 12-25 14:04 ?2499次閱讀
    主站蜘蛛池模板: 嗯啊…跟校草在教室里做h| 欧美午夜a级精美理论片| 墨西哥美女主播| 三级网站视频| 亚洲无人区码二码三码区别图| 91精选国产| 公交车被CAO到合不拢腿| 精品国产在线亚洲欧美| 女子初尝黑人巨嗷嗷叫| 小黄文纯肉污到你湿| 1788vv视频| 国产精品久久久久婷婷五月色婷婷| 九九免费高清在线观看视频| 日本XXXXZZX片免费观看| 亚洲日韩有码无线免费| RUNAWAY韩国动漫免费网| 国产中文字幕在线| 琪琪色在线播放| 亚洲一卡久久4卡5卡6卡7卡| 欧美日韩免费播放一区二区| 丝袜足控免费网站xx91| 2021精品乱码多人收藏| 国产麻豆精品久久一二三| 免费乱理伦片在线观看夜| 亚洲 欧美 国产 综合 播放| A级韩国乱理伦片在线观看| 狠狠爱亚洲五月婷婷av| 日韩黄色软件| 2021年国产精品久久| 国产午夜福利伦理300| 欧美伊人久久大香线蕉综合69| 亚洲日韩精品AV中文字幕| 国产成人精品免费视频下载| 美女张开腿露尿口给男人亲| 亚洲精品国产在线网站| 吃奶啃奶玩乳漫画| 免费视频xxx| 野花高清在线观看免费3中文| 日韩中文无线码在线视频| 在线观看国产小视频| 国产亚洲精品久久久久久入口|