色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
電子發燒友網>電子資料下載>電子教材>The Variational Bayes Method i

The Variational Bayes Method i

2009-02-17 | rar | 6656 | 次下載 | 免費

資料介紹

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 How to be a Bayesian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Variational Bayes (VB) Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 A First Example of the VB Method: Scalar Additive Decomposition 3
1.3.1 A First Choice of Prior. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 The Prior Choice Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 The VB Method in its Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 VB as a Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Layout of the Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Acknowledgement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Bayesian Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 Bayesian Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.1 Off-line vs. On-line Parametric Inference . . . . . . . . . . . . . . . . 14
2.2 Bayesian Parametric Inference: the Off-Line Case . . . . . . . . . . . . . . . 15
2.2.1 The Subjective Philosophy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.2 Posterior Inferences and Decisions . . . . . . . . . . . . . . . . . . . . . . 16
2.2.3 Prior Elicitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.1 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Bayesian Parametric Inference: the On-line Case . . . . . . . . . . . . . . . . 19
2.3.1 Time-invariant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 Time-variant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.3 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Off-line Distributional Approximations and the Variational Bayes
Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1 Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 How to Choose a Distributional Approximation . . . . . . . . . . . . . . . . . 26
3.2.1 Distributional Approximation as an Optimization Problem . . 26
3.2.2 The Bayesian Approach to Distributional Approximation . . . 27

3.3 The Variational Bayes (VB) Method of Distributional Approximation 28
3.3.1 The VB Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 The VB Method of Approximation as an Operator . . . . . . . . 32
3.3.3 The VBMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.4 The VB Method for Scalar Additive Decomposition . . . . . . . 37
3.4 VB-related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 39
3.4.1 Optimization with Minimum-Risk KL Divergence . . . . . . . . 39
3.4.2 Fixed-form (FF) Approximation . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.3 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 40
3.4.3.1 Adaptation of the VB method for the RVB
Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.3.2 The Quasi-Bayes (QB) Approximation . . . . . . . . . 42
3.4.4 The Expectation-Maximization (EM) Algorithm . . . . . . . . . . 44
3.5 Other Deterministic Distributional Approximations . . . . . . . . . . . . . . 45
3.5.1 The Certainty Equivalence Approximation . . . . . . . . . . . . . . . 45
3.5.2 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.3 The Maximum Entropy (MaxEnt) Approximation . . . . . . . . . 45
3.6 Stochastic Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 46
3.6.1 Distributional Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.7 Example: Scalar Multiplicative Decomposition . . . . . . . . . . . . . . . . . . 48
3.7.1 Classical Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.7.2 The Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.7.3 Full Bayesian Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.7.4 The Variational Bayes (VB) Approximation . . . . . . . . . . . . . . 51
3.7.5 Comparison with Other Techniques . . . . . . . . . . . . . . . . . . . . . 54
3.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4 Principal Component Analysis and Matrix Decompositions . . . . . . . . . 57
4.1 Probabilistic Principal Component Analysis (PPCA) . . . . . . . . . . . . . 58
4.1.1 Maximum Likelihood (ML) Estimation for the PPCA Model 59
4.1.2 Marginal Likelihood Inference of A. . . . . . . . . . . . . . . . . . . . . 61
4.1.3 Exact Bayesian Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2 The Variational Bayes (VB) Method for the PPCA Model . . . . . . . . . 62
4.3 Orthogonal Variational PCA (OVPCA) . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.1 The Orthogonal PPCA Model . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.2 The VB Method for the Orthogonal PPCA Model . . . . . . . . . 70
4.3.3 Inference of Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Moments of the Model Parameters . . . . . . . . . . . . . . . . . . . . . . 78
4.4 Simulation Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.1 Convergence to Orthogonal Solutions: VPCA vs. FVPCA . . 79
4.4.2 Local Minima in FVPCA and OVPCA . . . . . . . . . . . . . . . . . . 82
4.4.3 Comparison of Methods for Inference of Rank . . . . . . . . . . . . 83
4.5 Application: Inference of Rank in a Medical Image Sequence. . . . . . 85
4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

5 Functional Analysis of Medical Image Sequences . . . . . . . . . . . . . . . . . 89
5.1 A Physical Model for Medical Image Sequences . . . . . . . . . . . . . . . . 90
5.1.1 Classical Inference of the Physiological Model . . . . . . . . . . . 92
5.2 The FAMIS Observation Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.1 Bayesian Inference of FAMIS and Related Models . . . . . . . . 94
5.3 The VB Method for the FAMIS Model . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4 The VBMethod for FAMIS: Alternative Priors . . . . . . . . . . . . . . . . . . 99
5.5 Analysis of Clinical Data Using the FAMIS Model . . . . . . . . . . . . . . 102
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6 On-line Inference of Time-Invariant Parameters . . . . . . . . . . . . . . . . . . 109
6.1 Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2 Bayesian Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2.1 The Dynamic Exponential Family (DEF) . . . . . . . . . . . . . . . . 112
6.2.2 Example: The AutoRegressive (AR) Model . . . . . . . . . . . . . . 114
6.2.3 Recursive Inference of non-DEF models . . . . . . . . . . . . . . . . . 117
6.3 The VB Approximation in On-Line Scenarios . . . . . . . . . . . . . . . . . . . 118
6.3.1 Scenario I: VB-Marginalization for Conjugate Updates . . . . 118
6.3.2 Scenario II: The VB Method in One-Step Approximation . . . 121
6.3.3 Scenario III: Achieving Conjugacy in non-DEF Models via
the VB Approximation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.4 The VB Method in the On-Line Scenarios . . . . . . . . . . . . . . . 126
6.4 Related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . . . 127
6.4.1 The Quasi-Bayes (QB) Approximation in On-Line Scenarios 128
6.4.2 Global Approximation via the Geometric Approach . . . . . . . 128
6.4.3 One-step Fixed-Form (FF) Approximation . . . . . . . . . . . . . . . 129
6.5 On-line Inference of a Mixture of AutoRegressive (AR) Models . . . 130
6.5.1 The VBMethod for ARMixtures. . . . . . . . . . . . . . . . . . . . . . . 130
6.5.2 Related Distributional Approximations for AR Mixtures . . . 133
6.5.2.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . 133
6.5.2.2 One-step Fixed-Form (FF) Approximation . . . . . . . 135
6.5.3 Simulation Study: On-line Inference of a Static Mixture . . . . 135
6.5.3.1 Inference of a Many-Component Mixture . . . . . . . . 136
6.5.3.2 Inference of a Two-Component Mixture . . . . . . . . . 136
6.5.4 Data-Intensive Applications of Dynamic Mixtures . . . . . . . . . 139
6.5.4.1 Urban Vehicular Traffic Prediction . . . . . . . . . . . . . . 141
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7 On-line Inference of Time-Variant Parameters . . . . . . . . . . . . . . . . . . . . 145
7.1 Exact Bayesian Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.2 The VB-Approximation in Bayesian Filtering . . . . . . . . . . . . . . . . . . . 147
7.2.1 The VB method for Bayesian Filtering . . . . . . . . . . . . . . . . . . 149
7.3 Other Approximation Techniques for Bayesian Filtering . . . . . . . . . . 150
7.3.1 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 150
7.3.2 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

7.3.3 Stabilized Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.3.3.1 The Choice of the Forgetting Factor . . . . . . . . . . . . . 154
7.4 The VB-Approximation in Kalman Filtering . . . . . . . . . . . . . . . . . . . . 155
7.4.1 The VB method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.4.2 Loss of Moment Information in the VB Approximation . . . . 158
7.5 VB-Filtering for the Hidden Markov Model (HMM) . . . . . . . . . . . . . 158
7.5.1 Exact Bayesian filtering for known T . . . . . . . . . . . . . . . . . . . 159
7.5.2 The VB Method for the HMM Model with Known T . . . . . . 160
7.5.3 The VB Method for the HMM Model with Unknown T . . . . 162
7.5.4 Other Approximate Inference Techniques . . . . . . . . . . . . . . . 164
7.5.4.1 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.5.4.2 Certainty Equivalence Approach . . . . . . . . . . . . . . . 165
7.5.5 Simulation Study: Inference of Soft Bits . . . . . . . . . . . . . . . . . 166
7.6 The VB-Approximation for an Unknown Forgetting Factor . . . . . . . 168
7.6.1 Inference of a Univariate AR Model with Time-Variant
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.6.2 Simulation Study: Non-stationary AR Model Inference via
Unknown Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.6.2.1 Inference of an AR Process with Switching
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.6.2.2 Initialization of Inference for a Stationary AR
Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8 The Mixture-based Extension of the AR Model (MEAR) . . . . . . . . . . . . 179
8.1 The Extended AR (EAR) Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.1.1 Bayesian Inference of the EAR Model. . . . . . . . . . . . . . . . . . . 181
8.1.2 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.2 The EAR Model with Unknown Transformation: the MEAR Model 182
8.3 The VB Method for the MEAR Model . . . . . . . . . . . . . . . . . . . . . . . . . 183
8.4 Related Distributional Approximations for MEAR . . . . . . . . . . . . . . . 186
8.4.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . . . . . . . . . 186
8.4.2 The Viterbi-Like (VL) Approximation . . . . . . . . . . . . . . . . . . . 187
8.5 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.6 The MEAR Model with Time-Variant Parameters . . . . . . . . . . . . . . . . 191
8.7 Application: Inference of an AR Model Robust to Outliers . . . . . . . . 192
8.7.1 Design of the Filter-bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
8.7.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
8.8 Application: Inference of an AR Model Robust to Burst Noise . . . . 196
8.8.1 Design of the Filter-Bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
8.8.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
8.8.3 Application in Speech Reconstruction . . . . . . . . . . . . . . . . . . . 201
8.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1電子電路原理第七版PDF電子教材免費下載
  2. 0.00 MB  |  1490次下載  |  免費
  3. 2單片機典型實例介紹
  4. 18.19 MB  |  92次下載  |  1 積分
  5. 3S7-200PLC編程實例詳細資料
  6. 1.17 MB  |  27次下載  |  1 積分
  7. 4筆記本電腦主板的元件識別和講解說明
  8. 4.28 MB  |  18次下載  |  4 積分
  9. 5開關電源原理及各功能電路詳解
  10. 0.38 MB  |  10次下載  |  免費
  11. 6基于AT89C2051/4051單片機編程器的實驗
  12. 0.11 MB  |  4次下載  |  免費
  13. 7藍牙設備在嵌入式領域的廣泛應用
  14. 0.63 MB  |  3次下載  |  免費
  15. 89天練會電子電路識圖
  16. 5.91 MB  |  3次下載  |  免費

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234313次下載  |  免費
  3. 2PADS 9.0 2009最新版 -下載
  4. 0.00 MB  |  66304次下載  |  免費
  5. 3protel99下載protel99軟件下載(中文版)
  6. 0.00 MB  |  51209次下載  |  免費
  7. 4LabView 8.0 專業版下載 (3CD完整版)
  8. 0.00 MB  |  51043次下載  |  免費
  9. 5555集成電路應用800例(新編版)
  10. 0.00 MB  |  33562次下載  |  免費
  11. 6接口電路圖大全
  12. 未知  |  30320次下載  |  免費
  13. 7Multisim 10下載Multisim 10 中文版
  14. 0.00 MB  |  28588次下載  |  免費
  15. 8開關電源設計實例指南
  16. 未知  |  21539次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935053次下載  |  免費
  3. 2protel99se軟件下載(可英文版轉中文版)
  4. 78.1 MB  |  537791次下載  |  免費
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420026次下載  |  免費
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234313次下載  |  免費
  9. 5Altium DXP2002下載入口
  10. 未知  |  233045次下載  |  免費
  11. 6電路仿真軟件multisim 10.0免費下載
  12. 340992  |  191183次下載  |  免費
  13. 7十天學會AVR單片機與C語言視頻教程 下載
  14. 158M  |  183277次下載  |  免費
  15. 8proe5.0野火版下載(中文版免費下載)
  16. 未知  |  138039次下載  |  免費
主站蜘蛛池模板: 黄色直接观看| 国产亚洲欧美高清在线| 成人免费视频无遮挡在线看| 超碰视频在线观看| 高H各种PLAY全肉NP| 国产看午夜精品理论片| 果冻传媒2021精品在线观看| 九九热久久只有精品2| 美女伸开两腿让我爽| 奇米网一区二区三区在线观看| 双性被疯狂灌满精NP| 亚洲精品久久久久久偷窥| 最新国产麻豆精品| jizzxxxx18中国内地| 国产精品久久久久久无码专区| 精品国产成人AV在线看| 蜜桃狠狠色伊人亚洲综合网站| 日本三级黄色大片| 亚洲精品中文字幕制| 91久久偷偷做嫩草影院免费看| 纯肉宠文高h一对一| 国产午夜福利100集发布| 毛片免费在线视频| 色老汉网址导航| 亚洲中文热码在线视频| 99精品国产高清自在线看超| 国产精品99久久久久久AV下载| 久久99re7在线视频精品| 欧洲精品不卡1卡2卡三卡四卡| 胸大的姑娘中文字幕视频| 《乳色吐息》无删减版在线观看| 草莓视频在线观看免费观看高清 | 亚洲精品m在线观看| 2019一級特黃色毛片免費看| 第九色区av天堂| 九九久久国产精品大片| 色列少女漫画| 幼儿交1300部一区二区| 高h肉文np| 毛片免费在线播放| 亚洲.日韩.欧美另类|