色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

機器學習回歸模型相關重要知識點總結

穎脈Imgtec ? 2022-11-10 10:02 ? 次閱讀

來源:機器學習研習院


回歸分析為許多機器學習算法提供了堅實的基礎。在這篇文章中,我們將總結 10 個重要的回歸問題和5個重要的回歸問題的評價指標。

1、線性回歸的假設是什么?

線性回歸有四個假設

  • 線性:自變量(x)和因變量(y)之間應該存在線性關系,這意味著x值的變化也應該在相同方向上改變y值。
  • 獨立性:特征應該相互獨立,這意味著最小的多重共線性。
  • 正態性:殘差應該是正態分布的。
  • 同方差性:回歸線周圍數據點的方差對于所有值應該相同。

2、什么是殘差,它如何用于評估回歸模型?

殘差是指預測值與觀測值之間的誤差。它測量數據點與回歸線的距離。它是通過從觀察值中減去預測值的計算機。

殘差圖是評估回歸模型的好方法。它是一個圖表,在垂直軸上顯示所有殘差,在 x 軸上顯示特征。如果數據點隨機散布在沒有圖案的線上,那么線性回歸模型非常適合數據,否則我們應該使用非線性模型。

b86d7f22-5f80-11ed-b116-dac502259ad0.png

3、如何區分線性回歸模型和非線性回歸模型?

兩者都是回歸問題的類型。兩者的區別在于他們訓練的數據。

線性回歸模型假設特征和標簽之間存在線性關系,這意味著如果我們獲取所有數據點并將它們繪制成線性(直線)線應該適合數據。

非線性回歸模型假設變量之間沒有線性關系。非線性(曲線)線應該能夠正確地分離和擬合數據。b8966e6e-5f80-11ed-b116-dac502259ad0.png找出數據是線性還是非線性的三種最佳方法 -

殘差圖

  1. 散點圖
  2. 假設數據是線性的,訓練一個線性模型并通過準確率進行評估。

4、什么是多重共線性,它如何影響模型性能?

當某些特征彼此高度相關時,就會發生多重共線性。相關性是指表示一個變量如何受到另一個變量變化影響的度量。

如果特征 a 的增加導致特征 b 的增加,那么這兩個特征是正相關的。如果 a 的增加導致特征 b 的減少,那么這兩個特征是負相關的。在訓練數據上有兩個高度相關的變量會導致多重共線性,因為它的模型無法在數據中找到模式,從而導致模型性能不佳。所以在訓練模型之前首先要盡量消除多重共線性。

5、異常值如何影響線性回歸模型的性能?

異常值是值與數據點的平均值范圍不同的數據點。換句話說,這些點與數據不同或在第 3 標準之外。b8a887e8-5f80-11ed-b116-dac502259ad0.png線性回歸模型試圖找到一條可以減少殘差的最佳擬合線。如果數據包含異常值,則最佳擬合線將向異常值移動一點,從而增加錯誤率并得出具有非常高 MSE 的模型。

6、什么是 MSE 和 MAE 有什么區別?

MSE 代表均方誤差,它是實際值和預測值之間的平方差。而 MAE 是目標值和預測值之間的絕對差。

MSE 會懲罰大錯誤,而 MAE 不會。隨著 MSE 和 MAE 的值都降低,模型趨向于一條更好的擬合線。

7、L1 和 L2 正則化是什么,應該在什么時候使用?

在機器學習中,我們的主要目標是創建一個可以在訓練和測試數據上表現更好的通用模型,但是在數據非常少的情況下,基本的線性回歸模型往往會過度擬合,因此我們會使用 l1 和l2 正則化。L1 正則化或 lasso 回歸通過在成本函數內添加添加斜率的絕對值作為懲罰項。有助于通過刪除斜率值小于閾值的所有數據點來去除異常值。

L2 正則化或ridge 回歸增加了相當于系數大小平方的懲罰項。它會懲罰具有較高斜率值的特征。

l1 和 l2 在訓練數據較少、方差高、預測特征大于觀察值以及數據存在多重共線性的情況下都很有用。

8、異方差是什么意思?

它是指最佳擬合線周圍的數據點的方差在一個范圍內不一樣的情況。它導致殘差的不均勻分散。如果它存在于數據中,那么模型傾向于預測無效輸出。檢驗異方差的最好方法之一是繪制殘差圖。

數據內部異方差的最大原因之一是范圍特征之間的巨大差異。例如,如果我們有一個從 1 到 100000 的列,那么將值增加 10% 不會改變較低的值,但在較高的值時則會產生非常大的差異,從而產生很大的方差差異的數據點。

9、方差膨脹因子的作用是什么的作用是什么?

方差膨脹因子(vif)用于找出使用其他自變量可預測自變量的程度。

讓我們以具有 v1、v2、v3、v4、v5 和 v6 特征的示例數據為例。現在,為了計算 v1 的 vif,將其視為一個預測變量,并嘗試使用所有其他預測變量對其進行預測。如果 VIF 的值很小,那么最好從數據中刪除該變量。因為較小的值表示變量之間的高相關性。

10、逐步回歸(stepwise regression)如何工作?

逐步回歸是在假設檢驗的幫助下,通過移除或添加預測變量來創建回歸模型的一種方法。它通過迭代檢驗每個自變量的顯著性來預測因變量,并在每次迭代之后刪除或添加一些特征。它運行n次,并試圖找到最佳的參數組合,以預測因變量的觀測值和預測值之間的誤差最小。

它可以非常高效地管理大量數據,并解決高維問題。

11、除了MSE 和 MAE 外回歸還有什么重要的指標嗎?

b8b508ba-5f80-11ed-b116-dac502259ad0.png我們用一個回歸問題來介紹這些指標,我們的其中輸入是工作經驗,輸出是薪水。下圖顯示了為預測薪水而繪制的線性回歸線。b8c34a88-5f80-11ed-b116-dac502259ad0.png

1、平均絕對誤差(MAE):

b8cf968a-5f80-11ed-b116-dac502259ad0.png平均絕對誤差 (MAE) 是最簡單的回歸度量。它將每個實際值和預測值的差值相加,最后除以觀察次數。為了使回歸模型被認為是一個好的模型,MAE 應該盡可能小。MAE的優點是:簡單易懂。結果將具有與輸出相同的單位。例如:如果輸出列的單位是 LPA,那么如果 MAE 為 1.2,那么我們可以解釋結果是 +1.2LPA 或 -1.2LPA,MAE 對異常值相對穩定(與其他一些回歸指標相比,MAE 受異常值的影響較小)。MAE的缺點是:MAE使用的是模函數,但模函數不是在所有點處都可微的,所以很多情況下不能作為損失函數。

2、均方誤差(MSE):

b8e1f0f0-5f80-11ed-b116-dac502259ad0.pngMSE取每個實際值和預測值之間的差值,然后將差值平方并將它們相加,最后除以觀測數量。為了使回歸模型被認為是一個好的模型,MSE 應該盡可能小。MSE的優點:平方函數在所有點上都是可微的,因此它可以用作損失函數。MSE的缺點:由于 MSE 使用平方函數,結果的單位是輸出的平方。因此很難解釋結果。由于它使用平方函數,如果數據中有異常值,則差值也會被平方,因此,MSE 對異常值不穩定。

3、均方根誤差 (RMSE):

b8f03a84-5f80-11ed-b116-dac502259ad0.png均方根誤差(RMSE)取每個實際值和預測值之間的差值,然后將差值平方并將它們相加,最后除以觀測數量。然后取結果的平方根。因此,RMSE 是 MSE 的平方根。為了使回歸模型被認為是一個好的模型,RMSE 應該盡可能小。RMSE 解決了 MSE 的問題,單位將與輸出的單位相同,因為它取平方根,但仍然對異常值不那么穩定。

上述指標取決于我們正在解決的問題的上下文, 我們不能在不了解實際問題的情況下,只看 MAE、MSE 和 RMSE 的值來判斷模型的好壞。

4、R2 score:

b907f3cc-5f80-11ed-b116-dac502259ad0.png如果我們沒有任何輸入數據,但是想知道他在這家公司能拿到多少薪水,那么我們能做的最好的事情就是給他們所有員工薪水的平均值。b9226b1c-5f80-11ed-b116-dac502259ad0.pngR2 score 給出的值介于 0 到 1 之間,可以針對任何上下文進行解釋。它可以理解為是擬合度的好壞。SSR 是回歸線的誤差平方和,SSM 是均線誤差的平方和。我們將回歸線與平均線進行比較。b9315e60-5f80-11ed-b116-dac502259ad0.png

  • 如果 R2 得分為 0,則意味著我們的模型與平均線的結果是相同的,因此需要改進我們的模型。
  • 如果 R2 得分為 1,則等式的右側部分變為 0,這只有在我們的模型適合每個數據點并且沒有出現誤差時才會發生。
  • 如果 R2 得分為負,則表示等式右側大于 1,這可能發生在 SSR > SSM 時。這意味著我們的模型比平均線最差,也就是說我們的模型還不如取平均數進行預測

如果我們模型的 R2 得分為 0.8,這意味著可以說模型能夠解釋 80% 的輸出方差。也就是說,80%的工資變化可以用輸入(工作年限)來解釋,但剩下的20%是未知的。如果我們的模型有2個特征,工作年限和面試分數,那么我們的模型能夠使用這兩個輸入特征解釋80%的工資變化。R2的缺點:隨著輸入特征數量的增加,R2會趨于相應的增加或者保持不變,但永遠不會下降,即使輸入特征對我們的模型不重要(例如,將面試當天的氣溫添加到我們的示例中,R2是不會下降的即使溫度對輸出不重要)。

5、Adjusted R2 score:

上式中R2為R2,n為觀測數(行),p為獨立特征數。Adjusted R2解決了R2的問題。當我們添加對我們的模型不那么重要的特性時,比如添加溫度來預測工資.....b942e45a-5f80-11ed-b116-dac502259ad0.png當添加對模型很重要的特性時,比如添加面試分數來預測工資……b9592fc6-5f80-11ed-b116-dac502259ad0.png

以上就是回歸問題的重要知識點和解決回歸問題使用的各種重要指標的介紹及其優缺點,希望對你有所幫助。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器學習
    +關注

    關注

    66

    文章

    8407

    瀏覽量

    132567
收藏 人收藏

    評論

    相關推薦

    接口測試理論、疑問收錄與擴展相關知識點

    本文章使用王者榮耀游戲接口、企業微信接口的展示結合理論知識,講解什么是接口測試、接口測試理論、疑問收錄與擴展相關知識點知識學院,快來一起看看吧~
    的頭像 發表于 11-15 09:12 ?308次閱讀
    接口測試理論、疑問收錄與擴展<b class='flag-5'>相關</b><b class='flag-5'>知識點</b>

    【「時間序列與機器學習」閱讀體驗】時間序列的信息提取

    重要環節,目標是從給定的時間序列數據中提取出有用的信息和特征,以支持后續的分析和預測任務。 特征工程(Feature Engineering)是將數據轉換為更好地表示潛在問題的特征,從而提高機器學習
    發表于 08-17 21:12

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    機器翻譯、文本生成等領域具有廣泛應用。它們能夠基于用戶的提問或描述生成相關的答案或執行指令,極大地提升了信息檢索和利用的效率。 2. 局限性 盡管大語言模型在自然語言理解方面取得了顯著進展,但它們仍然存在
    發表于 08-02 11:03

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    今天開始學習《大語言模型應用指南》第一篇——基礎篇,對于人工智能相關專業技術人員應該可以輕松加愉快的完成此篇閱讀,但對于我還是有許多的知識點、專業術語比較陌生,需要網上搜索
    發表于 07-25 14:33

    【《大語言模型應用指南》閱讀體驗】+ 俯瞰全書

    ,了解此書的主要內容: 書分四篇,基礎、入門、進階和展望。 基礎篇從人工智能起源開始、之后又介紹了機器學習、神經網絡和大語言模型的基礎知識,如果讀者
    發表于 07-21 13:35

    Al大模型機器

    豐富的知識儲備。它們可以涵蓋各種領域的知識,并能夠回答相關問題。靈活性與通用性: AI大模型機器人具有很強的靈活性和通用性,能夠處理各種類型
    發表于 07-05 08:52

    名單公布!【書籍評測活動NO.35】如何用「時間序列與機器學習」解鎖未來?

    和專業知識,對這一領域進行系統的梳理和總結。然而,將時間序列分析與機器學習技術相結合的書籍卻并不多見。 以上正是《時間序列與機器
    發表于 06-25 15:00

    模擬電子技術知識點問題總結概覽

    給大家分享模擬電子技術知識點問題總結
    的頭像 發表于 05-08 15:16 ?1149次閱讀
    模擬電子技術<b class='flag-5'>知識點</b>問題<b class='flag-5'>總結</b>概覽

    一篇搞定DCS系統相關知識點

    目標。DCS系統廣泛應用于各個行業,如化工、電力、制藥等。在這些行業中,DCS系統可以實現對生產過程的集中監控和分散控制,提高生產效率和產品質量,降低能耗和減少環境污染,從而保證產品質量,并確保生產過程的安全可靠。 二.DCS系統知識點
    的頭像 發表于 03-26 18:40 ?886次閱讀
    一篇搞定DCS系統<b class='flag-5'>相關</b><b class='flag-5'>知識點</b>

    【量子計算機重構未來 | 閱讀體驗】第二章關鍵知識點

    本帖最后由 oxlm_1 于 2024-3-6 23:20 編輯 之所以將第二章單獨拿出來,是因為在閱讀過程中,發現第二章知識點較多,理解起來比較耗時間。 第二章的主要知識點: 量子
    發表于 03-06 23:17

    機器視覺基礎知識點總結

    照明是影響機器視覺系統輸入的重要因素。光源系統的設計非常重要,它與輸入數據直接相關,即圖像的質量和應用效果。
    發表于 01-16 10:08 ?1116次閱讀

    如何使用TensorFlow構建機器學習模型

    在這篇文章中,我將逐步講解如何使用 TensorFlow 創建一個簡單的機器學習模型
    的頭像 發表于 01-08 09:25 ?968次閱讀
    如何使用TensorFlow構建<b class='flag-5'>機器</b><b class='flag-5'>學習</b><b class='flag-5'>模型</b>

    詳解SystemVue中AtoD模型的help文件

    看懂軟件中ADC模型的help文件,需要懂的知識點也是不少的哈!
    的頭像 發表于 12-26 17:06 ?641次閱讀
    詳解SystemVue中AtoD<b class='flag-5'>模型</b>的help文件

    機器學習、深度學習面試知識點匯總

    AlexNet:在第一個卷積中使用了11x11卷積,第一次使用Relu,使用了NormLayer但不是我們經常說的BN。使用了dropout,在兩個GPU上進行了訓練,使用的訓練方式是模型并行、
    發表于 12-26 10:49 ?368次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>、深度<b class='flag-5'>學習</b>面試<b class='flag-5'>知識點</b>匯總

    淺談初級電工必備知識點

    對于初學電工的朋友來說,掌握一些基礎且實用的知識點是非常重要的。本文旨在分享初級電工應該掌握的核心知識,幫助新手電工更好地入門和提升技能。
    的頭像 發表于 12-26 10:44 ?1093次閱讀
    主站蜘蛛池模板: 美女的隐私蜜桃传媒免费看| 色婷婷激情AV精品影院| 扒开美女下面粉嫩粉嫩冒白浆| 日产亚洲一区二区三区| 精品无码久久久久久动漫| yellow视频免费观看高清在线| 亚洲精品tv久久久久久久久久| 哪里能看毛片| 荷兰少归BVBV| 耻辱诊察室1一4集动漫在线观看| 亚洲视频免费看| 十分钟免费视频大全在线观看| 美女内射少妇三区五区| 国产在线aaa片一区二区99 | 午夜一级视频| 工口肉肉彩色不遮挡| 一天不停的插BB十几次| 日韩综合网| 免费果冻传媒2021视频| 含羞草国产亚洲精品岁国产精品| wwww69| 5580免费午夜福利院| 亚洲高清无在码在线无弹窗| 强奷乱码中文字幕熟女免费| 久久久无码精品亚洲欧美| 国产婷婷色一区二区三区在线| freevideoshd| 99久热精品免费观看| 战狼4在线观看完免费完整版| 亚洲 小说 欧美 激情 另类| 日韩欧美视频一区| 欧美日韩中文国产一区发布| 国产精品女上位在线观看 | 好男人好资源在线观看| 4k岛国精品午夜高清在线观看| 性饥渴姓交HDSEX| 色婷婷我要去我去也| 日本高清加勒比| 琪琪色在线播放| 欧美自拍亚洲综合图区| 女人张开腿让男人添|