這是用矩陣因式分解來計算線性方程組的最小二乘解的根本方法。它來自 numpy 包中的線性代數模塊。通過求解一個 x 向量（它將|| b—a x ||2的歐幾里得 2-范數最小化），它可以解方程 ax=b。

該方程可能會欠定、確定或超定（即，a 中線性獨立的行少于、等于或大于其線性獨立的列數）。如果 a 是既是一個方陣也是一個滿秩矩陣，那么向量 x（如果沒有舍入誤差）正是方程的解。

借助這個方法，你既可以進行簡單變量回歸又可以進行多變量回歸。你可以返回計算的系數與殘差。一個小竅門是，在調用這個函數之前，你必須要在 x 數據上附加一列 1，才能計算截距項。結果顯示，這是處理線性回歸問題最快速的方法之一。

詳細描述參考：https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.linalg.lstsq.html#numpy.linalg.lstsq

方法 5： Statsmodels.OLS （ ）

statsmodel 是一個很不錯的 Python 包，它為人們提供了各種類與函數，用于進行很多不同統計模型的估計、統計試驗，以及統計數據研究。每個估計器會有一個收集了大量統計數據結果的列表。其中會對結果用已有的統計包進行對比試驗，以保證準確性。

對于線性回歸，人們可以從這個包調用 OLS 或者是 Ordinary least squares 函數來得出估計過程的最終統計數據。

需要記住的一個小竅門是，你必須要手動為數據 x 添加一個常數，以用于計算截距。否則，只會默認輸出回歸系數。下方表格匯總了 OLS 模型全部的結果。它和任何函數統計語言（如 R 和 Julia）一樣豐富。

詳細描述參考：

方法 6、7：使用矩陣求逆方法的解析解

對于一個良態（well-conditioned）線性回歸問題（至少是對于數據點、特征），回歸系數的計算存在一個封閉型的矩陣解（它保證了最小二乘的最小化）。它由下面方程給出：

在這里，我們有兩個選擇：

方法 6：使用簡單矩陣求逆乘法。

方法 7：首先計算數據 x 的廣義 Moore-Penrose 偽逆矩陣，然后將結果與 y 進行點積。由于這里第二個步驟涉及到奇異值分解（SVD），所以它在處理非良態數據集的時候雖然速度慢，但是結果不錯。（參考：開發者必讀：計算機科學中的線性代數）

詳細描述參考：https://en.wikipedia.org/wiki/Linear_least_squares_%28mathematics%29

方法 8： sklearn.linear_model.LinearRegression（ ）

這個方法經常被大部分機器學習工程師與數據科學家使用。然而，對于真實世界的問題，它的使用范圍可能沒那么廣，我們可以用交叉驗證與正則化算法比如 Lasso 回歸和 Ridge 回歸來代替它。但是要知道，那些高級函數的本質核心還是從屬于這個模型。

詳細描述參考：

以上方法的速度與時間復雜度測量

作為一個數據科學家，他的工作經常要求他又快又精確地完成數據建模。如果使用的方法本來就很慢，那么在面對大型數據集的時候便會出現執行的瓶頸問題。

一個判斷算法能力可擴展性的好辦法，是用不斷擴大的數據集來測試數據，然后提取所有試驗的執行時間，畫出趨勢圖。

可以在 GitHub 查看這個方法的代碼。下方給出了最終的結果。由于模型的簡單性，stats.linregress 和簡單矩陣求逆乘法的速度最快，甚至達到了 1 千萬個數據點。

總結

作為一個數據科學家，你必須要經常進行研究，去發現多種處理相同的分析或建模任務的方法，然后針對不同問題對癥下藥。

在本文中，我們討論了 8 種進行簡單線性回歸的方法。其中大部分方法都可以延伸到更一般的多變量和多項式回歸問題上。我們沒有列出這些方法的 R2 系數擬合，因為它們都非常接近 1。

對于（有百萬人工生成的數據點的）單變量回歸，回歸系數的估計結果非常不錯。

這篇文章首要目標是討論上述 8 種方法相關的速度/計算復雜度。我們通過在一個合成的規模逐漸增大的數據集（最大到 1 千萬個樣本）上進行實驗，我們測出了每種方法的計算復雜度。令人驚訝的是，簡單矩陣求逆乘法的解析解竟然比常用的 scikit-learn 線性模型要快得多。