當你寫了一個處理數據的軟件，它可能在小樣本文件上運行地很好，但一旦加載大量真實數據后，這個軟件就會崩潰。

問題在于你沒有足夠的內存——如果你有 16GB 的 RAM ，你就無法一次載入 100GB 大小的文件。載入這么大的文件時，操作系統在某個時刻就會耗盡內存，不能分配存儲單元，你的程序也就會崩潰。

所以，你該怎樣防止這類情況發生？你可以啟動一個大數據集群——你所需要做的是：

搞到一個計算機集群。

花一周時間搭建這個集群。

大部分情況下，你需要學習一套全新的 API，重寫你所有的代碼。

這個代價可能很昂貴，會令人沮喪；幸運的是，大部分情況下，我們不必這樣做。

你需要一個簡單而容易的解決方案：在單機上處理你的數據，最小化環境搭建開銷，盡可能利用你正在使用的代碼庫。實際上，大部分情況你都可以做到這樣，只要使用一些方法即可，有時候這些方法被稱為“核外計算”（out-of-core computation）。

本文將介紹如下內容：

你究竟為什么需要 RAM。

處理無法放入內存的數據最簡單的方法：花些錢。

處理大量數據的三種基本軟件方法：壓縮、分塊、索引。

之后的文章將會展示如何把這些方法應用到諸如 NumPy 和 Pandas 這樣的庫中。

1你究竟為什么需要 RAM？

在我們開始解釋解決方案前，我們要弄清楚該問題是如何產生的。我們的計算機內存（RAM）能讓你讀寫數據，但是你的硬盤也可以讀寫數據——那為什么計算機還需要 RAM 呢？硬盤比 RAM 更便宜，所以它通常大到能夠容納下你的所有數據，那為什么你的代碼不能直接從硬盤讀寫數據呢？

理論上講，這也行得通的。但是，即使是最現代化且速度很快的 SSD 硬盤也比 RAM 慢太多：

從 SSD 上讀取數據： 大約 1.6 萬納秒

從 RAM 上讀取數據： 大于 100 納秒

如果你想要實現快速計算，數據就只能放在 RAM 中，否則你的代碼運行時就會慢上 150 倍。

2資金方面的解決方案：購買更多的 RAM

沒有足夠 RAM 時的最簡單解決方案就是花錢來解決。你要么購買一臺計算機，或者租一臺云端的虛擬機（VM：Virtual Machine，這會比大多數筆記本電腦貴得多）。2019 年 11 月，我稍微調研了一下，在價格方面做了一些比較，發現你可以這樣：

購買 一臺 Thinkpad M720 Tower，它有 6 個核和 64GB RAM，價格是 1074 美金。

租用 一臺云端的 VM，它有 64 個核和 432GB RAM，價格是每小時 3.62 美金。

這只是我稍微調研后發現的數字，再繼續調研下去，你會發現更好的方案。

如果花錢購買硬件可以把你的數據讀入 RAM，這通常就會是一個最經濟的解決方案：畢竟你的時間相當寶貴。但是，有時候，這還不夠解決這個問題。

例如，如果你要運行許多數據處理任務，在一段時期內，云計算可能是一個自然能想到的解決方案，但也是一個昂貴的解決方案。曾經在一個工作中，我的軟件項目需要的計算開銷幾乎快用完了我們產品所有的預期收入，包括支付我薪水所需的至關重要的那部分收入。

如果購買 / 租用更多的 RAM 不足以滿足需求或者根本行不通時，下一步就應該考慮如何通過修改軟件來減少內存使用了。

3技巧 #1：壓縮

壓縮意味著用一種不同的表達形式表示你的數據，這種形式能占用更少內存。有兩種方式來壓縮：

無損壓縮： 存儲的數據包含的信息和原始數據包含的信息完全相同。

有損壓縮： 存儲的數據丟失了一些原始數據里的細節信息，但是這種信息丟失理想情況下不會對計算結果造成什么影響。

我想說明的是，我不是在談論使用 ZIP 或者 gzip 工具來壓縮文件，因為這些工具通常是對硬盤上的文件進行壓縮的。為了處理 ZIP 壓縮過的文件，你通常需要把這個文件載入內存中再進行解壓縮為原始文件大小，所以這其實對內存節省沒有什么幫助。

你需要的是內存中的數據壓縮表示形式。

例如，比如說你的數據有兩個值，一共也只會有兩個值：“AVAILABLE”（代表可能取到的值）和“UNAVAILABLE”（代表不可能取到的值）。我們可以不必將其存為 10 個或更多字節的字符串，你可以將其存為一個布爾值，用 True 或者 False 表示，這樣你就可以只用 1 個字節來表示了。你甚至可以繼續壓縮至 1 位來表示布爾值，這樣就繼續壓縮到了 1 個字節時的 1/8 大小。

4技巧 #2：分塊，每次只加載所有數據里的某一塊

當你需要處理所有數據，而又無需把所有數據同時載入內存時，分塊是很有用的。你可以把數據按塊載入內存，每次計算一塊的數據（或者正如我們要在今后一篇文章里想討論的，可以多塊并行處理）。

例如，比如說，你想搜索一本書里的最長單詞。你可以一次性將所有數據載入內存：

largest_word = “” for word in book.get_text.split： if len（word） 》 len（largest_word）：largest_word = word

但是在我們的例子中，這本書太大而不能完全載入內存，這時候你就可以一頁一頁地載入這本書。

largest_word = “” for page in book.iterpages： for word in page.get_text.split： if len（word） 》 len（largest_word）： largest_word = word

這樣你使用的內存就大大減少了，因為你一次只需要把這本書的一頁載入內存，而最后得到的結果仍然是正確的。

5技巧 #3：當你需要數據的一個子集時，索引會很有用

當你需要數據的一個子集時，索引會很有用，使用索引你可以在不同時刻加載數據的不同子集。

你也可以用分塊解決這個問題：每次加載所有的數據，過濾掉你不想要的數據。但這會很慢，因為你加載了很多不相關的數據。

如果你只需要部分數據，不要使用分塊，最好使用索引，它可以告訴你到哪里能找出你關心的那部分數據。

想象一下，你只想閱讀書本中關于土豚的章節。如果你運用分塊技術，你得載入整本書，一頁一頁的載入，每頁地搜尋土豚——但這要花很長時間才能完成。

或者說，你可以直接閱讀這本書的末尾部分，也就是書本的索引部分，然后找到“土豚”的索引項。它可能會告訴你在第 7、19 頁以及 120-123 頁可以讀到相關內容。所以，現在你可以只讀那幾頁，這樣就快多了。

這樣很有效，因為索引比整本書占用的空間要小很多，所以把索引載入內存找出相關內容所在就會更容易。

6最簡單的索引技巧

最簡單也最常用的實現索引的方法就是在目錄里給文件恰當命名：

mydata/ 2019-Jan.csv 2019-Feb.csv 2019-Mar.csv 2019-Apr.csv 。..

如果你想要 2019 年 3 月數據，你就只需要加載 2019-Mar.csv 這個文件——而不用加載 2 月、7 月或者其他任何月份的數據。

7下一步：應用這些技巧

RAM 不夠用，最簡單的解決方法就是花錢買更多的 RAM。但是，如果這個方案無法實現或者仍然不夠用時，你就需要使用壓縮、分塊或者索引來解決。

這些方法也出現在其他許多不同的軟件包和工具中。即使是大數據系統也是建立在這些方法之上的：例如使用多個計算機來處理分塊數據。

在接下來的文章里，我會給你展示如何使用具體的庫和工具（NumPy、Pandas，或者用 ZIP 工具壓縮文件）來應用這些方法。如果在我寫完這些文章時，你就想閱讀到它們，請在下方表格里注冊我的通訊簡報（newsletter）。