本書講解 了 如何使用Python?來編寫網絡爬蟲程序 ， 內 容包括 網絡爬蟲簡介 ， 從頁面 中 抓取數據 的三種方法 ， 提取緩存 中 的 數據 ， 使用 多 個線程和進程來進行并發抓取 ， 如何抓取動態頁面 中 的 內 容 ， 與表單進行交互 ， 處理頁面 中 的 驗證碼 問 題， 以及使用 Sca rpy 和 Portia 來進行數據抓取 ， 并在最后使用 本書介紹 的 數據抓取技術對幾個真實 的 網 站進行 了 抓取 ， 旨在幫 助讀者活學活用書中介紹 的技術 。本書適合有一定Python 編程經驗 ， 而且對爬蟲技術感興趣的讀者閱讀 。

　　互聯網 包含了迄今為止最有用的數據集， 并且大部分可以免費公開訪問。但是， 這些數據難以復用。 它們被嵌入在網 站的結構和樣式當中， 需要抽取出來才能使用。 從網 頁中抽取數據的過程又被稱為網 絡爬蟲。 隨著越來越多的信息被發布到網 絡上， 網 絡爬蟲也變得越來越有用。

?

　　本書內容

　　第1章， 網 絡爬蟲簡介， 介紹了網 絡爬蟲， 并講解了爬取網站 的方法。

　　第2章， 數據抓取，展示了如何從網 頁中抽取數據。

　　第3章， 下載緩存， 學習了如何通過緩存結果避免重復下載的問題。

　　第4章， 并發下載， 通過并行下載加速數據抓 取。

　　第5章， 動態內容， 展示了如何從動態網 站中抽取數據。

　　第6章， 表單交互， 展示了如何與 表單進行交互， 從而訪問你需要的數據。

　　第7章， 驗證碼處理， 闡述了如何訪問被驗證碼圖像保護的數據。

　　第8章， Scrapy， 學習了如何使用流行的高級框架 Scrapy。

　　第9章， 總結， 對我們介紹的這些網 絡爬蟲技術進行總結。

　　假 設我有一個鞋店， 并且想要及時了解競爭對手的價格。 我可以每天訪問他們的網 站 ， 與 我店鋪中鞋子的價格進行對比。但是， 如果我店鋪中的鞋類品種繁多，或是希望 能夠更加頻繁地查看價格變化的話， 就需要花費大量的時間， 甚至難以實現。 再舉一個例 子， 我看中了一雙鞋， 想等它促銷時再購買。我可能需要每天訪問這家鞋店的網 站 來查看這雙鞋是否降價， 也許需要等待幾個月的時間， 我才能如愿盼到這雙鞋促銷。 上述這兩個重復性的手工流程，都可以利用本書介紹的網 絡爬蟲技術實現自動化處理。

　　理想狀態下， 網 絡爬蟲并不是必須品，每個網站 都應該提供 API， 以結構化的格式共享它們的數據。 然而現實情況中， 雖然一些網站 已經提供了這種 API，但是它們通常會限制可以抓 取的數據，以及訪問這些數據的頻率。 另外，對于網站 的開發者而言， 維護前端界面比維護后端API接口優先級更高。 總之， 我們不能僅僅依賴于 API去訪問我們所需的在線數據， 而是應該學習一些網 絡爬蟲技術的相 關知識。