一、目標

排行榜的地址：http://www.qu.la/paihangbang/

找到各類排行旁的的每一部小說的名字，和在該網站的鏈接。

二、觀察網頁的結構

很容易就能發現，每一個分類都是包裹在：

之中，

這種條理清晰的網站，大大方便了爬蟲的編寫。

在當前頁面找到所有小說的連接，并保存在列表即可。

三、列表去重的小技巧：

就算是不同類別的小說，也是會重復出現在排行榜的。

這樣無形之間就會浪費很多資源，尤其是在面對爬大量網頁的時候。

這里只要一行代碼就能解決：

這里調用了一個list的構造函數set：這樣就能保證列表里沒有重復的元素了。

四、代碼實現

模塊化，函數式編程是一個非常好的習慣，堅持把每一個獨立的功能都寫成函數，這樣會使代碼簡單又可復用。

1.網頁抓取頭：

2.獲取排行榜小說及其鏈接：

爬取每一類型小說排行榜，

按順序寫入文件，

文件內容為 小說名字+小說鏈接

將內容保存到列表

并且返回一個裝滿url鏈接的列表

3.獲取單本小說的所有章節鏈接:

獲取該小說每個章節的url地址，并創建小說文件

4.獲取單頁文章的內容并保存到本地

這里有個小技巧：

從網上爬下來的文件很多時候都是帶著
之類的格式化標簽，

可以通過一個簡單的方法把它過濾掉：

html = get_html(url).replace('
', '\n')

這里單單過濾了一種標簽，并將其替換成‘\n’用于文章的換行，

6.主函數

7.輸出結果

5.缺點：

本次爬蟲寫的這么順利，更多的是因為爬的網站是沒有反爬蟲技術，以及文章分類清晰，結構優美。

但是，按照這篇文的思路去爬取小說，

大概計算了一下：

一篇文章需要：0.5s

一本小說（1000張左右）：8.5分鐘

全部排行榜（60本）：8.5小時！

那么，這種單線程的爬蟲，速度如何能提高呢？

自己寫個多線程模塊？

其實還有更好的方式：Scrapy框架

后面可將這里的代碼重構一邊遍，

速度會幾十倍甚至幾百倍的提高了！

這其實也是多線程的威力！