Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結構化的數據。Scrapy吸引人的地方在于它是一個框架,任何人都可以根據需求方便的修改。Scrapy用途廣泛,可以用于數據挖掘、監測和自動化測試。
1、關于虛擬環境的創建可以參考之前發布的兩篇博文,在Windows下如何創建指定的虛擬環境和在Windows下如何創建虛擬環境(默認情況下)。下面在指定的文件夾下,直接先創建環境,在命令行輸入環境創建命令“virtualenv --python=C:Python34python.exe scrapy_demo”,指定Python的版本和路徑,以及虛擬環境的名字scrapy_demo,其中虛擬環境可以自己進行修改,這里命名為scrapy_demo。
2、爾后進入到scrapy_demo文件夾下,找到Scripts文件夾,輸入activate.bat以激活虛擬環境,步驟如下圖所示。之后可以看到scrapy_demo被括號括起來了,說明進入了環境,在命令行中輸入python,可以看到直接彈出Python3的環境。
3、新建完虛擬環境之后,接下來就開始安裝Scrapy,輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面這個命令是通過豆瓣源鏡像進行下載,速度會快很多,而且較為穩定,建議使用該方法進行安裝,Python中的其他庫也建議用該命令進行安裝,十分的方便快捷。輸入命令之后,等待Scrapy的安裝,如下圖所示。
4、可以看到Scrapy的安裝速度非常快,因為我們使用了鏡像進行下載。不過稍等片刻之后可能會碰到timeout的問題,這是由于Scrapy安裝的過程中需要很多依賴包,導致下載過程中會遇到網絡延時的問題,此時只需要重新輸入安裝命令進行安裝即可。除了timeout的問題之外,可能還會碰到下圖這個問題。
5、這個問題的出現是因為缺乏Twisted依賴包,此時通過“pip install twisted”可能有問題,在Python包網站,里邊的Python包專門用于Windows下的安裝的。在網頁中找到Twisted安裝包,然后選擇本機Python對應版本和電腦系統位數的安裝包,小編的電腦是64位的,而且Python版本是Python3.4,所以下載的包如下圖紅色框框所示。
-
WINDOWS
+關注
關注
4文章
3551瀏覽量
88859 -
應用軟件
+關注
關注
0文章
52瀏覽量
9111
發布評論請先 登錄
相關推薦
評論