色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

windows下如何新建爬蟲虛擬環境和進行Scrapy安裝

電子設計 ? 來源:電子設計 ? 作者:電子設計 ? 2020-12-25 18:03 ? 次閱讀

Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結構化的數據。Scrapy吸引人的地方在于它是一個框架,任何人都可以根據需求方便的修改。Scrapy用途廣泛,可以用于數據挖掘、監測和自動化測試。

1、關于虛擬環境的創建可以參考之前發布的兩篇博文,在Windows下如何創建指定的虛擬環境和在Windows下如何創建虛擬環境(默認情況下)。下面在指定的文件夾下,直接先創建環境,在命令行輸入環境創建命令“virtualenv --python=C:Python34python.exe scrapy_demo”,指定Python的版本和路徑,以及虛擬環境的名字scrapy_demo,其中虛擬環境可以自己進行修改,這里命名為scrapy_demo。

2、爾后進入到scrapy_demo文件夾下,找到Scripts文件夾,輸入activate.bat以激活虛擬環境,步驟如下圖所示。之后可以看到scrapy_demo被括號括起來了,說明進入了環境,在命令行中輸入python,可以看到直接彈出Python3的環境。

3、新建完虛擬環境之后,接下來就開始安裝Scrapy,輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面這個命令是通過豆瓣源鏡像進行下載,速度會快很多,而且較為穩定,建議使用該方法進行安裝,Python中的其他庫也建議用該命令進行安裝,十分的方便快捷。輸入命令之后,等待Scrapy的安裝,如下圖所示。

4、可以看到Scrapy的安裝速度非常快,因為我們使用了鏡像進行下載。不過稍等片刻之后可能會碰到timeout的問題,這是由于Scrapy安裝的過程中需要很多依賴包,導致下載過程中會遇到網絡延時的問題,此時只需要重新輸入安裝命令進行安裝即可。除了timeout的問題之外,可能還會碰到下圖這個問題。

5、這個問題的出現是因為缺乏Twisted依賴包,此時通過“pip install twisted”可能有問題,在Python包網站,里邊的Python包專門用于Windows下的安裝的。在網頁中找到Twisted安裝包,然后選擇本機Python對應版本和電腦系統位數的安裝包,小編的電腦是64位的,而且Python版本是Python3.4,所以下載的包如下圖紅色框框所示。

審核編輯:符乾江
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • WINDOWS
    +關注

    關注

    4

    文章

    3551

    瀏覽量

    88859
  • 應用軟件
    +關注

    關注

    0

    文章

    52

    瀏覽量

    9111
收藏 人收藏

    評論

    相關推薦

    Ubuntu系統的虛擬安裝步驟 如何在Ubuntu系統上編譯軟件

    updatesudo apt install virtualbox 2. 下載虛擬機鏡像 你需要一個操作系統的ISO鏡像文件來安裝虛擬機。你可以從操作系統的官方網站下載ISO文件,例如Win
    的頭像 發表于 12-12 14:36 ?361次閱讀

    如何在Windows安裝Ubuntu系統

    Windows安裝Ubuntu系統通常有兩種方法:使用虛擬機軟件安裝Ubuntu作為虛擬機,或者使用雙啟動
    的頭像 發表于 12-12 14:29 ?561次閱讀

    如何在虛擬機上安裝deepin系統

    如果你想在 Windows、macOS 或 Linux 發行版上體驗 deepin 系統,但又不想冒險破壞現在的電腦系統環境,通過虛擬機來安裝則是一個理想的選擇。
    的頭像 發表于 12-05 14:43 ?285次閱讀
    如何在<b class='flag-5'>虛擬</b>機上<b class='flag-5'>安裝</b>deepin系統

    干貨!基于RK3568的 AI 人工智能環境搭建步驟

    ==3.11 7、進入虛擬環境 conda activate rk3568-python 8、安裝opencv-python pip install opencv-python - i https
    發表于 11-12 09:43

    全球視野的海外爬蟲IP:趨勢、機遇與風險

    在全球視野,海外爬蟲IP的使用呈現出一系列趨勢,同時也伴隨著機遇與風險。
    的頭像 發表于 10-15 07:54 ?227次閱讀

    如何利用海外爬蟲IP進行數據抓取

    利用海外爬蟲IP進行數據抓取需要綜合考慮多個方面。
    的頭像 發表于 10-12 07:54 ?212次閱讀

    使用NVIDIA Edify助力的服務創建3D資產和虛擬環境照明

    使用 NVIDIA Edify 助力的服務創建 3D 資產和虛擬環境照明,或是減半生成圖像時間。
    的頭像 發表于 08-02 15:22 ?535次閱讀

    用pycharm進行python爬蟲的步驟

    以下是使用PyCharm進行Python爬蟲的步驟: 安裝PyCharm和Python 首先,您需要安裝PyCharm和Python。PyCharm是一個流行的Python集成開發
    的頭像 發表于 07-11 10:11 ?887次閱讀

    windowsidf-tools安裝進行到 “Switching branch”時失敗了的原因?

    windowsidf-tools安裝進行到 “Switching branch”時失敗 安裝時選擇的版本為4.2 4.3版本可以正常安裝
    發表于 06-21 07:19

    使用官方教程搭建Windows的Eclipse IDE環境出錯怎么解決?

    使用官方教程搭建Windows的Eclipse IDE環境出錯,不知該如何解決?
    發表于 06-18 06:50

    用離線安裝安裝的idf,其創建的Python虛擬環境無激活腳本是怎么回事?

    如題,用離線安裝安裝的idf,其創建的Python虛擬環境無激活腳本,具體如下圖所示: 反而用vscode插件安裝的idf有,如下圖:vscode插件
    發表于 06-11 06:49

    鴻蒙OpenHarmony【搭建Windows環境

    支持在Windows環境進行編譯,如Hi3861、Hi3516系列開發板。因此,建議使用Ubuntu的編譯環境對源碼
    的頭像 發表于 04-19 15:42 ?628次閱讀
    鴻蒙OpenHarmony【搭建<b class='flag-5'>Windows</b><b class='flag-5'>環境</b>】

    【Longan Pi 3H 開發板試用連載體驗】給ChatGPT裝上眼睛,并且還可以語音對話:4,項目開發環境搭建

    項目環境搭建 從這一期開始我們要正式開始做項目。項目的開發環境是python,Longan Pi中已經預先安裝了Python 3.11。出于多用途使用考慮,我們最好給每一個項目新建一個
    發表于 04-12 15:39

    STM32CubeMX 4.4.0突然無法使用了,反復卸載和安裝都不行怎么解決?

    STM32CubeMX 4.4.0突然無法使用了,反復卸載和安裝都無濟于事。 MicroXplorer 3.2倒是可以使用。操作系統是WIN7-X64,裝有最新的JAVA 32位和64位虛擬環境
    發表于 03-07 07:20

    虛擬現實技術應用在哪些方面

    虛擬現實(Virtual Reality,簡稱VR)技術是一種將用戶置身于虛擬環境中的交互式數字技術。它通過模擬真實世界的感官體驗,如視覺、聽覺、觸覺和運動等,使用戶可以與虛擬環境進行
    的頭像 發表于 01-15 09:31 ?2429次閱讀
    主站蜘蛛池模板: 在线中文字幕视频| 色欲AV亚洲永久无码精品麻豆| 久久资源365| 亚洲AV人无码综合在线观看蜜桃| 草莓在线观看| 欧美三级黄色大片| 99久久麻豆AV色婷婷综合| 久久中文字幕免费高清| 在线观看免费av网站| 精品视频在线观看视频免费视频| 亚洲成人在线免费| 国产在线精品亚洲第1页| 午夜色网站| 国内国外精品影片无人区| 亚洲成a人片777777久久| 国产麻豆精品久久一二三| 我要干av| 国产真实女人一级毛片| 亚洲免费福利在线视频| 久久国产亚洲精品AV麻豆| 中文乱码35页在线观看| 蜜柚在线观看免费高清官网视频 | 第一次处破女高清电影| 日韩综合网| 国产h视频在线观看免费| 午夜伦yy44880影院| 灰原哀被啪漫画禁漫| 在线视频av大全色久久| 免费国产成人高清在线看软件| gayxxxxgay呻吟受日本| 日韩精品a在线视频| 国产视频www| 印度学生xxxxx性14一16| 美女脱光app| 第一福利在线永久视频| 亚州笫一色惰网站| 老妇xxxxbbbb| 高h原耽肉汁动漫视频| 亚洲一区自拍高清亚洲精品| 免费果冻传媒2021在线观看| 国产成人亚洲综合无|