色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Python網(wǎng)絡(luò)爬蟲Selenium的簡單使用

冬至子 ? 來源:宓海 ? 作者:宓海 ? 2023-11-14 14:44 ? 次閱讀

Python網(wǎng)絡(luò)爬蟲-Selenium

想要學(xué)習(xí)爬蟲,如果比較詳細的了解web開發(fā)的前端知識會更加容易上手,時間不夠充裕,僅僅了解html的相關(guān)知識也是夠用的。

準備工作:

使用它肯定先要安裝它,對于Selenium的安裝推薦使用pip,十分方便。因為我使用的是谷歌瀏覽器,使用前需要先配置相應(yīng)的ChromeDriver,在此放出對應(yīng)谷歌瀏覽器對應(yīng)的80版本的ChromeDriver。地址 :點擊下載提取碼:sz2s
至于如何去安裝配置,網(wǎng)絡(luò)上有很多教程,在此不做贅述。

簡要功能:

使用Selenium可以驅(qū)動瀏覽器執(zhí)行特定操作,如點擊,下拉等等,同時也能直接抓取網(wǎng)頁源代碼,即做到可見即可爬。

1.訪問頁面

通過下面這幾行代碼可以實現(xiàn)瀏覽器的驅(qū)動并獲取網(wǎng)頁源碼,非常便捷。

from selenium import webdriver

browser = webdriver.Chrome()  #聲明瀏覽器對象
browser.get('https://www.baidu.com')
print(browser.page_source)  #打印網(wǎng)頁源碼
browser.close()			#關(guān)閉瀏覽器

2.查找節(jié)點

selenium可以驅(qū)動瀏覽器完成各種操作,但進行模擬點擊,填寫表單時,我們總要知道這些輸入框,點擊按鈕在哪里,所以需要獲取相對的節(jié)點。總共有其中尋找節(jié)點的方法,在此給出一個非常全面的學(xué)習(xí)查找節(jié)點的教程

=單個節(jié)點=
下面以百度首頁為例。通過查找源碼,我們可以發(fā)現(xiàn)對應(yīng)搜索文本框的class,name,id等屬性名。

圖片

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('kw')		#獲取搜索框位置
input.send_keys('Python')    	#輸入內(nèi)容

運行代碼得到如下內(nèi)容,此時我們只是輸入,并未進行其他操作。

圖片

=多個節(jié)點=

如果查找目標在網(wǎng)頁中只有一個,使用find_element()方法就可了。如果有多個,舉個例子,如查找多個滿足條件的節(jié)點,通過html基本知識我們可以知道元素對應(yīng)的id名是唯一的,像是其他的class等可以多次出現(xiàn),其中對應(yīng)的滿足條件的倘若還用一開始的方法便只能得到第一個節(jié)點的內(nèi)容,后面就不能得到,因此可以使用find_elements()。

3.節(jié)點交互

意思就是讓瀏覽器模擬執(zhí)行一些動作,常用的有:輸入文字用send_keys(),清空文字用clear(),點擊用click()。放個小實例。

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('kw')
input.send_keys('Python')
time.sleep(1)		#等待時間設(shè)置為1秒,方便查看
input.clear()		#清空搜索框
input.send_keys('LOL')
button = browser.find_element_by_id('su')
button.click()		#模擬點擊

4.獲取節(jié)點信息

因為selenium的page_source屬性可以直接獲取網(wǎng)頁源碼,接著就可以直接使用解析庫(如正則表達式,Beautiful Soup等)直接提取信息,不過Selenium已經(jīng)直接提供了選擇節(jié)點的方法了,返回的是WebElement類型,它也有相關(guān)的方法提取節(jié)點信息,如文本,屬性等。這也是使用它進行一點簡單的爬蟲非常方便的原因,代碼十分簡潔。

=提取屬性=

使用get_attribute()方法,但前提需要先選中節(jié)點,同樣以百度首頁為實例,打印出百度logo的屬性。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('s_lg_img')
print(input)
print(input.get_attribute("class"))

'''打印結(jié)果
< selenium.webdriver.remote.webelement.WebElement (session="6013549f22f653cf081e0564da8315da", element="a924de49-358c-42e1-8c29-09bf0dd8d3c3") >
index-logo-src
'''

=獲取文本值=

每個WebElement節(jié)點都有text屬性,直接調(diào)用這個屬性就可以獲得節(jié)點內(nèi)的內(nèi)容,這相當于Beautiful Soup中的get_text()方法。這里打開百度首頁,獲取搜索按鈕的百度一下文本。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('su')
print(input.text)

=獲取id、位置、標簽名和大小=

id屬性獲取節(jié)點id
location屬性可以獲取該節(jié)點在頁面中的相對位置
tag_name屬性獲取標簽名稱
size屬性獲取節(jié)點大小,就是寬高

5.延時等待

當我們進行網(wǎng)絡(luò)爬蟲時,請求的東西或許不會第一時間出現(xiàn),此時就會拋出時間異常,因此我們需要加上延時等待避免程序中斷。這里面分為顯式等待和隱式等待,具體詳細教程參考鏈接: link.

6.異常處理

進行爬蟲難免會遇到異常,如超時,節(jié)點未找到等錯誤,此時用try except語句捕獲異常,可以避免程序因此中斷。

關(guān)于Selenium其他的函數(shù)如對網(wǎng)頁節(jié)點進行拖拽,切換標簽頁,前進與后退,選項卡管理以及對cookies相關(guān)的操作等不做詳細說明,上面的知識足以進行簡單的爬蟲了,像是各大網(wǎng)頁的文本值都可以很簡單的抓取下來,可以做一點簡單的數(shù)據(jù)分析。當然這僅對初學(xué)者是這樣的,后期稍微深入會遇到需要這些函數(shù)的操作,對于小白這些就夠了。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4793

    瀏覽量

    84634
  • 異常中斷
    +關(guān)注

    關(guān)注

    0

    文章

    9

    瀏覽量

    1223
收藏 人收藏

    評論

    相關(guān)推薦

    IP地址數(shù)據(jù)信息和爬蟲攔截的關(guān)聯(lián)

    IP地址數(shù)據(jù)信息和爬蟲攔截的關(guān)聯(lián)主要涉及到兩方面的內(nèi)容,也就是數(shù)據(jù)信息和爬蟲。IP 地址數(shù)據(jù)信息的內(nèi)容豐富,包括所屬地域、所屬網(wǎng)絡(luò)運營商、訪問時間序列、訪問頻率等。 從IP地址信息中可以窺見
    的頭像 發(fā)表于 12-23 10:13 ?20次閱讀

    如何使用Python構(gòu)建LSTM神經(jīng)網(wǎng)絡(luò)模型

    構(gòu)建一個LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)模型是一個涉及多個步驟的過程。以下是使用Python和Keras庫構(gòu)建LSTM模型的指南。 1. 安裝必要的庫 首先,確保你已經(jīng)安裝了Python和以下庫
    的頭像 發(fā)表于 11-13 10:10 ?333次閱讀

    Python編程:處理網(wǎng)絡(luò)請求的代理技術(shù)

    網(wǎng)絡(luò)編程中,代理技術(shù)扮演著至關(guān)重要的角色,尤其在處理網(wǎng)絡(luò)請求時。通過代理服務(wù)器,我們可以實現(xiàn)請求的轉(zhuǎn)發(fā)、緩存、負載均衡以及安全控制等功能。Python作為一種功能強大的編程語言,為提供了豐富的工具和庫,以便敏捷地實現(xiàn)和處理
    的頭像 發(fā)表于 11-12 07:23 ?185次閱讀

    海外爬蟲IP的合法邊界:合規(guī)性探討與實踐

    海外爬蟲IP的合法邊界主要涉及合規(guī)性探討與實踐。
    的頭像 發(fā)表于 10-12 07:56 ?211次閱讀

    如何利用海外爬蟲IP進行數(shù)據(jù)抓取

    利用海外爬蟲IP進行數(shù)據(jù)抓取需要綜合考慮多個方面。
    的頭像 發(fā)表于 10-12 07:54 ?182次閱讀

    詳細解讀爬蟲多開代理IP的用途,以及如何配置!

    爬蟲多開代理IP是一種在爬蟲開發(fā)中常用的技術(shù)策略,主要用于提高數(shù)據(jù)采集效率、避免IP被封禁以及獲取地域特定的數(shù)據(jù)。
    的頭像 發(fā)表于 09-14 07:55 ?491次閱讀

    使用Python進行Ping測試

    )請求包,然后等待目標主機返回響應(yīng)包,從而測量網(wǎng)絡(luò)的延遲和丟包情況。隨著Python編程語言的廣泛應(yīng)用,越來越多的網(wǎng)絡(luò)工程師開始使用Python進行自動化
    的頭像 發(fā)表于 08-12 17:56 ?495次閱讀
    使用<b class='flag-5'>Python</b>進行Ping測試

    使用Python批量連接華為網(wǎng)絡(luò)設(shè)備

    隨著網(wǎng)絡(luò)規(guī)模的擴大和設(shè)備數(shù)量的增加,手動配置和管理每臺網(wǎng)絡(luò)設(shè)備變得越來越不現(xiàn)實。因此,自動化工具和腳本變得尤為重要。Python語言以其簡潔性和強大的第三方庫支持,成為了網(wǎng)絡(luò)自動化領(lǐng)域
    的頭像 發(fā)表于 08-12 17:48 ?453次閱讀

    網(wǎng)絡(luò)爬蟲,Python和數(shù)據(jù)分析

    電子發(fā)燒友網(wǎng)站提供《網(wǎng)絡(luò)爬蟲,Python和數(shù)據(jù)分析.pdf》資料免費下載
    發(fā)表于 07-13 09:27 ?1次下載

    用pycharm進行python爬蟲的步驟

    以下是使用PyCharm進行Python爬蟲的步驟: 安裝PyCharm和Python 首先,您需要安裝PyCharm和Python。PyCharm是一個流行的
    的頭像 發(fā)表于 07-11 10:11 ?829次閱讀

    tensorflow簡單的模型訓(xùn)練

    TensorFlow開始,然后介紹如何構(gòu)建和訓(xùn)練一個簡單的神經(jīng)網(wǎng)絡(luò)模型。 1. 安裝TensorFlow 首先,我們需要安裝TensorFlow。TensorFlow支持多種編程語言,包括Python、C++
    的頭像 發(fā)表于 07-05 09:38 ?641次閱讀

    如何使用Python進行神經(jīng)網(wǎng)絡(luò)編程

    。 為什么使用PythonPython是一種廣泛使用的高級編程語言,以其易讀性和易用性而聞名。Python擁有強大的庫,如TensorFlow、Keras和PyTorch,這些庫提供了構(gòu)建和訓(xùn)練神經(jīng)
    的頭像 發(fā)表于 07-02 09:58 ?399次閱讀

    常見的數(shù)據(jù)采集工具的介紹

    Scraping) 網(wǎng)絡(luò)爬蟲是一種自動化的程序,用于從互聯(lián)網(wǎng)上提取信息。它們可以訪問網(wǎng)頁,解析HTML內(nèi)容,并從中提取所需的數(shù)據(jù)。 Scrapy : 一個快速且強大的Python框架,用于抓取網(wǎng)站數(shù)據(jù)。 Beautiful S
    的頭像 發(fā)表于 07-01 14:51 ?785次閱讀

    全球新聞網(wǎng)封鎖OpenAI和谷歌AI爬蟲

    分析結(jié)果顯示,至2023年底,超半數(shù)(57%)的傳統(tǒng)印刷媒體如《紐約時報》等已關(guān)閉OpenAI爬蟲,反之電視廣播以及數(shù)字原生媒體相應(yīng)地分別為48%和31%。而對于谷歌人工智能爬蟲,32%的印刷媒體采取相同措施,電視廣播和數(shù)字原生媒體的比率分別為19%和17%。
    的頭像 發(fā)表于 02-27 15:31 ?847次閱讀

    如何解決Python爬蟲中文亂碼問題?Python爬蟲中文亂碼的解決方法

    如何解決Python爬蟲中文亂碼問題?Python爬蟲中文亂碼的解決方法 在Python爬蟲過程
    的頭像 發(fā)表于 01-12 15:11 ?2350次閱讀
    主站蜘蛛池模板: 日韩欧美中文字幕在线二视频| 久亚洲AV无码专区A片| 果冻传媒在线观看高清完整免费| 黑人干亚洲人| 久久伊人草| 欧美videos人牛交| 深夜释放自己污在线看| 亚洲国产成人精品不卡青青草原| 一本久道视频无线视频| 97视频在线观看视频最新| 超碰免费视频caoporn| 国产人成无码视频在线观看| 教室里的激情电影| 免费看黄色一级| 色久久一个亚洲综合网| 亚洲你我色| 99re10久久热| 国产高潮久久精品AV无码| 精品久久久久久久久免费影院| 毛片手机在线| 手机在线免费观看毛片| 一本大道熟女人妻中文字幕在线| 99国内偷揿国产精品人妻| 国产精品路线1路线2路线| 绝逼会被锁| 色怕怕| 伊人久久久久久久久久| 成人精品视频在线| 九九热精品免费观看| 热99re久久精品国产首页| 亚洲精品视频在线观看免费| 2019在秋霞理论| 国产精品成人不卡在线观看| 久久热免费视频| 四虎成人影院| 51精品国产AV无码久久久密桃| 国产盗摄TP摄像头偷窥| 蜜臀AV精品久久无码99| 小莹的性荡生活40章| 99视频久九热精品| 精品日韩二区三区精品视频|