色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

詳解常見的反爬蟲的兩種機制

馬哥Linux運維 ? 來源:CSDN ? 作者:DA1YuH ? 2021-07-29 15:58 ? 次閱讀

最近在學爬蟲時發(fā)現(xiàn)許多網(wǎng)站都有自己的反爬蟲機制,這讓我們沒法直接對想要的數(shù)據(jù)進行爬取,于是了解這種反爬蟲機制就會幫助我們找到解決方法。

常見的反爬蟲機制有判別身份和IP限制兩種,下面我們將一一來進行介紹。

(一) 判別身份

首先我們看一個例子,看看到底什么時候反爬蟲。

我們還是以 豆瓣電影榜top250(https://movie.douban.com/top250) 為例。

import requests

# 豆瓣電影榜top250的網(wǎng)址url = ‘https://movie.douban.com/top250’# 請求與網(wǎng)站的連接res = requests.get(url)# 打印獲取的文本print(res.text)

這是段簡單的請求與網(wǎng)站連接并打印獲取數(shù)據(jù)的代碼,我們來看看它的運行結(jié)果。

c8b2c35a-edfe-11eb-a97a-12bb97331649.png

我們可以發(fā)現(xiàn)我們什么數(shù)據(jù)都沒有獲取到,這就是由于這個網(wǎng)站有它的身份識別功能,把我們識別為了爬蟲,拒絕為我們提供數(shù)據(jù)。不管是瀏覽器還是爬蟲訪問網(wǎng)站時都會帶上一些信息用于身份識別。而這些信息都被存儲在一個叫請求頭(request headers) 的地方。而這個請求頭中我們只需要了解其中的一個叫user-agent(用戶代理) 的就可以了。user-agent里包含了操作系統(tǒng)、瀏覽器類型、版本等信息,通過修改它我們就能成功地偽裝成瀏覽器。

下面我們來看怎么找這個user-agent吧。

首先得打開瀏覽器,隨便打開一個網(wǎng)站,再打開開發(fā)者工具。

再點擊network標簽,接著點第一個請求,再找到Request Headers,最后找到user-agent字段。(有時候可能點擊network標簽后是空白的,這時候刷新下網(wǎng)頁就好啦!)

找到請求頭后,我們只需要把他放進一個字典里就好啦,具體操作見下面代碼。

import requests

# 復制剛才獲取得請求頭headers = { ‘user-agent’:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36’}# 豆瓣電影榜top250的網(wǎng)址url = ‘https://movie.douban.com/top250’# 請求與網(wǎng)站的連接res = requests.get(url, headers=headers)# 打印獲取的文本print(res.text)

現(xiàn)在我們再來看部分輸出結(jié)果。

c8e9e81c-edfe-11eb-a97a-12bb97331649.png

我們可以發(fā)現(xiàn)已經(jīng)將該網(wǎng)站的HTML文件全部爬取到了,至此第一種方法就將完成了。下面我們來看第二種方法。

(二) IP限制

IP(Internet Protocol) 全稱互聯(lián)網(wǎng)協(xié)議地址,意思是分配給用戶上網(wǎng)使用的網(wǎng)際協(xié)議的設備的數(shù)字標簽。它就像我們身份證號一樣,只要知道你的身份證號就能查出你是哪個人。

當我們爬取大量數(shù)據(jù)時,如果我們不加以節(jié)制地訪問目標網(wǎng)站,會使網(wǎng)站超負荷運轉(zhuǎn),一些個人小網(wǎng)站沒什么反爬蟲措施可能因此癱瘓。而大網(wǎng)站一般會限制你的訪問頻率,因為正常人是不會在 1s 內(nèi)訪問幾十次甚至上百次網(wǎng)站的。所以,如果你訪問過于頻繁,即使改了 user-agent 偽裝成瀏覽器了,也還是會被識別為爬蟲,并限制你的 IP 訪問該網(wǎng)站。

因此,我們常常使用 time.sleep() 來降低訪問的頻率,比如上一篇博客中的爬取整個網(wǎng)站的代碼,我們每爬取一個網(wǎng)頁就暫停一秒。

import requestsimport timefrom bs4 import BeautifulSoup

# 將獲取豆瓣電影數(shù)據(jù)的代碼封裝成函數(shù)def get_douban_movie(url):# 設置反爬蟲的請求頭 headers = {‘user-agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’ }

# 請求網(wǎng)站的連接 res = requests.get(‘https://movie.douban.com/top250’, headers=headers)# 將網(wǎng)站數(shù)據(jù)存到BeautifulSoup對象中 soup = BeautifulSoup(res.text,‘html.parser’)# 爬取網(wǎng)站中所有標簽為‘div’,并且class=‘pl2’的數(shù)據(jù)存到Tag對象中 items = soup.find_all(‘div’, class_=‘hd’)for i in items:# 再篩選出所有標簽為a的數(shù)據(jù) tag = i.find(‘a(chǎn)’)# 只讀取第一個class=‘title’作為電影名 name = tag.find(class_=‘title’).text# 爬取書名對應的網(wǎng)址 link = tag[‘href’] print(name,link)

url = ‘https://movie.douban.com/top250?start={}&filter=’# 將所有網(wǎng)址信息存到列表中urls = [url.format(num*25) for num in range(10)]for item in urls: get_douban_movie(item)# 暫停 1 秒防止訪問太快被封 time.sleep(1)

至此兩種比較簡單的應對反爬蟲方法就講完啦,希望能對大家有所幫助,如果有問題,請及時給予我指正,感激不盡!

原文鏈接:https://blog.csdn.net/qq_41564422/article/details/104212511

(版權(quán)歸原作者所有,侵刪)

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 爬蟲
    +關(guān)注

    關(guān)注

    0

    文章

    82

    瀏覽量

    6868

原文標題:詳解python 破解網(wǎng)站反爬蟲的兩種簡單方法

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    常見人體姿態(tài)評估顯示方式的兩種方式

    人體姿態(tài)評估中有兩種常見的顯示方式,分別是火柴人效果與BodyPix效果。其中火柴人效果本質(zhì)就是基于關(guān)鍵點的深度學習模型推理以后的顯示效果;Bodypix本質(zhì)就就是語義分割模型
    的頭像 發(fā)表于 11-11 11:21 ?181次閱讀
    <b class='flag-5'>常見</b>人體姿態(tài)評估顯示方式的<b class='flag-5'>兩種</b>方式

    噪聲傳導的兩種模式

    噪聲傳導有兩種模式,一為差模傳導,一為共模傳導。
    的頭像 發(fā)表于 10-15 11:33 ?286次閱讀
    噪聲傳導的<b class='flag-5'>兩種</b>模式

    基于GPU器件行為的創(chuàng)新分布式功能安全機制為智能駕駛保駕護航

    在鎖步和重復校驗兩種常見的功能安全機制之外,全球領(lǐng)先的GPU IP廠商Imagination帶來一全新的、高性價比的分布式功能安全機制
    的頭像 發(fā)表于 10-11 13:14 ?236次閱讀
    基于GPU器件行為的創(chuàng)新分布式功能安全<b class='flag-5'>機制</b>為智能駕駛保駕護航

    兩種常見的硬件消抖實現(xiàn)方式

    由于機械按鍵在操作過程中會產(chǎn)生抖動現(xiàn)象,這種抖動信號如果不加以處理,就可能導致單片機等電子設備誤判按鍵狀態(tài),從而引發(fā)錯誤操作。本文將詳細介紹兩種常見的硬件消抖實現(xiàn)方式:RS觸發(fā)器和電容濾波。 RS
    的頭像 發(fā)表于 09-25 16:54 ?1144次閱讀
    <b class='flag-5'>兩種</b><b class='flag-5'>常見</b>的硬件消抖實現(xiàn)方式

    晶閘管的阻斷狀態(tài)有兩種是什么

    晶閘管(Thyristor)是一半導體器件,具有單向?qū)щ娦裕瑥V泛應用于電力電子領(lǐng)域。晶閘管的阻斷狀態(tài)有兩種:正向阻斷狀態(tài)和反向阻斷狀態(tài)。以下是對這兩種阻斷狀態(tài)的分析。 正向阻斷狀態(tài) 正向阻斷狀態(tài)
    的頭像 發(fā)表于 08-14 16:49 ?687次閱讀

    wdm設備的兩種傳輸方式

    系統(tǒng)中,有多種傳輸方式,其中最常見兩種是密集波分復用(DWDM)和粗波分復用(CWDM)。 1. 密集波分復用(DWDM) 1.1 DWDM技術(shù)原理 密集波分復用(Dense Wavelength Division Multiplexing,簡稱DWDM)是一
    的頭像 發(fā)表于 07-18 09:45 ?471次閱讀

    三相負載的連接方式有哪兩種

    三相負載的連接方式主要有星形連接(Y連接)和三角形連接(Δ連接)兩種。這兩種連接方式在電氣工程中非常常見,它們各自具有不同的特性和應用場景。下面將介紹這兩種連接方式的原理、特點、應用以
    的頭像 發(fā)表于 07-17 10:33 ?4012次閱讀

    PCBA加工中常見兩種焊接方式詳解

    ,在PCBA行業(yè)中經(jīng)常被使用。接下來深圳PCBA加工廠家為大家詳細介紹PCBA加工手工焊接的兩種方式,為您揭秘行業(yè)內(nèi)的技術(shù)細節(jié)。 PCBA加工過程中常用焊接方式 第一方式是傳統(tǒng)手工焊接。這種方式主要依靠技術(shù)工人的手動操作進行焊接。工人需事先準備好所需的焊
    的頭像 發(fā)表于 06-14 09:18 ?537次閱讀

    充電樁為什么有直流與交流兩種接口?

    充電樁設計有直流(DC)和交流(AC)兩種接口,主要是為了適應不同類型的電動汽車(EV)充電需求以及電池的充電特性。
    的頭像 發(fā)表于 04-30 15:33 ?1592次閱讀

    異或門兩種常見的實現(xiàn)方式

    兩種實現(xiàn)方式都能夠?qū)崿F(xiàn)異或門的功能,具體的選擇取決于設計需求和邏輯門的可用性。實際構(gòu)建異或門時,可以使用離散電子元件(如晶體管、二極管等)或整合電路芯片(如 TTL、CMOS 等)來實現(xiàn)。
    的頭像 發(fā)表于 02-04 17:30 ?1.2w次閱讀
    異或門<b class='flag-5'>兩種</b><b class='flag-5'>常見</b>的實現(xiàn)方式

    如何解決Python爬蟲中文亂碼問題?Python爬蟲中文亂碼的解決方法

    決Python爬蟲中文亂碼問題。 一、了解字符編碼 在解決亂碼問題之前,我們首先需要了解一些基本的字符編碼知識。常見的字符編碼有ASCII、UTF-8和GBK等。 1. ASCII:是一用于表示英文字母、數(shù)字和常用符號的字符編
    的頭像 發(fā)表于 01-12 15:11 ?2342次閱讀

    配置Kubernetes中Pod使用代理的兩種常見方式

    的需要。本文將介紹配置Kubernetes中Pod使用代理的兩種常見方式:通過ConfigMap和直接在應用程序環(huán)境變量中設置。
    的頭像 發(fā)表于 01-05 11:22 ?1127次閱讀
    配置Kubernetes中Pod使用代理的<b class='flag-5'>兩種</b><b class='flag-5'>常見</b>方式

    分享兩種簡單的平衡電橋設備設計

    本文給出了兩種簡單的平衡電橋設備設計,借此即可對個電感進行高精度的比較。LED指示器或高阻抗電話耳機用作不平衡指示器。
    的頭像 發(fā)表于 01-05 09:31 ?878次閱讀
    分享<b class='flag-5'>兩種</b>簡單的平衡電橋設備設計

    半波整流器和橋式整流器兩種常見電路的主要區(qū)別

    半波整流器和橋式整流器兩種常見電路的主要區(qū)別? 半波整流器和橋式整流器是兩種常見的電路,主要用于將交流電轉(zhuǎn)換為直流電。它們在電路結(jié)構(gòu)和工作原理上存在主要區(qū)別,下面將詳細介紹這
    的頭像 發(fā)表于 01-04 16:01 ?1005次閱讀

    怎么區(qū)分PNP和NPN?一個PLC如何連接兩種傳感器呢?

    PNP傳感器和NPN傳感器是兩種常見的電子元件,它們在電路中起著重要的作用。
    的頭像 發(fā)表于 12-31 17:32 ?6346次閱讀
    怎么區(qū)分PNP和NPN?一個PLC如何連接<b class='flag-5'>兩種</b>傳感器呢?
    主站蜘蛛池模板: 抽插内射高潮呻吟V杜V| www.av色| 99热婷婷国产精品综合| Chinesetube国产中文| 超碰在线 视频| 国产精品JIZZ视频免费| 果冻传媒APP免费网站在线观看| 国产专区_爽死777| 久久久无码精品亚洲欧美| 伦理 电影在线观看百度影音| 内射人妻骚骚骚| 日韩精品一区二区三区AV在线观看| 四库影院永久国产精品| 亚洲香蕉视频在线播放| 24小时日本在线| 快播电影网址| 毛片网站网址| 日本一区不卡在线播放视频免费| 无码欧美毛片一区二区三在线视频 | 国产亚洲精品成人AV久久| 国内卡一卡二卡三免费网站| 久久精品18| 任你躁精品一区二区三区| 午夜一级毛片看看| 曰本女人牲交视频免费| 宝贝乖女好紧好深好爽老师| 国产精品久久久亚洲偷窥女厕| 精品少妇爆AV无码专区| 欧美另类videosbest| 午夜福利体验免费体验区| 曰韩一本道高清无码av| 啊…嗯啊好深男男小黄文| 国产在线观看免费观看| 免费果冻传媒2021视频| 玩两个少妇女邻居| 7m凹凸国产刺激在线视频| 国产不卡在线观看视频| 久久热在线视频精品店| 上原结衣快播| 中文字幕精品在线观看| 国产AV视频二区在线观看|