色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

python代碼中如何使用HTTP代理

華益云HTTP爬蟲IP ? 來源:華益云HTTP爬蟲IP ? 作者:華益云HTTP爬蟲IP ? 2022-09-13 09:24 ? 次閱讀

一、什么是HTTP代理。

HTTP代理就是介于瀏覽器和web服務器之間的一臺服務器,連接代理后,瀏覽器不再直接向web服務器取回網頁,而是向代理服務器發出request信號,代理服務器再想web服務器發出請求,收到web服務器返回的數據后再反饋給瀏覽器。

二、華益云HTTP代理IP基本參數介紹

1:基本參數介紹:支持http,https,socks5等多種協議類型。100%高匿IP,支持API提取,API最快提取間隔1秒,一次最多可以提取200個。

2:支持的語言:pythonjava,c,c#,go,php,易語言等多種編程語言。

3:使用范圍:軟件程序API調用,爬蟲,網頁訪問,瀏覽等支持HTTP協議批量調用的應用。

python代碼中如何使用HTTP代理。

# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib

def main():
    # 發送給服務器的標識
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
    # 請求代理url,獲取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 沒有獲取到代理
        return
    # 目標請求網站
    # https://httpbin.org/get
    url = "https://www.qq.com/"
    content = None
 
    for _ in range(0, 3):
        # 最多嘗試三次
        try:
            # 從列表中取出一個代理出來
            proxy = outPutProxy.pop(0)
            px = {
                "http": proxy,
                "https": proxy
            }
            content = requestGet(url, userAgent, px)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果發現沒有代理了,就去獲取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
     
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print("(proxyIps)", proxyIps)
        # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
        if "{" in proxyIps:
            raise Exception("[錯誤]"+proxyIps)
        outPutProxy = proxyIps.splitlines()
        
    except Exception as e:
        print(e)
    print("總共獲取了"+str(len(outPutProxy))+"個代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    # httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"}) 
    response = None
    if (proxy):
        proxyHandler = urllib.request.ProxyHandler(proxy)
        opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
        urllib.request.install_opener(opener)
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
    else:
        # 沒有代理走這個
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
        #response = opener.open(request)
    
    
    html = response.read()
    # # 設置編碼,防止亂碼
    # 手動設置網頁字符編碼方式
    return html.decode("utf-8", "ignore")

main()
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • HTTP
    +關注

    關注

    0

    文章

    504

    瀏覽量

    31198
  • 瀏覽器
    +關注

    關注

    1

    文章

    1023

    瀏覽量

    35331
  • python
    +關注

    關注

    56

    文章

    4793

    瀏覽量

    84631
收藏 人收藏

    評論

    相關推薦

    Pythondict支持多個key的方法

    ? 在Python,字典(dict)是一種非常強大的數據結構,它允許我們通過鍵(key)來存儲和檢索值(value)。有時候,我們可能想要根據多個鍵來檢索或操作字典的數據。雖然Python
    的頭像 發表于 11-29 15:59 ?149次閱讀

    Python環境下的代理服務器搭建與自動化管理

    Python環境下搭建與自動化管理代理服務器是一項涉及網絡編程和自動化技術的綜合任務。
    的頭像 發表于 11-14 07:31 ?158次閱讀

    Python編程:處理網絡請求的代理技術

    在網絡編程代理技術扮演著至關重要的角色,尤其在處理網絡請求時。通過代理服務器,我們可以實現請求的轉發、緩存、負載均衡以及安全控制等功能。Python作為一種功能強大的編程語言,為提
    的頭像 發表于 11-12 07:23 ?185次閱讀

    Python代理服務器的配置與應用

    一種強大的編程語言,提供了豐富的庫和模塊,使得實現和配置代理服務器變得相對簡單。以下將詳細介紹在Python如何配置與應用代理服務器。
    的頭像 發表于 11-12 07:13 ?168次閱讀

    Python代理技術詳解:從入門到進階

    Python代理技術是一種在網絡編程中廣泛使用的技術,它允許通過代理服務器發送和接收網絡請求。
    的頭像 發表于 11-12 07:06 ?234次閱讀

    Python庫解析:通過庫實現代理請求與數據抓取

    Python,有多個庫可以幫助你實現代理請求和數據抓取。這些庫提供了豐富的功能和靈活的API,使得你可以輕松地發送HTTP請求、處理響應、解析HTML/XML/JSON數據,以及進
    的頭像 發表于 10-24 07:54 ?165次閱讀

    使用Python構建高效的HTTP代理服務器

    構建一個高效的HTTP代理服務器在Python涉及多個方面,包括性能優化、并發處理、協議支持(HTTP/HTTPS)、錯誤處理以及日志記錄
    的頭像 發表于 10-23 07:41 ?156次閱讀

    使用Python搭建簡易本地http服務器,升級WIPI模組

    01 下載python https://www.python.org/downloads/ 02 安裝python 安裝時候選擇把path加入電腦環境變量 3 由于python內建了簡
    的頭像 發表于 09-29 15:38 ?454次閱讀
    使用<b class='flag-5'>Python</b>搭建簡易本地<b class='flag-5'>http</b>服務器,升級WIPI模組

    講解HTTP代理類別,使用設置,測試HTTP代理方法

    HTTP
    jf_62215197
    發布于 :2024年07月19日 07:03:46

    幫助讀者更深入地了解IP代理領域,并掌握與HTTP相關的知識

    HTTP
    jf_62215197
    發布于 :2024年07月12日 07:06:12

    使用http代理究竟什么原因?

    HTTP
    jf_62215197
    發布于 :2024年05月13日 07:42:55

    Linux curl命令代理設置參數

    代理服務器(Proxy Server)是工作在瀏覽器與http服務器之間的一個服務應用,所有經過代理服務器的http請求,都會被轉發到對應的http
    發表于 03-26 10:59 ?545次閱讀

    Python智能家居系統代碼介紹

    Python智能家居系統是一種基于Python編程語言開發的智能家居控制系統,在現代家庭得到了越來越廣泛的應用。本文將詳細介紹Python智能家居系統的
    的頭像 發表于 01-25 09:46 ?1352次閱讀
    主站蜘蛛池模板: 广西美女色炮150p图| 久久精品嫩草影院免费看| 免费国产成人手机在线观看| 偷上邻居熟睡少妇| 99久久亚洲精品影院| 黑人干日本美女| 色婷婷亚洲精品天天综合影院| 最近中文字幕mv手机免费高清| 国产毛片视频网站| 人曽交Z00Z0OA片| 久久精品国产亚洲AV热无遮挡| 色欲久久精品AV无码| 99er久久国产精品在线| 女性BBWBBWBBWBBW| 伊人久久大香线蕉avapp下载| 国产国产成年在线视频区| 欧美特级特黄AAAAA片| 在线天天看片视频免费观看| 国产亚洲精品久久无亚洲| 秋霞伦理手机在线看片| 8090碰成年女人免费碰碰尤物| 成年色黄APP下载| 毛片手机在线| 艳妇臀荡乳欲伦岳TXT下载| 国产精品视频大全| 日韩一卡二卡三卡四卡免费观在线| 最新精品国产| 久久精品av| 亚洲女人网| 国产原创剧情麻豆在线| 同时和两老师双飞| 处破女免费播放| 欧美又粗又大AAAA片| 777琪琪午夜理论电影网| 久久这里有精品| 伊人久久大香线蕉avapp下载| 国语自产偷成人精品视频| 亚洲AV无码乱码国产麻豆P| 国产精品人成视频免费999| 色综合久久天天影视网| 动漫美女脱小内内露尿口 |