python中怎么使用HTTP代理。
以下代碼主要圍繞第一次接觸HTTP代理IP的python新手來寫。(步驟注釋清晰)
直接把下面示例代碼中的HTTP代理API,替換成你后臺生成的代理API鏈接,就可以跑起來了。
以下是一個示例代碼,只是一個基礎的演示,具體的代碼還是要根據你業務的實際情況去寫的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理,注冊就白嫖1萬個高匿爬蟲IP,有效期是一年,對于調試代碼來說這個時間是非常的友好。(步驟注釋清晰)
示例代碼demo中同款HTTP代理API-點我免費領取10000個高匿IP
打開代理API,獲取里面的IP,使用IP訪問目標網站,其實代碼中就是執行這個過程而已,然后加了幾個錯誤判斷有助于代碼的穩定運行。
# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib
def main():
# 發送給服務器的標識
userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
# 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
# 請求代理url,獲取代理ip
outPutProxy = getProxy(proxyUrl, userAgent)
if len(outPutProxy)==0:
# 沒有獲取到代理
return
# 目標請求網站
# https://httpbin.org/get
url = "https://www.qq.com/"
content = None
for _ in range(0, 3):
# 最多嘗試三次
try:
# 從列表中取出一個代理出來
proxy = outPutProxy.pop(0)
px = {
"http": proxy,
"https": proxy
}
content = requestGet(url, userAgent, px)
break
except Exception as e:
print(e)
if (len(outPutProxy) == 0):
# 如果發現沒有代理了,就去獲取下。
outPutProxy = getProxy(proxyUrl, userAgent)
print(content)
def getProxy(proxyUrl, userAgent):
proxyIps=""
outPutProxy = []
try:
proxyIps = requestGet(proxyUrl, userAgent, None)
print("(proxyIps)", proxyIps)
# {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
if "{" in proxyIps:
raise Exception("[錯誤]"+proxyIps)
outPutProxy = proxyIps.splitlines()
except Exception as e:
print(e)
print("總共獲取了"+str(len(outPutProxy))+"個代理")
return outPutProxy
def requestGet(url, userAgent, proxy):
headers = {
"User-Agent": userAgent
}
# httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"})
response = None
if (proxy):
proxyHandler = urllib.request.ProxyHandler(proxy)
opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
else:
# 沒有代理走這個
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
#response = opener.open(request)
html = response.read()
# # 設置編碼,防止亂碼
# 手動設置網頁字符編碼方式
return html.decode("utf-8", "ignore")
main()
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
HTTP
+關注
關注
0文章
504瀏覽量
31198 -
代碼
+關注
關注
30文章
4780瀏覽量
68537 -
python
+關注
關注
56文章
4793瀏覽量
84632
發布評論請先 登錄
相關推薦
python代碼中使用HTTP代理IP,demo注釋清晰
如何再python代碼中使用HTTP代理IP。 以下代碼主要圍繞第一次接觸HTTP代理IP的python
python代碼中如何使用HTTP代理
華益云HTTP代理API有效期是一年,也就是說一年內這1萬IP用完就沒了,如果你一年都用不完那到時候剩余IP才會被清零,對于調試代碼來說時間充足靈活。
python代碼中如何使用HTTP代理
HTTP代理就是介于瀏覽器和web服務器之間的一臺服務器,連接代理后,瀏覽器不再直接向web服務器取回網頁,而是向代理服務器發出request信號,
http代理的作用如下所示
經常使用網絡的人可能會常常聽到這樣的一個詞:http代理。那么它真正的作用很多人都是模棱兩可的,在這里給大家普及一下在我們大部分人的網絡活動中,http是比較常見的網絡協議,因而
發表于 09-15 13:00
?481次閱讀
使用Python構建高效的HTTP代理服務器
構建一個高效的HTTP代理服務器在Python中涉及多個方面,包括性能優化、并發處理、協議支持(HTTP/HTTPS)、錯誤處理以及日志記錄
評論