華益云HTTP代理API有效期是一年,也就是說一年內(nèi)這1萬IP用完就沒了,如果你一年都用不完那到時候剩余IP才會被清零,對于調(diào)試代碼來說時間充足靈活。
華益云還免費提供一些主流語言示例代碼demo,可到幫助文檔獲取(python,java,php,c,go,易語言)
python代碼中如何使用HTTP代理。
# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib
def main():
# 發(fā)送給服務(wù)器的標識
userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
# 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
# 請求代理url,獲取代理ip
outPutProxy = getProxy(proxyUrl, userAgent)
if len(outPutProxy)==0:
# 沒有獲取到代理
return
# 目標請求網(wǎng)站
# https://httpbin.org/get
url = "https://www.qq.com/"
content = None
for _ in range(0, 3):
# 最多嘗試三次
try:
# 從列表中取出一個代理出來
proxy = outPutProxy.pop(0)
px = {
"http": proxy,
"https": proxy
}
content = requestGet(url, userAgent, px)
break
except Exception as e:
print(e)
if (len(outPutProxy) == 0):
# 如果發(fā)現(xiàn)沒有代理了,就去獲取下。
outPutProxy = getProxy(proxyUrl, userAgent)
print(content)
def getProxy(proxyUrl, userAgent):
proxyIps=""
outPutProxy = []
try:
proxyIps = requestGet(proxyUrl, userAgent, None)
print("(proxyIps)", proxyIps)
# {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
if "{" in proxyIps:
raise Exception("[錯誤]"+proxyIps)
outPutProxy = proxyIps.splitlines()
except Exception as e:
print(e)
print("總共獲取了"+str(len(outPutProxy))+"個代理")
return outPutProxy
def requestGet(url, userAgent, proxy):
headers = {
"User-Agent": userAgent
}
# httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"})
response = None
if (proxy):
proxyHandler = urllib.request.ProxyHandler(proxy)
opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
else:
# 沒有代理走這個
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
#response = opener.open(request)
html = response.read()
# # 設(shè)置編碼,防止亂碼
# 手動設(shè)置網(wǎng)頁字符編碼方式
return html.decode("utf-8", "ignore")
main()
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
HTTP
+關(guān)注
關(guān)注
0文章
504瀏覽量
31199 -
代碼
+關(guān)注
關(guān)注
30文章
4780瀏覽量
68539 -
python
+關(guān)注
關(guān)注
56文章
4793瀏覽量
84634
發(fā)布評論請先 登錄
相關(guān)推薦
python代碼中如何使用HTTP代理
HTTP代理就是介于瀏覽器和web服務(wù)器之間的一臺服務(wù)器,連接代理后,瀏覽器不再直接向web服務(wù)器取回網(wǎng)頁,而是向代理服務(wù)器發(fā)出request信號,
使用Python構(gòu)建高效的HTTP代理服務(wù)器
構(gòu)建一個高效的HTTP代理服務(wù)器在Python中涉及多個方面,包括性能優(yōu)化、并發(fā)處理、協(xié)議支持(HTTP/HTTPS)、錯誤處理以及日志記錄
評論