一、什么是HTTP代理。
HTTP代理就是介于瀏覽器和web服務器之間的一臺服務器,連接代理后,瀏覽器不再直接向web服務器取回網頁,而是向代理服務器發出request信號,代理服務器再想web服務器發出請求,收到web服務器返回的數據后再反饋給瀏覽器。
二、華益云HTTP代理IP基本參數介紹
1:基本參數介紹:支持http,https,socks5等多種協議類型。100%高匿IP,支持API提取,API最快提取間隔1秒,一次最多可以提取200個。
2:支持的語言:python,java,c,c#,go,php,易語言等多種編程語言。
3:使用范圍:軟件程序API調用,爬蟲,網頁訪問,瀏覽等支持HTTP協議批量調用的應用。
python代碼中如何使用HTTP代理。
# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib
def main():
# 發送給服務器的標識
userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
# 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
# 請求代理url,獲取代理ip
outPutProxy = getProxy(proxyUrl, userAgent)
if len(outPutProxy)==0:
# 沒有獲取到代理
return
# 目標請求網站
# https://httpbin.org/get
url = "https://www.qq.com/"
content = None
for _ in range(0, 3):
# 最多嘗試三次
try:
# 從列表中取出一個代理出來
proxy = outPutProxy.pop(0)
px = {
"http": proxy,
"https": proxy
}
content = requestGet(url, userAgent, px)
break
except Exception as e:
print(e)
if (len(outPutProxy) == 0):
# 如果發現沒有代理了,就去獲取下。
outPutProxy = getProxy(proxyUrl, userAgent)
print(content)
def getProxy(proxyUrl, userAgent):
proxyIps=""
outPutProxy = []
try:
proxyIps = requestGet(proxyUrl, userAgent, None)
print("(proxyIps)", proxyIps)
# {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
if "{" in proxyIps:
raise Exception("[錯誤]"+proxyIps)
outPutProxy = proxyIps.splitlines()
except Exception as e:
print(e)
print("總共獲取了"+str(len(outPutProxy))+"個代理")
return outPutProxy
def requestGet(url, userAgent, proxy):
headers = {
"User-Agent": userAgent
}
# httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"})
response = None
if (proxy):
proxyHandler = urllib.request.ProxyHandler(proxy)
opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
else:
# 沒有代理走這個
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request, timeout=5)
#response = opener.open(request)
html = response.read()
# # 設置編碼,防止亂碼
# 手動設置網頁字符編碼方式
return html.decode("utf-8", "ignore")
main()
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
HTTP
+關注
關注
0文章
504瀏覽量
31198 -
瀏覽器
+關注
關注
1文章
1023瀏覽量
35331 -
python
+關注
關注
56文章
4793瀏覽量
84631
發布評論請先 登錄
相關推薦
Python中dict支持多個key的方法
? 在Python中,字典(dict)是一種非常強大的數據結構,它允許我們通過鍵(key)來存儲和檢索值(value)。有時候,我們可能想要根據多個鍵來檢索或操作字典中的數據。雖然Python
Python編程:處理網絡請求的代理技術
在網絡編程中,代理技術扮演著至關重要的角色,尤其在處理網絡請求時。通過代理服務器,我們可以實現請求的轉發、緩存、負載均衡以及安全控制等功能。Python作為一種功能強大的編程語言,為提
Python中代理服務器的配置與應用
一種強大的編程語言,提供了豐富的庫和模塊,使得實現和配置代理服務器變得相對簡單。以下將詳細介紹在Python中如何配置與應用代理服務器。
Python庫解析:通過庫實現代理請求與數據抓取
在Python中,有多個庫可以幫助你實現代理請求和數據抓取。這些庫提供了豐富的功能和靈活的API,使得你可以輕松地發送HTTP請求、處理響應、解析HTML/XML/JSON數據,以及進
使用Python構建高效的HTTP代理服務器
構建一個高效的HTTP代理服務器在Python中涉及多個方面,包括性能優化、并發處理、協議支持(HTTP/HTTPS)、錯誤處理以及日志記錄
使用Python搭建簡易本地http服務器,升級WIPI模組
01 下載python https://www.python.org/downloads/ 02 安裝python 安裝時候選擇把path加入電腦環境變量 3 由于python內建了簡
Linux curl命令代理設置參數
代理服務器(Proxy Server)是工作在瀏覽器與http服務器之間的一個服務應用,所有經過代理服務器的http請求,都會被轉發到對應的http
發表于 03-26 10:59
?545次閱讀
Python智能家居系統代碼介紹
Python智能家居系統是一種基于Python編程語言開發的智能家居控制系統,在現代家庭中得到了越來越廣泛的應用。本文將詳細介紹Python智能家居系統的
評論