網頁爬蟲 - Python requests.get 爬蟲 設置代理 IP地址未改變
問題描述
工作需要爬取亞馬遜上面的信息,但是亞馬遜反爬蟲太厲害,同一個IP地址會被封。Python版本:3.6, IDE:Pycharm 2017.1在網上查了很多資料,requests庫的手冊也讀過,但是都是同一個方法,代碼如下:
import requests’’’代理IP地址(高匿)’’’proxy = {’HTTPS’: ’117.85.105.170:808’}’’’head 信息’’’head = {’User-Agent’: ’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36’, ’Connection’: ’keep-alive’}’’’http://icanhazip.com會返回當前的IP地址’’’p = requests.get(’http://icanhazip.com’, headers=head, proxies=proxy)print(p.text)
根據我看過的許多教程的理論,如果代理設置成功,最后顯示的IP應該是代理的IP地址,但是最終還是我真實的IP地址,這樣一來不就等于沒有設置代理么?
問題解答
回答1:proxies在你訪問http時用http的設置,訪問https時用https的設置所以你的proxy需要同時包含http及https的配置,這樣才能生效
proxy = { ’http’: ’http://117.85.105.170:808’, ’https’: ’https://117.85.105.170:808’}
相關文章:
1. docker api 開發的端口怎么獲取?2. docker - 如何修改運行中容器的配置3. docker start -a dockername 老是卡住,什么情況?4. macos - mac下docker如何設置代理5. docker鏡像push報錯6. dockerfile - 我用docker build的時候出現下邊問題 麻煩幫我看一下7. debian - docker依賴的aufs-tools源碼哪里可以找到啊?8. docker網絡端口映射,沒有方便點的操作方法么?9. angular.js使用$resource服務把數據存入mongodb的問題。10. docker 下面創建的IMAGE 他們的 ID 一樣?這個是怎么回事????

網公網安備