文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：214日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻?？刹捎胹crapy+selenium+phantomjs的方式。
相關文章：
1. nignx - docker內nginx 80端口被占用2. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””3. 關于docker下的nginx壓力測試4. docker - 各位電腦上有多少個容器??？容器一多，自己都搞混了，咋辦呢？5. mac里的docker如何命令行開啟呢？6. docker容器呢SSH為什么連不通呢？7. docker start -a dockername 老是卡住，什么情況？8. javascript - 連續點擊觸發mouseleave事件9. docker gitlab 如何git clone？10. macos - mac下docker如何設置代理
排行榜
網公網安備