文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：213日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻。可采用scrapy+selenium+phantomjs的方式。
相關文章：
1. 關于docker下的nginx壓力測試2. docker - 各位電腦上有多少個容器啊？容器一多，自己都搞混了，咋辦呢？3. mac里的docker如何命令行開啟呢？4. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””5. nignx - docker內nginx 80端口被占用6. docker容器呢SSH為什么連不通呢？7. dockerfile - 我用docker build的時候出現下邊問題 麻煩幫我看一下8. docker-compose 為何找不到配置文件？9. docker start -a dockername 老是卡住，什么情況？10. angular.js使用$resource服務把數據存入mongodb的問題。
排行榜
網公網安備