文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?
瀏覽:193日期:2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了,并且已帶上cookies,已修改header,拿到的數據是提示刷新的HTML,如圖:
原網頁是動態加載的瀑布流,即往不斷下拉就不斷有內容呈現出來,靜候大神,目前采用scrapy框架,暫時還不想上selenium+phantomjs,太重了
問題解答
回答1:動態加載的數據你應該找ajax api請求,而不是在網頁找,工欲善其事必先利其器,善用 F12。
回答2:這種情況比抓取一個代理ip網頁,使用cookie但是報錯好解決多了==,你完全可以判斷當前頁面內容然后進行模擬刷新~ 重要的是保持會話。
如果還不行的話,可以加referer再試一試
相關文章:
1. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””2. docker - 各位電腦上有多少個容器啊?容器一多,自己都搞混了,咋辦呢?3. nignx - docker內nginx 80端口被占用4. docker容器呢SSH為什么連不通呢?5. mac里的docker如何命令行開啟呢?6. 關于docker下的nginx壓力測試7. 如何解決Centos下Docker服務啟動無響應,且輸入docker命令無響應?8. docker 下面創建的IMAGE 他們的 ID 一樣?這個是怎么回事????9. docker start -a dockername 老是卡住,什么情況?10. angular.js使用$resource服務把數據存入mongodb的問題。
排行榜

網公網安備