文章詳情頁
java - QQ空間爬蟲總是被封號
瀏覽：197日期：2022-09-24 17:58:56
問題描述
抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎？如何既可以快速 又可以不封號！謝謝啦！
代碼在github上地址https://github.com/20100507/Q...
問題解答
回答1：反爬蟲策略：
1、識別請求頭，判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip，判斷是否是爬蟲3、請求參數(shù)中進行加密或復(fù)雜加密，增加爬蟲開發(fā)的難度（如淘寶的ua算法）4、復(fù)雜驗證碼
應(yīng)對反爬蟲策略：
1、在爬取過程中，適當切換代理ip2、適當降低請求頻率3、請求頭模擬成瀏覽器的請求，也就是用戶正常訪問的請求
你的問題，主要可以通過定時切換ip，或一旦被封再切換ip，來解決，可以考慮去“站大爺”等代理ip網(wǎng)站付費獲取，或者去多用幾個電信賬號，用ASDL撥號來切換ip。
標簽：
qq
上一條：有用ruby抓取新浪微博內(nèi)容的源代碼可共享嗎？下一條：javascript - 為什么公司很少用node做后臺,對比java,php,python傳統(tǒng)后臺， node的優(yōu)勢在哪里，適合做什么
相關(guān)文章：
1. 我在centos容器里安裝docker，也就是在容器里安裝容器，報錯了？2. docker內(nèi)創(chuàng)建jenkins訪問另一個容器下的服務(wù)器問題3. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗！4. docker不顯示端口映射呢？5. docker-compose中volumes的問題6. golang - 用IDE看docker源碼時的小問題7. 關(guān)docker hub上有些鏡像的tag被標記““This image has vulnerabilities””8. docker容器呢SSH為什么連不通呢？9. javascript - 連續(xù)點擊觸發(fā)mouseleave事件10. mac里的docker如何命令行開啟呢？
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備