文章詳情頁
python - 請教如何爬取簡書某一時間段發帖。
瀏覽:202日期:2022-07-11 10:45:01
問題描述
我想爬取簡書在某一時間段的帖子,比如 2013 年 4 月 13 — 2013 年 5 月 13
想嘗試的思路如下:
百度
利用百度的 site 語法
限定日期 
觀察大約有 70 個帖子 
google 的 site 語法
限定日期 
觀察大約有 120 個帖子 
實現:用 Python 直接請求搜索的結果,然后把得到的網址重定向一下得到真正的簡書網址,然后對真正的網址進行請求
問題
用這種方法得到的結果是否靠譜?請問有更靠譜的方法嗎?
用 Google 還是用百度呢?
問題解答
回答1:為了全面,你可以把主流的搜索引擎接口都拿來用,不一定要限制在某個搜索引擎接口上。我們有隊友搜索某些話題就是這么干的,因為有的網站站內沒提供滿足需求的搜索方式,這個時候也只有借助搜索引擎了。不過通過搜索引擎搜索的方式信息可能不全面,robots協議規定了不能搜索的,搜索引擎不會收錄
相關文章:
1. mac里的docker如何命令行開啟呢?2. 為什么我ping不通我的docker容器呢???3. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題4. docker容器呢SSH為什么連不通呢?5. nignx - docker內nginx 80端口被占用6. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””7. angular.js使用$resource服務把數據存入mongodb的問題。8. docker gitlab 如何git clone?9. docker 下面創建的IMAGE 他們的 ID 一樣?這個是怎么回事????10. docker-compose 為何找不到配置文件?
排行榜

網公網安備