文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：193日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. docker api 開發的端口怎么獲取？2. docker - 如何修改運行中容器的配置3. docker start -a dockername 老是卡住，什么情況？4. macos - mac下docker如何設置代理5. docker鏡像push報錯6. dockerfile - 我用docker build的時候出現下邊問題 麻煩幫我看一下7. debian - docker依賴的aufs-tools源碼哪里可以找到啊？8. docker網絡端口映射，沒有方便點的操作方法么？9. angular.js使用$resource服務把數據存入mongodb的問題。10. docker 下面創建的IMAGE 他們的 ID 一樣？這個是怎么回事？？？？
排行榜
網公網安備