文章詳情頁
python - scrapy 再次請求的問題
瀏覽:200日期:2022-08-17 18:54:48
問題描述
如:item[’url’]=response.xpath(’a/@href’)分析出一個鏈接,然后想從這個鏈接里的網頁再獲取一些元素,放入item[’other’]。應該怎么寫,謝謝。
問題解答
回答1:def parse_page1(self, response): for url in urls:item = MyItem()item[’url’] = urlrequest = scrapy.Request(url,callback=self.parse_page2)# request = scrapy.Request('http://www.example.com/some_page.html',dont_filter=True,callback=self.parse_page2)request.meta[’item’] = itemyield requestdef parse_page2(self, response): item = response.meta[’item’] item[’other’] = response.xpath(’/other’) yield item
最后附上官方文檔https://doc.scrapy.org/en/lat...中文翻譯版http://scrapy-chs.readthedocs...
相關文章:
1. 我在centos容器里安裝docker,也就是在容器里安裝容器,報錯了?2. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗!3. docker-compose中volumes的問題4. docker不顯示端口映射呢?5. golang - 用IDE看docker源碼時的小問題6. docker內創建jenkins訪問另一個容器下的服務器問題7. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””8. javascript - 最近用echarts做統計圖時遇到兩個問題!!9. javascript - 連續點擊觸發mouseleave事件10. mac里的docker如何命令行開啟呢?
排行榜

網公網安備