python - pyspider翻頁問題?
問題描述
想要爬取愛卡汽車的每個汽車的口碑,但是在翻頁問題總是進不去,無論是用chorme還是自帶的css selector helper抓取到的CSS PATH都無法翻頁,請求幫助,代碼如下
#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-03-21 12:57:03# Project: test03import refrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://newcar.xcar.com.cn/price/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’a[href^='http']’).items(): if re.match('http://newcar.xcar.com.cn/d', each.attr.href, re.U): self.crawl(each.attr.href, callback=self.list_page) def list_page(self, response):for each in response.doc(’body > p.demio_wp > p > ul > li:nth-child(6) > a’).items(): self.crawl(each.attr.href, callback=self.list_page1)def list_page1(self, response):for each in response.doc(’.review_gml_tit > .more’).items(): self.crawl(each.attr.href, callback=self.detail_page) #翻頁,問題出在下面這里for each in response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > p.pagers > a:nth-child(2)’).items(): self.crawl(each.attr.href, callback=self.list_page1)@config(priority=2) def detail_page(self, response):return { 'branch':response.doc(’#nav_ps > em > a’).text(), 'text':response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > dl > dd’).text(), }
問題解答
回答1:評論是 javascript 加載的。
相關文章:
1. golang - 用IDE看docker源碼時的小問題2. docker安裝后出現Cannot connect to the Docker daemon.3. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗!4. docker-machine添加一個已有的docker主機問題5. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題6. docker-compose中volumes的問題7. 我在centos容器里安裝docker,也就是在容器里安裝容器,報錯了?8. 為什么我ping不通我的docker容器呢???9. docker容器呢SSH為什么連不通呢?10. docker不顯示端口映射呢?

網公網安備