python + selenium + chromedriver 如何實現無界面爬取
問題描述
在使用selenium爬取12306的過程中,發現使用phantomjs無法爬取,使用chromedriver就可以,應該是phantomjs被網站檢測出來后封禁了,使用chromedriver又會顯示界面,爬取效率低。現在有兩點疑問,google了好久都沒找到有效的解決方法1.如何偽裝phantomjs,盡最大可能的偽裝2.如何設置chromedriver,使其不顯示界面,或者還有什么其他方法提高爬取效率
感謝!!!
問題解答
回答1:通過PyVirtualDisplay可以實現你的需求,大概代碼就是這樣:
#!/usr/bin/env pythonfrom pyvirtualdisplay import Displayfrom selenium import webdriverdisplay = Display(visible=0, size=(800, 600))display.start()# now Firefox will run in a virtual display. # you will not see the browser.browser = webdriver.Chrome()browser.get(’http://www.baidu.com’)print browser.titlebrowser.quit()display.stop()
不知道你修改過phantomjs的頭信息沒有,可以通過
from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_argument(’lang=zh_CN.UTF-8’)options.add_argument(’user-agent='Mozilla/5.0 (iPod; U; CPU iPhone OS 2_1 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5F137 Safari/525.20'’)browser = webdriver.Chrome(chrome_options=options)url = 'https://baidu.com'browser.get(url)browser.quit()
這種方式修改phantomjs的頭部信息,這個也可以試試
回答2:可以參考鄙人的文章在headless模式下運行selenium
相關文章:
1. docker綁定了nginx端口 外部訪問不到2. 前端 - html5 audio不能播放3. javascript - 最近用echarts做統計圖時遇到兩個問題!!4. javascript - 深夜被問題困擾求解惑,rn的API之PermissionsAndroidd的問題5. mysql - 我的myeclipse一直連顯示數據庫連接失敗,不知道為什么6. redis sentinel怎么跑守護進程以及日志記錄位置的?7. android權限被第三方安全軟件禁止,如何獲取該權限狀態8. android - 優酷的安卓及蘋果app還在使用flash技術嗎?9. 利用百度地圖API定位及附件商家信息服務10. nginx - ssl加密訪問證書不受信任

網公網安備