問題描述

想用python做股票量化交易，第一步就是獲取股票的歷史數據。訪問http://data.eastmoney.com/sto...網頁，將網頁源碼打開后看不見表格中的數據，據說是利用ajax技術加載的。在網上看見可以利用selenium和phantomJS來獲取這些動態網頁內容，但是不知道如何獲取完整源碼。請高手指點迷津

問題解答

事實上，我剛才試了一下，頁面不是用xhr加載的，在頁面的源代碼中已經有了，然后調用了一個類把數據加載為一個table。比如，首頁的數據：

然后，提取就直接使用re提取就可以了，得到文本以后json解析就好了。先寫到這里。+++++++++++++++++++++++++++++++++++++++++

然后，就是這個網站不使用xhr加載數據而是使用的js來加載json數據，動態解析來顯示。具體分析需要用到js的知識，如果你了解也可以自己嘗試解析。

我嘗試了一下。

from urllib.parse import quoteimport timeimport requestsurl = 'http://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=FD&sty=TSTC&st={sortType}&sr={sortRule}&p={page}&ps={pageSize}&js=var {jsname}=(x){param}'params = { 'sortType': 1, 'sortRule': 1, 'page': 2, 'pageSize': 50, 'jsname': 'Aafdafgq', # 這里使用的是隨機字符串，8位 'param': '&mkt=0&rt='}params['param'] += str(int(time.time()/30)) # 當前時間url = url.format(**params)url = quote(url, safe=':=/?&()')req = requests.get(url)req.text

用這個組合 好處是簡單暴力，壞處是效率較低。相當于打開一個你看不到的瀏覽器加載頁面，再把運算好的結果讀取。新人學爬蟲的話 推薦 python網絡數據采集 這本動物書。你需要的說明在采集動態頁面那章。這書很薄 很實用。

我對js和json都不太了解，剛剛爬蟲入門。經過你的提示，我再查看了一下源碼，發現在defjson里面有這些數據，不明白是怎樣把json里的數據顯示到tbody里面的。我用pandas的read_html可以抓到這些數據，但是最后兩列會丟失。看來我得先去看看js和json