問題描述

頁面地址: http://acm.hdu.edu.cn/showpro...

爬取的目標(biāo):

想要爬取這些個公式的代碼，Chrome按F12看到的代碼:

但是爬取到的代碼如下:

這個代碼并不能顯示正確的公式，貌似這些代碼都是js生成的，該如何爬取到這些代碼。

問題解答

這是MathJax工具解析的。在HTML代碼中查看公式p的下一個id為MathJax-Element-X的script，復(fù)制里面的內(nèi)容，在公式前后加兩個$$（前后都是兩個美元符，所以一共是四個）最后使用MathJax解析就可以了。說再多不如上圖：

先抓包，把ajax請求抓出來，關(guān)鍵是看怎么構(gòu)造該請求，主要是一些參數(shù)的確定。套路大概下面幾個:1 在上下文搜搜相關(guān)參數(shù)是否存在，如果是服務(wù)器返回的，就直接請求服務(wù)器獲得該參數(shù)；2 如果該參數(shù)很明顯不變或者變化有規(guī)律，可以直接偽造；3 如果參數(shù)很復(fù)雜且沒規(guī)律，那么需要搜索參數(shù)的key,找到加密的js，然后構(gòu)造參數(shù)的值，得到ajax url；4 實在難度太大那么用selenium等自動化工具驅(qū)動瀏覽器來訪問，它會直接給你渲染好所有js