python lxml解析中文的問題
問題描述
使用lxml來抓取中文字符,抓到的結(jié)果很蛋疼,不知道怎么處理...
comUrl='http://m.51job.com/search/codetail.php?coid=4108723'res=requests.get(comUrl)html=etree.HTML(res.text)p=html.xpath('//aside')[1].xpath('./p') #結(jié)果為[<Element p at 0x7bf01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>]p[0].xpath('./span/text()') #這個是想要抓取的字符
結(jié)果抓到的是這樣的 [u’xe6x80xa7xe8xb4xa8’]unicode但是內(nèi)容是str的編碼,請問怎么把這個東西轉(zhuǎn)成中文?正常應(yīng)該是’xe6x80xa7xe8xb4xa8’或者u’u6027u8d28’
問題解答
回答1：’’.join(map(lambda x:chr(x), map(lambda x:ord(x), u’xe6x80xa7xe8xb4xa8’))).decode(’utf-8’)回答2：
出現(xiàn)這種情況，一般是requests猜錯了網(wǎng)頁的編碼了因此指定requests的編碼就可以了.res.encoding =’utf-8’
In [33]: comUrl='http://m.51job.com/search/codetail.php?coid=4108723' ...: res=requests.get(comUrl) ...: res.encoding =’utf-8’ ...: html=etree.HTML(res.text) ...: p=html.xpath('//aside')[1].xpath('./p') #結(jié)果為[<Element p at 0x7b ...: f01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>] ...: p[0].xpath('./span/text()') #這個是想要抓取的字符 ...: Out[33]: [u’u6027u8d28’]In [34]: print _[0]性質(zhì)
相關(guān)文章：
1. docker綁定了nginx端口 外部訪問不到2. javascript - 深夜被問題困擾求解惑，rn的API之PermissionsAndroidd的問題3. git - webstorm窗口中左側(cè)列表的文件名顏色怎么修改4. javascript - 最近用echarts做統(tǒng)計圖時遇到兩個問題！！5. mysql - 我的myeclipse一直連顯示數(shù)據(jù)庫連接失敗，不知道為什么6. android權(quán)限被第三方安全軟件禁止，如何獲取該權(quán)限狀態(tài)7. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？8. android - 優(yōu)酷的安卓及蘋果app還在使用flash技術(shù)嗎？9. 前端 - html5 audio不能播放10. javascript - onclick事件點擊不起作用
網(wǎng)公網(wǎng)安備