問題描述

同樣的代碼在 Notepad 環境（測試過記事本）過不了，在 Pycharm 可以過（ Python3.5 ）代碼：

import urllibimport urllib.requesturl = 'http://www.baidu.com'data = urllib.request.urlopen(url).read()data = data.decode(’UTF-8’)

這條語句，兩個環境都可以過

data.decode(’gbk’, ’ignore’).encode(’UTF-8’)print(data)

在 Pycharm 顯示爬出的網頁，在 cmd 窗口顯示

UnicodeEncodeError: ’gbk’ codec can’t encode character ’xbb’ in position 26830:illegal multibyte sequence

必須去除無效字符。

import urllibimport urllib.requesturl = 'http://www.baidu.com'data = urllib.request.urlopen(url).read()data.decode(’gbk’, ’ignore’).encode(’UTF-8’)print(data)

這樣可以過，求解釋

問題解答

你遇到的可能和我一樣是python編碼問題，或者使用的terminal的編碼支持問題。看看下面的問題。

【python編碼問題？】分享自@SegmentFault，傳送門：/q/10...