Python 抓取網頁亂碼問題

標籤：

字元編碼問題的確是萬年的難題。之前我也處理過 R 語言中文亂碼的問題，it just drives me crazy!!!!!!!!!!!!!!!!! HOLY SHIT!!!!!!!!!!!!

 

要麼就是這樣的錯誤

UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\u200e’ in position 43: illegal multibyte sequence

要麼就是可以讀取然後就亂碼。

 

我本身環境為UTF-8.

>>> import sys;>>> print(sys.getdefaultencoding());utf-8

在第一行加上

# -*- coding: utf-8 -*-

 

將你的PY檔案改為UTF-8檔案格式，然後就

 

↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

完美解決方案：

BYTES.decode("GBK",‘ignore‘).encode("GBK").decode(‘UTF-8‘,‘ignore‘)
#總之尼瑪你就GBK和UTF-8之間搞來搞起就好了！艸！

 

Python 抓取網頁亂碼問題