python開源項目Scrapy抓取檔案亂碼解決

標籤：

scrapy進行頁面抓去的時候，儲存的檔案出現亂碼，經過分析是編碼的原因，只需要把編碼轉換為utf-8即可，程式碼片段

......import chardet ......
      content_type = chardet.detect(html_content)      #print(content_type[‘encoding‘])       ifcontent_type[‘encoding‘] != "UTF-8":          html_content =html_content.decode(content_type[‘encoding‘])      html_content = html_content.encode("utf-8")      open(filename,"wb").write(html_content)....這樣儲存的檔案就是中文了。步驟:先把gb2312的編碼轉換為unicode編碼然後在把unicode編碼轉換為utf-8.

python開源項目Scrapy抓取檔案亂碼解決