NodeJS抓取Web頁面的編碼問題

標籤：

　　最近在做畢設需要用到的爬蟲系統，頁面抓取這一塊使用的是NodeJS語言，在最開始寫的頁面抓取的程式中，針對gb2312編碼的頁面儲存完後顯示的是亂碼，開始認為在用Java讀取檔案時進行一個編碼轉換工作就可以解決了，但是試了半天，編碼只會越來越慢，後來猜想，NodeJS請求到的頁面的Body傳輸過來的是二進位的流資訊，如果採用錯誤的編碼方式對二進位資訊進行解碼，那麼得到的結果坑定是錯誤的，再將這種結果儲存到檔案中，結果肯定還是錯的，所以，通過上述的方法，不可能得到正確的結果。

　　後來的解決方案是，在NodeJS中，對位元據進行解碼，通過Regex擷取檔案正確的編碼，再用正確的編碼對位元據進行解碼，最終得到正確的結果。

　　在請求頁面資訊時，有些網站由於頁面內容過多，對頁面中的內容進行了壓縮，可以通過Headers[‘content-code‘]查看頁面壓縮所使用的壓縮方法，針對這種頁面，在解析前，必須先對流資訊進行解壓縮，得到完整的流資訊後，再採用上述的方法對資訊進行解碼操作。

　　NodeJS中關於編碼操作，使用的是iconv-lite庫，壓縮與解壓縮採用的是zlib庫。

NodeJS抓取Web頁面的編碼問題