[C#]解決讀寫包含漢字的txt檔案時亂碼的問題

當我們用System.IO.StreamReader讀取包含漢字的txt檔案時，經常會讀出亂碼（StreamWriater寫文字檔也

有類似的問題），原因很簡單，就是檔案的編碼（encoding）和StreamReader/Writer的encoding不對應。    為瞭解決這個問題，我寫了一個類，來取得一個文字檔的encoding，這樣我們就可以建立對應的StreamReader和StreamWriter來讀寫，保證不會出現亂碼現象。其實原理很簡單，文字編輯器（比如XP內建的記事本）在產生文字檔時，如果編碼格式和系統預設的編碼（中文系統下預設為GB2312）不一致時，會在txt檔案開頭部分添加特定的“編碼位元組序標識（Encoding Bit Order Madk，簡寫為BOM）”，類似PE格式的"MZ"檔案頭。這樣它在讀取時就可以根據這個BOM來確定該文字檔產生時所使用的Encoding。這個BOM我們用記事本等程式開啟預設是看不到的，但是用stream按位元組讀取時是可以讀到的。我的這個TxtFileEncoding類就是根據這個BOM“檔案頭”來確定txt檔案產生時用到的編碼的。

//  作者：袁曉輝

//  2005-8-8

// // // // // //

using System;

using System.Text;

using System.IO;

namespace Farproc.Text

{

    /// <summary>

    /// 用於取得一個文字檔的編碼方式(Encoding)。

    /// </summary>

    public class TxtFileEncoding

    {

        public TxtFileEncoding()

        {

            //

            // TODO: 在此處添加建構函式邏輯

            //

        }

        /// <summary>

        /// 取得一個文字檔的編碼方式。如果無法在檔案頭部找到有效前置字元，Encoding.Default將被返回。

        /// </summary>

        /// <param name="fileName">檔案名稱。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(string fileName)

        {

            return GetEncoding(fileName, Encoding.Default);

        }

        /// <summary>

        /// 取得一個文字檔流的編碼方式。

        /// </summary>

        /// <param name="stream">文字檔流。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(FileStream stream)

        {

            return GetEncoding(stream, Encoding.Default);

        }

        /// <summary>

        /// 取得一個文字檔的編碼方式。

        /// </summary>

        /// <param name="fileName">檔案名稱。</param>

        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時，將返回該編碼方式。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)

        {

            FileStream fs = new FileStream(fileName, FileMode.Open);

            Encoding targetEncoding = GetEncoding(fs, defaultEncoding);

            fs.Close();

            return targetEncoding;

        }

        /// <summary>

        /// 取得一個文字檔流的編碼方式。

        /// </summary>

        /// <param name="stream">文字檔流。</param>

        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時，將返回該編碼方式。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)

        {

            Encoding targetEncoding = defaultEncoding;

            if(stream != null && stream.Length >= 2)

            {

                //儲存檔案流的前4個位元組

                byte byte1 = 0;

                byte byte2 = 0;

                byte byte3 = 0;

                byte byte4 = 0;

                //儲存當前Seek位置

                long origPos = stream.Seek(0, SeekOrigin.Begin);

                stream.Seek(0, SeekOrigin.Begin);

               

                int nByte = stream.ReadByte();

                byte1 = Convert.ToByte(nByte);

                byte2 = Convert.ToByte(stream.ReadByte());

                if(stream.Length >= 3)

                {

                    byte3 = Convert.ToByte(stream.ReadByte());

                }

                if(stream.Length >= 4)

                {

                    byte4 = Convert.ToByte(stream.ReadByte());

                }

                //根據檔案流的前4個位元組判斷Encoding

                //Unicode {0xFF, 0xFE};

                //BE-Unicode {0xFE, 0xFF};

                //UTF8 = {0xEF, 0xBB, 0xBF};

                if(byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe

                {

                    targetEncoding = Encoding.BigEndianUnicode;

                }

                if(byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode

                {

                    targetEncoding = Encoding.Unicode;

                }

                if(byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8

                {

                    targetEncoding = Encoding.UTF8;

                }

                //恢複Seek位置      

                stream.Seek(origPos, SeekOrigin.Begin);

            }

            return targetEncoding;

        }

    }

}

       由於在GB2312和UTF7編碼都沒有BOM，所以需要指定一個預設的Encoding，在找不到合法的BOM時，將返回這個Encoding。有誰知道如何區分GB2312和UTF7編碼txt檔案的方法，也請告訴我。    由於只是static方法，所以不用new，直接通過類名調用方法，使用起來也很簡單。

using System;

using Farproc.Text;

using System.Text;

using System.IO;

namespace ConsoleApplication1

{

    /// <summary>

    /// Class1 的摘要說明。

    /// </summary>

    class Class1

    {

        /// <summary>

        /// 應用程式的主進入點。

        /// </summary>

        [STAThread]

        static void

Main(string[] args)

        {

            //

            // TODO: 在此處添加代碼以啟動應用程式

            //

            string fileName = @"e:\a.txt";

            //產生一個big endian Unicode編碼格式的文字檔

            StreamWriter sw = new StreamWriter(fileName, false, Encoding.BigEndianUnicode);//你可以試試其他編碼，比如Encoding.GetEncoding("GB2312")或UTF8

            sw.Write("這是一個String");

            sw.Close();

   

            //讀取

            Encoding fileEncoding = TxtFileEncoding.GetEncoding(fileName, Encoding.GetEncoding("GB2312"));//取得這txt檔案的編碼

            Console.WriteLine("這個文字檔的編碼為：" + fileEncoding.EncodingName);

            StreamReader sr = new StreamReader(fileName, fileEncoding);//用該編碼建立StreamReader

   

            //用下面的方法雖然可以讓系統自動判斷文字檔的編碼格式，但是我們無法取得該文字檔的編碼

            //sr.CurrentEncoding永遠為 Unicode(UTF-8)

            //StreamReader sr = new StreamReader(fileName, true);

            //Console.WriteLine("這個文字檔的編碼為：" + sr.CurrentEncoding.EncodingName);

            Console.WriteLine("這個文字檔的內容為：" + sr.ReadToEnd());

            sr.Close();

            Console.ReadLine();

        }

    }

}

       .NET下的string永遠是Unicode的，所以只能判斷txt檔案的Encoding。對於byte[]，只有自己知道它的Encoding才能轉換為string 轉換為其他編碼的byte[]，一個例外是把整個txt檔案通過stream讀入byte[]後也可以根據它的前幾個位元組判斷Encoding，對於片斷，我們就無能為力了:)