C#解決讀寫包含漢字的txt檔案時亂碼的問題

C#解決讀寫包含漢字的txt檔案時亂碼的問題   當我們用System.IO.StreamReader讀取包含漢字的txt檔案時，經常會讀出亂碼（StreamWriater寫文字檔也

有類似的問題），原因很簡單，就是檔案的編碼（encoding）和StreamReader/Writer的encoding不對應。

    為瞭解決這個問題，我寫了一個類，來取得一個文字檔的encoding，這樣我們就可以建立對應的

StreamReader和StreamWriter來讀寫，保證不會出現亂碼現象。其實原理很簡單，文字編輯器（比如XP內建的記事

本）在產生文字檔時，如果編碼格式和系統預設的編碼（中文系統下預設為GB2312）不一致時，會在txt檔案開頭

部分添加特定的“編碼位元組序標識（Encoding Bit Order Madk，簡寫為BOM）”，類似PE格式的"MZ"檔案頭。這樣

它在讀取時就可以根據這個BOM來確定該文字檔產生時所使用的Encoding。這個BOM我們用記事本等程式開啟預設

是看不到的，但是用stream按位元組讀取時是可以讀到的。我的這個TxtFileEncoding類就是根據這個BOM“檔案頭”

來確定txt檔案產生時用到的編碼的。

//  作者：袁曉輝
//  2005-8-8
// // // // // //
using System;
using System.Text;
using System.IO;
namespace Farproc.Text
{
    /// <summary>
    /// 用於取得一個文字檔的編碼方式(Encoding)。
    /// </summary>
    public class TxtFileEncoding
    {
        public TxtFileEncoding()
        {
            //
            // TODO: 在此處添加建構函式邏輯
            //
        }
        /// <summary>
        /// 取得一個文字檔的編碼方式。如果無法在檔案頭部找到有效前置字元，Encoding.Default將被返回。
        /// </summary>
        /// <param name="fileName">檔案名稱。</param>
        /// <returns></returns>
        public static Encoding GetEncoding(string fileName)
        {
            return GetEncoding(fileName, Encoding.Default);
        }
        /// <summary>
        /// 取得一個文字檔流的編碼方式。
        /// </summary>
        /// <param name="stream">文字檔流。</param>
        /// <returns></returns>
        public static Encoding GetEncoding(FileStream stream)
        {
            return GetEncoding(stream, Encoding.Default);
        }
        /// <summary>
        /// 取得一個文字檔的編碼方式。
        /// </summary>
        /// <param name="fileName">檔案名稱。</param>
        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時，將返回該編碼方式。</param>
        /// <returns></returns>
        public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)
        {
            FileStream fs = new FileStream(fileName, FileMode.Open);
            Encoding targetEncoding = GetEncoding(fs, defaultEncoding);
            fs.Close();
            return targetEncoding;
        }
        /// <summary>
        /// 取得一個文字檔流的編碼方式。
        /// </summary>
        /// <param name="stream">文字檔流。</param>
        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時，將返回該編碼方式。</param>
        /// <returns></returns>
        public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)
        {
            Encoding targetEncoding = defaultEncoding;
            if(stream != null && stream.Length >= 2)
            {
                //儲存檔案流的前4個位元組
                byte byte1 = 0;
                byte byte2 = 0;
                byte byte3 = 0;
                byte byte4 = 0;
                //儲存當前Seek位置
                long origPos = stream.Seek(0, SeekOrigin.Begin);
                stream.Seek(0, SeekOrigin.Begin);
               
                int nByte = stream.ReadByte();
                byte1 = Convert.ToByte(nByte);
                byte2 = Convert.ToByte(stream.ReadByte());
                if(stream.Length >= 3)
                {
                    byte3 = Convert.ToByte(stream.ReadByte());
                }
                if(stream.Length >= 4)
                {
                    byte4 = Convert.ToByte(stream.ReadByte());
                }
                //根據檔案流的前4個位元組判斷Encoding
                //Unicode {0xFF, 0xFE};
                //BE-Unicode {0xFE, 0xFF};
                //UTF8 = {0xEF, 0xBB, 0xBF};
                if(byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe
                {
                    targetEncoding = Encoding.BigEndianUnicode;
                }
                if(byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode
                {
                    targetEncoding = Encoding.Unicode;
                }
                if(byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8
                {
                    targetEncoding = Encoding.UTF8;
                }
                //恢複Seek位置      
                stream.Seek(origPos, SeekOrigin.Begin);
            }
            return targetEncoding;
        }
    }
}

    由於在GB2312和UTF7編碼都沒有BOM，所以需要指定一個預設的Encoding，在找不到合法的BOM時，將返回這個

Encoding。有誰知道如何區分GB2312和UTF7編碼txt檔案的方法，也請告訴我。

    由於只是static方法，所以不用new，直接通過類名調用方法，使用起來也很簡單。

using System;
using Farproc.Text;
using System.Text;
using System.IO;
namespace ConsoleApplication1
{
    /// <summary>
    /// Class1 的摘要說明。
    /// </summary>
    class Class1
    {
        /// <summary>
        /// 應用程式的主進入點。
        /// </summary>
        [STAThread]
        static void Main(string[] args)
        {
            //
            // TODO: 在此處添加代碼以啟動應用程式
            //
            string fileName = @"e:\a.txt";
            //產生一個big endian Unicode編碼格式的文字檔
            StreamWriter sw = new StreamWriter(fileName, false, Encoding.BigEndianUnicode);//你可以試試其他編碼，比如Encoding.GetEncoding("GB2312")或UTF8
            sw.Write("這是一個String");
            sw.Close();

            //讀取
            Encoding fileEncoding = TxtFileEncoding.GetEncoding(fileName, Encoding.GetEncoding("GB2312"));//取得這txt檔案的編碼
            Console.WriteLine("這個文字檔的編碼為：" + fileEncoding.EncodingName);
            StreamReader sr = new StreamReader(fileName, fileEncoding);//用該編碼建立StreamReader

            //用下面的方法雖然可以讓系統自動判斷文字檔的編碼格式，但是我們無法取得該文字檔的編碼
            //sr.CurrentEncoding永遠為 Unicode(UTF-8)
            //StreamReader sr = new StreamReader(fileName, true);
            //Console.WriteLine("這個文字檔的編碼為：" + sr.CurrentEncoding.EncodingName);
            Console.WriteLine("這個文字檔的內容為：" + sr.ReadToEnd());
            sr.Close();
            Console.ReadLine();
        }
    }
}

    .NET下的string永遠是Unicode的，所以只能判斷txt檔案的Encoding。對於byte[]，只有自己知道它的

Encoding才能轉換為string 轉換為其他編碼的byte[]，一個例外是把整個txt檔案通過stream讀入byte[]後也可以根據它的前幾個位元組判斷

Encoding，對於片斷，我們就無能為力了:)