[C#]解決讀寫包含漢字的txt檔案時亂碼的問題

來源:互聯網
上載者:User
當我們用System.IO.StreamReader讀取包含漢字的txt檔案時,經常會讀出亂碼(StreamWriater寫文字檔也

有類似的問題),原因很簡單,就是檔案的編碼(encoding)和StreamReader/Writer的encoding不對應。    為瞭解決這個問題,我寫了一個類,來取得一個文字檔的encoding,這樣我們就可以建立對應的StreamReader和StreamWriter來讀寫,保證不會出現亂碼現象。其實原理很簡單,文字編輯器(比如XP內建的記事本)在產生文字檔時,如果編碼格式和系統預設的編碼(中文系統下預設為GB2312)不一致時,會在txt檔案開頭部分添加特定的“編碼位元組序標識(Encoding Bit Order Madk,簡寫為BOM)”,類似PE格式的"MZ"檔案頭。這樣它在讀取時就可以根據這個BOM來確定該文字檔產生時所使用的Encoding。這個BOM我們用記事本等程式開啟預設是看不到的,但是用stream按位元組讀取時是可以讀到的。我的這個TxtFileEncoding類就是根據這個BOM“檔案頭”來確定txt檔案產生時用到的編碼的。

//  作者:袁曉輝

//  2005-8-8

// // // // // //

using System;

using System.Text;

using System.IO;

namespace Farproc.Text

{

    /// <summary>

    /// 用於取得一個文字檔的編碼方式(Encoding)。

    /// </summary>

    public class TxtFileEncoding

    {

        public TxtFileEncoding()

        {

            //

            // TODO: 在此處添加建構函式邏輯

            //

        }

        /// <summary>

        /// 取得一個文字檔的編碼方式。如果無法在檔案頭部找到有效前置字元,Encoding.Default將被返回。

        /// </summary>

        /// <param name="fileName">檔案名稱。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(string fileName)

        {

            return GetEncoding(fileName, Encoding.Default);

        }

        /// <summary>

        /// 取得一個文字檔流的編碼方式。

        /// </summary>

        /// <param name="stream">文字檔流。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(FileStream stream)

        {

            return GetEncoding(stream, Encoding.Default);

        }

        /// <summary>

        /// 取得一個文字檔的編碼方式。

        /// </summary>

        /// <param name="fileName">檔案名稱。</param>

        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時,將返回該編碼方式。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)

        {

            FileStream fs = new FileStream(fileName, FileMode.Open);

            Encoding targetEncoding = GetEncoding(fs, defaultEncoding);

            fs.Close();

            return targetEncoding;

        }

        /// <summary>

        /// 取得一個文字檔流的編碼方式。

        /// </summary>

        /// <param name="stream">文字檔流。</param>

        /// <param name="defaultEncoding">預設編碼方式。當該方法無法從檔案的頭部取得有效前置字元時,將返回該編碼方式。</param>

        /// <returns></returns>

        public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)

        {

            Encoding targetEncoding = defaultEncoding;

            if(stream != null && stream.Length >= 2)

            {

                //儲存檔案流的前4個位元組

                byte byte1 = 0;

                byte byte2 = 0;

                byte byte3 = 0;

                byte byte4 = 0;

                //儲存當前Seek位置

                long origPos = stream.Seek(0, SeekOrigin.Begin);

                stream.Seek(0, SeekOrigin.Begin);

               

                int nByte = stream.ReadByte();

                byte1 = Convert.ToByte(nByte);

                byte2 = Convert.ToByte(stream.ReadByte());

                if(stream.Length >= 3)

                {

                    byte3 = Convert.ToByte(stream.ReadByte());

                }

                if(stream.Length >= 4)

                {

                    byte4 = Convert.ToByte(stream.ReadByte());

                }

                //根據檔案流的前4個位元組判斷Encoding

                //Unicode {0xFF, 0xFE};

                //BE-Unicode {0xFE, 0xFF};

                //UTF8 = {0xEF, 0xBB, 0xBF};

                if(byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe

                {

                    targetEncoding = Encoding.BigEndianUnicode;

                }

                if(byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode

                {

                    targetEncoding = Encoding.Unicode;

                }

                if(byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8

                {

                    targetEncoding = Encoding.UTF8;

                }

                //恢複Seek位置      

                stream.Seek(origPos, SeekOrigin.Begin);

            }

            return targetEncoding;

        }

    }

}

       由於在GB2312和UTF7編碼都沒有BOM,所以需要指定一個預設的Encoding,在找不到合法的BOM時,將返回這個Encoding。有誰知道如何區分GB2312和UTF7編碼txt檔案的方法,也請告訴我。    由於只是static方法,所以不用new,直接通過類名調用方法,使用起來也很簡單。

using System;

using Farproc.Text;

using System.Text;

using System.IO;

namespace ConsoleApplication1

{

    /// <summary>

    /// Class1 的摘要說明。

    /// </summary>

    class Class1

    {

        /// <summary>

        /// 應用程式的主進入點。

        /// </summary>

        [STAThread]

        static void

Main(string[] args)

        {

            //

            // TODO: 在此處添加代碼以啟動應用程式

            //

            string fileName = @"e:\a.txt";

            //產生一個big endian Unicode編碼格式的文字檔

            StreamWriter sw = new StreamWriter(fileName, false, Encoding.BigEndianUnicode);//你可以試試其他編碼,比如Encoding.GetEncoding("GB2312")或UTF8

            sw.Write("這是一個String");

            sw.Close();

   

            //讀取

            Encoding fileEncoding = TxtFileEncoding.GetEncoding(fileName, Encoding.GetEncoding("GB2312"));//取得這txt檔案的編碼

            Console.WriteLine("這個文字檔的編碼為:" + fileEncoding.EncodingName);

            StreamReader sr = new StreamReader(fileName, fileEncoding);//用該編碼建立StreamReader

   

            //用下面的方法雖然可以讓系統自動判斷文字檔的編碼格式,但是我們無法取得該文字檔的編碼

            //sr.CurrentEncoding永遠為 Unicode(UTF-8)

            //StreamReader sr = new StreamReader(fileName, true);

            //Console.WriteLine("這個文字檔的編碼為:" + sr.CurrentEncoding.EncodingName);

            Console.WriteLine("這個文字檔的內容為:" + sr.ReadToEnd());

            sr.Close();

            Console.ReadLine();

        }

    }

}

       .NET下的string永遠是Unicode的,所以只能判斷txt檔案的Encoding。對於byte[],只有自己知道它的Encoding才能轉換為string 轉換為其他編碼的byte[],一個例外是把整個txt檔案通過stream讀入byte[]後也可以根據它的前幾個位元組判斷Encoding,對於片斷,我們就無能為力了:)
相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.