C# 超高速高效能寫日誌 代碼開源

標籤：opened   ges   static   dom   ram   bre   記憶體   關心   setevent   

1、需求

需求很簡單，就是在C#開發中高速寫日誌。比如在高並發，高流量的地方需要寫日誌。我們知道程式在操作磁碟時是比較耗時的，所以我們把日誌寫到磁碟上會有一定的時間耗在上面，這些並不是我們想看到的。

 

2、解決方案2.1、簡單原理說明

使用列隊先緩衝到記憶體，然後我們一直有個線程再從列隊中寫到磁碟上，這樣就可以高速高效能的寫日誌了。因為速度慢的地方我們分離出來了，也就是說程式在把日誌扔給列隊後，程式的日誌部分就算完成了，後面操作磁碟耗時的部分程式是不需要關心的，由另一個線程操作。

俗話說，魚和熊掌不可兼得，這樣會有一個問題，就是如果日誌已經到列隊了這個時候程式崩潰或者電腦斷電都會導致日誌部分丟失，但是有些地方為了高效能的寫日誌，是否可以忽略一些情況，請各位根據情況而定。

 

2.2、樣本圖

 

3、關鍵代碼部分

這裡寫日誌的部分LZ選用了比較常用的log4net，當然也可以選擇其他的日誌組件，比如nlog等等。

3.1、日誌至列隊部分

第一步我們首先需要把日誌放到列隊中，然後才能從列隊中寫到磁碟上。

        public void EnqueueMessage(string message, FlashLogLevel level, Exception ex = null)        {            if ((level == FlashLogLevel.Debug && _log.IsDebugEnabled)             || (level == FlashLogLevel.Error && _log.IsErrorEnabled)             || (level == FlashLogLevel.Fatal && _log.IsFatalEnabled)             || (level == FlashLogLevel.Info && _log.IsInfoEnabled)             || (level == FlashLogLevel.Warn && _log.IsWarnEnabled))            {                _que.Enqueue(new FlashLogMessage                {                    Message = "[" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss,fff") + "]\r\n" + message,                    Level = level,                    Exception = ex                });                // 通知線程往磁碟中寫日誌                _mre.Set();            }        }

_log是log4net日誌組件的ILog，其中包含了寫日誌，判斷日誌等級等功能，代碼開始部分的if判斷就是判斷等級和現在的日誌等級做對比，看是否需要寫入列隊，這樣可以有效提高日誌的效能。

其中的_que是ConcurrentQueue列隊。_mre是ManualResetEvent訊號，ManualResetEvent是用來通知線程列隊中有新的日誌，可以從列隊中寫入磁碟了。當從列隊中寫完日誌後，重新設定訊號，在等待下次有新的日誌到來。

 

3.2、列隊到磁碟

從列隊到磁碟我們需要有一個線程從列隊寫入磁碟，也就是說我們在程式啟動時就要載入這個線程，比如asp.net中就要在global中的Application_Start中載入。

       /// <summary>        /// 另一個線程記錄日誌，只在程式初始化時調用一次        /// </summary>        public void Register()        {            Thread t = new Thread(new ThreadStart(WriteLog));            t.IsBackground = false;            t.Start();        }        /// <summary>        /// 從隊列中寫日誌至磁碟        /// </summary>        private void WriteLog()        {            while (true)            {                // 等待訊號通知                _mre.WaitOne();                // 判斷是否有內容需要如磁碟                while (_que.Count > 0)                {                    FlashLogMessage msg;                    if (_que.TryDequeue(out msg)) // 從列隊中擷取內容，並刪除列隊中的內容                    {                        // 判斷日誌等級，然後寫日誌                        switch (msg.Level)                        {                            case FlashLogLevel.Debug:                                _log.Debug(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Info:                                _log.Info(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Error:                                _log.Error(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Warn:                                _log.Warn(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Fatal:                                _log.Fatal(msg.Message, msg.Exception);                                break;                        }                    }                }                // 重新設定訊號                _mre.Reset();            }        }

 

3.3、完整代碼

using log4net;using log4net.Config;using System;using System.Collections.Concurrent;using System.IO;using System.Threading;namespace Emrys.FlashLog{    public sealed class FlashLogger    {        /// <summary>        /// 記錄訊息Queue        /// </summary>        private readonly ConcurrentQueue<FlashLogMessage> _que;        /// <summary>        /// 訊號        /// </summary>        private readonly ManualResetEvent _mre;        /// <summary>        /// 日誌        /// </summary>        private readonly ILog _log;        /// <summary>        /// 日誌        /// </summary>        private static FlashLogger _flashLog = new FlashLogger();        private FlashLogger()        {            // 設定日誌設定檔路徑            XmlConfigurator.Configure(new FileInfo(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "log4net.config")));            _que = new ConcurrentQueue<FlashLogMessage>();            _mre = new ManualResetEvent(false);            _log = LogManager.GetLogger(System.Reflection.MethodBase.GetCurrentMethod().DeclaringType);        }        /// <summary>        /// 實現單例        /// </summary>        /// <returns></returns>        public static FlashLogger Instance()        {            return _flashLog;        }        /// <summary>        /// 另一個線程記錄日誌，只在程式初始化時調用一次        /// </summary>        public void Register()        {            Thread t = new Thread(new ThreadStart(WriteLog));            t.IsBackground = false;            t.Start();        }        /// <summary>        /// 從隊列中寫日誌至磁碟        /// </summary>        private void WriteLog()        {            while (true)            {                // 等待訊號通知                _mre.WaitOne();                // 判斷是否有內容需要如磁碟                while (_que.Count > 0)                {                    FlashLogMessage msg;                    if (_que.TryDequeue(out msg)) // 從列隊中擷取內容，並刪除列隊中的內容                    {                        // 判斷日誌等級，然後寫日誌                        switch (msg.Level)                        {                            case FlashLogLevel.Debug:                                _log.Debug(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Info:                                _log.Info(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Error:                                _log.Error(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Warn:                                _log.Warn(msg.Message, msg.Exception);                                break;                            case FlashLogLevel.Fatal:                                _log.Fatal(msg.Message, msg.Exception);                                break;                        }                    }                }                // 重新設定訊號                _mre.Reset();            }        }        /// <summary>        /// 寫日誌        /// </summary>        /// <param name="message">日誌文本</param>        /// <param name="level">等級</param>        /// <param name="ex">Exception</param>        public void EnqueueMessage(string message, FlashLogLevel level, Exception ex = null)        {            if ((level == FlashLogLevel.Debug && _log.IsDebugEnabled)             || (level == FlashLogLevel.Error && _log.IsErrorEnabled)             || (level == FlashLogLevel.Fatal && _log.IsFatalEnabled)             || (level == FlashLogLevel.Info && _log.IsInfoEnabled)             || (level == FlashLogLevel.Warn && _log.IsWarnEnabled))            {                _que.Enqueue(new FlashLogMessage                {                    Message = "[" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss,fff") + "]\r\n" + message,                    Level = level,                    Exception = ex                });                // 通知線程往磁碟中寫日誌                _mre.Set();            }        }        public static void Debug(string msg, Exception ex = null)        {            Instance().EnqueueMessage(msg, FlashLogLevel.Debug, ex);        }        public static void Error(string msg, Exception ex = null)        {            Instance().EnqueueMessage(msg, FlashLogLevel.Error, ex);        }        public static void Fatal(string msg, Exception ex = null)        {            Instance().EnqueueMessage(msg, FlashLogLevel.Fatal, ex);        }        public static void Info(string msg, Exception ex = null)        {            Instance().EnqueueMessage(msg, FlashLogLevel.Info, ex);        }        public static void Warn(string msg, Exception ex = null)        {            Instance().EnqueueMessage(msg, FlashLogLevel.Warn, ex);        }    }    /// <summary>    /// 日誌等級    /// </summary>    public enum FlashLogLevel    {        Debug,        Info,        Error,        Warn,        Fatal    }    /// <summary>    /// 日誌內容    /// </summary>    public class FlashLogMessage    {        public string Message { get; set; }        public FlashLogLevel Level { get; set; }        public Exception Exception { get; set; }    } }

 

4、效能對比和應用4.1、效能對比

經過測試發現

使用原始的log4net寫入日誌100000條資料需要：19104毫秒。

同樣資料使用列隊方式只需要251毫秒。

 

 

 

4.2、應用4.2.1、需要在程式啟動時註冊，如asp.net 程式中在Global.asax中的Application_Start註冊。

    public class MvcApplication : System.Web.HttpApplication    {        protected void Application_Start()        {            AreaRegistration.RegisterAllAreas();            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);            RouteConfig.RegisterRoutes(RouteTable.Routes);            BundleConfig.RegisterBundles(BundleTable.Bundles);           FlashLogger.Instance().Register();        }    }

 

4.2.2、在需要寫入日誌的地方直接調用FlashLogger的靜態方法即可。

            FlashLogger.Debug("Debug");            FlashLogger.Debug("Debug", new Exception("testexception"));            FlashLogger.Info("Info");            FlashLogger.Fatal("Fatal");            FlashLogger.Error("Error");            FlashLogger.Warn("Warn", new Exception("testexception"));

C# 超高速高效能寫日誌 代碼開源