c#分頁讀取GB文字檔

標籤：winform   style   blog   http   color   os   ar   使用   for   

應用情境：

a.我在做BI開發測試的時候，有可能面對source檔案數GB的情況，如果使用一般的文字編輯器，則會卡死，或要等很久才能顯示出來。

b.有時候，我們使用ascii(01)或ascii(02)作為行或列的分隔字元，這樣的臨時檔案用於導資料到DB,如果檔案匯入處理程序中有錯誤，需要查看檔案 的時候，普通的編輯器不支援換行，則會很恐怖。

為解決這兩個需求，我使用c#完成了一個簡單的winform的應用程式。

功能列表：

1.根據配置的行數，寫測試檔案，指定行終止符，資料行分隔符號暫時沒有使用上。

2根據指定的行終止符，和pagesize,分頁讀取檔案內容，而且可以在text和byte間轉換。

 Sourcecode:

主要的代碼如下，使用了一個迭代器：

private IEnumerator<string> ReadLines(string filename){/*string line;using (TextReader reader = File.OpenText(filename)){while ((line = reader.ReadLine()) != null)yield return line;}*/StringBuilder sb = new StringBuilder();using (FileStream fs = File.OpenRead(filename)){int b = 0;while ((b=fs.ReadByte())!=-1){//textbox3 store the row terminatorif (b.ToString() == textBox3.Text.Trim()){yield return sb.ToString();sb.Clear();}elsesb.Append(UnicodeEncoding.ASCII.GetString(new byte[] { byte.Parse(b.ToString()) }));}}}

 

   

   

樣本：

我測試了一次，產生了1個億的資料行，在系統中顯示佔用6GB的空間，

我嘗試讀寫，無卡頓情況。

可以進一步更新：

根據列行分隔字元顯示到gridview中，這樣更清晰。

可以從後往前讀檔案。

   

c#分頁讀取GB文字檔