如何利用Java高效讀取大檔案，利用Java讀取檔案

如何利用Java高效讀取大檔案，利用Java讀取檔案

在記憶體中讀取
讀取檔案行的標準方式是在記憶體中讀取，Guava 和Apache Commons IO都提供了如下所示快速讀取檔案行的方法：

Files.readLines(new File(path), Charsets.UTF_8);FileUtils.readLines(new File(path));

這種方法帶來的問題是檔案的所有行都被存放在記憶體中，當檔案足夠大時很快就會導致程式拋出OutOfMemoryError 異常。
讀取一個大約1G的檔案

public void readFiles() throws IOException {    String path = "...";    Files.readLines(new File(path), Charsets.UTF_8);}

這種方式剛開始只佔用了很少量的記憶體，然而，當檔案全部讀入記憶體後，我們可以看到，佔用了大量的記憶體（約2個G）

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb

這意味著這一過程消耗了大約2.1G的記憶體，因為檔案的所有行都被儲存在了記憶體中，把檔案所有的內容都放在記憶體中很快會耗盡可用記憶體——不論實際可用記憶體有多大，這點是顯而易見的。
此外，我們通常不需要把檔案的所有行一次性地放入記憶體中——相反，我們只需要遍曆檔案的每一行，然後做相應的處理，處理完之後把它扔掉。所以，這正是我們將要做的——通過行迭代，而不是把所有行都放在記憶體中。
檔案流
現在我們來看看下面這種解決方案，我們用Java.util.Scanner 掃描檔案的每一行，一行一行連續的讀取：

FileInputStream inputStream = null;Scanner sc = null;try {    inputStream = new FileInputStream(path);    sc = new Scanner(inputStream, "UTF-8");    while (sc.hasNextLine()) {        String line = sc.nextLine();        // System.out.println(line);    }    // note that Scanner suppresses exceptions    if (sc.ioException() != null) {        throw sc.ioException();    }} finally {    if (inputStream != null) {        inputStream.close();    }    if (sc != null) {        sc.close();    }}

這種方案會遍曆檔案中的所有行，允許對每一行進行處理，而不保持對它的引用，總之沒有把他們存放在記憶體中，我們可以看到，大約消耗了150MB記憶體。

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb

Apache Commons IO流
同樣可以使用Commons IO流，利用該庫提供的自訂 LineIterator類：

LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");try {    while (it.hasNext()) {        String line = it.nextLine();        // do something with line    }} finally {    LineIterator.closeQuietly(it);}

同樣也消耗了相當少的記憶體，大約150M：

[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb