Java高效读取大文件（转）

1、概述

本教程将演示如何用Java高效阅读大文件。

读取文件行的标准方法是在内存中读取，Guava 还有Apache Commons IO提供了以下快速读取文件行的方法：

Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path));

这种方法带来的问题是，文件的所有行都存储在内存中，当文件足够大时，程序很快就会被抛出OutOfMemoryError异常。

例如：读取一份大约1G的文件：

@Testpublic void givenUsingGuava_whenIteratingAFile_thenWorks() throws IOException {String path = ...Files.readLines(new File(path), Charsets.UTF_8);}

这种方法一开始只占用很少的内存:(大概消耗了0Mb内存）

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 128 Mb[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 116 Mb1

然而，当所有文件都读到内存时，我们最终可以看到(约消耗2GB内存)：

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb

这意味着这个过程消耗了大约2.1GB的内存——原因很简单:文件的所有行现在都存储在内存中。

很明显，将文件的所有内容放入内存中很快就会耗尽可用内存——无论实际可用内存有多大。

此外，我们通常不需要一次性将文件的所有行放入内存中——相反，我们只需要遍历文件的每一行，然后进行相应的处理，然后在处理后扔掉它。因此，这就是我们将要做的——通过行迭代，而不是将所有行放入内存中。

3、文件流

现在让我们来看看这个解决方案——我们将使用java.util.Scanner扫描文件的内容，一行一行地连续读取:

FileInputStream inputStream = null;Scanner sc = null;try {inputStream = new FileInputStream(path);sc = new Scanner(inputStream, "UTF-8");while (sc.hasNextLine()) {String line = sc.nextLine();// System.out.println(line);}// note that Scanner suppresses exceptionsif (sc.ioException() != null) {throw sc.ioException();}} finally {if (inputStream != null) {throw sc.ioException();}} finally {if (inputStream != null) {inputStream.close();}if (sc != null) {sc.close();}}

该方案将遍历文件中的所有行——允许在不保持引用的情况下处理每一行。简而言之，它们没有存储在内存中：(约150MB内存消耗)

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb

4、Apache Commons IO流

也可以使用Commonss IO库利用该库提供的自定义Lineiterator实现:

LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");try {while (it.hasNext()) {String line = it.nextLine();// do something with line}} finally {LineIterator.closeQuietly(it);}1

由于整个文件并非全部存储在内存中，因此会导致相当保守的内存消耗：(大概消耗了150MB内存）

[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb

5、结论

本文介绍了如何在不重复读取和耗尽内存的情况下处理大文件——这为处理大文件提供了有用的解决方案。

所有这些例子的实现和代码片段都可以在我的Github项目上获得——这是一个基于Eclipse的项目，应该很容易导入和运行。