java 处理大文件

article/2025/8/18 22:19:29

目的：

前几天在开发过程中遇到一个需求: 读取一个大约5G的csv文件内容，将其转化为对象然后存储到redis中, 想着直接开大内存直接load 进入到内存中就行了，结果可想而知,5G的文件，Xmx 开到10G都没有解决，直接out of Memory 异常

1、读入大文件

① 直接load 进入到内存中

这种处理大文件很容易造成内存不够的问题

   String path = "F:\\originData\\snapshotDepth\\2022-06-20\\sh_stock_now.csv";File testFile = new File(path);List<String> file = FileUtil.readLines(testFile, Charset.defaultCharset());

这种 500M的文件，堆内存一般会占用2.5G ，那么如果你去读一个5G的文件，那么内存直接起飞,所以这种不建议使用

② 按照行读取文件

     String path = "F:\\originData\\snapshotDepth\\2022-06-20\\sh_stock_now.csv";Scanner scanner = null;try (FileInputStream fileInputStream = new FileInputStream(path)) {scanner = new Scanner(fileInputStream);while (scanner.hasNextLine()) {String line = scanner.nextLine();log.info("对应的行的信息---{}", line);}} catch (Exception ex) {log.error("捕获到异常---{}", ex.getMessage(), ex);}

这种因为是有按照一行行读取到内存当中, 所以耗时肯定增加

③ 使用common io 中的函数

   public void testCommon() {String path = "F:\\originData\\snapshotDepth\\2022-06-20\\sh_stock_now.csv";File file = new File(path);try {Integer count = 0;Long startTime = System.currentTimeMillis();final LineIterator lineIterator = FileUtils.lineIterator(file, "utf-8");while (lineIterator.hasNext()) {count++;String line = lineIterator.nextLine();if (count % 1000000 == 0) {Long stepTime = System.currentTimeMillis();log.info("读取100w 数据耗时为---{}", stepTime - startTime);startTime = stepTime;}}} catch (Exception ex) {log.error("读取文件异常---{}", ex.getMessage(), ex);}}

运行结果:

每100w行的数据大概耗时为1.5秒, 这个是在我的笔记本上运行的结果，如果在性能更好的机器上速度应该更快。

2、写入文件

   log.info("开始对FileWriter 写入文件进行计时");Long startTime = System.currentTimeMillis();String path = "F:\\originData\\test.txt";String content = "12312313";for (int i = 0; i < 100000; i++) {try (FileWriter fileWriter = new FileWriter(path, true)) {fileWriter.append(content);} catch (Exception ex) {log.error("捕获到异常---{}", ex.getMessage(), ex);}}Long stepEnd = System.currentTimeMillis();log.info("FileWriter 耗时为----{}", stepEnd - startTime);String path2 = "F:\\originData\\test2.txt";log.info("开始对 BufferedWriter 写入文件进行计时");for (int i = 0; i < 100000; i++) {try (BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter(path2, true))) {bufferedWriter.append(content);} catch (Exception ex) {log.error("捕获到异常---{}", ex.getMessage(), ex);}}Long stepNextEnd = System.currentTimeMillis();log.info("BufferedWriter 耗时为----{}", stepNextEnd - stepEnd);log.info("开始对 BufferedOutputStream  写入文件进行计时");String path3 = "F:\\originData\\test3.txt";for (int i = 0; i < 100000; i++) {try (BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(new FileOutputStream(path3, true))) {bufferedOutputStream.write(content.getBytes());} catch (Exception ex) {log.error("捕获到异常---{}", ex.getMessage(), ex);}}Long stepNextStream = System.currentTimeMillis();log.info("BufferedWriter 耗时为----{}", stepNextStream - stepNextEnd);String path4 = "F:\\originData\\test4.txt";File file = new File(path4);try {if (!file.exists()) {file.createNewFile();}for (int i = 0; i < 100000; i++) {FileUtils.write(file, content, true);}log.info("FileUtils 耗时为----{}", System.currentTimeMillis() - stepNextStream);} catch (Exception ex) {log.error("捕获到异常---{}", ex.getMessage(), ex);}

运行结果