Spring Batch JdbcCursorItemReader导致内存不足问题

Spring batch JdbcCursorItemReader cause a memory not enough issue(Spring Batch JdbcCursorItemReader导致内存不足问题)

问题描述

我正在使用Spring Batch框架进行数据迁移。我使用的读取器是JdbcCursorItemReader。我将块大小设置为500，并将读取器获取大小设置为1000。但是，当使用Spring Batch运行该服务时，它似乎只读取了内存中的所有数据一次，然后就耗尽了内存。然后抛出内存不足的问题。下面是我对读者的定义：

   private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
        String tenantName = tenantHelper.determineTenant(tableName);
        JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
        itemReader.setDataSource(dataSource);
        itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
        itemReader.setRowMapper(new ColumnMapRowMapper());
        itemReader.setFetchSize(100);
        return itemReader;
    }

另外，从Spring Batch文档here应该可以通过使用jdbcCursorItemReader来避免内存问题

推荐答案

通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是，它只是将所有数据读入内存，然后进行处理，JVM会将其视为一个大对象，直接分配到老一代中，直到整个过程完成后才能收集。

这篇关于Spring Batch JdbcCursorItemReader导致内存不足问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！