Hibernate/JPAを使用したバッチ挿入/更新

1. 概要

このチュートリアルでは、 Hibernate /JPAを使用してエンティティをバッチ挿入および更新する方法を学習します。

バッチ処理により、SQLステートメントのグループを1回のネットワーク呼び出しでデータベースに送信できます。 このようにして、アプリケーションのネットワークとメモリの使用量を最適化できます。

2. 設定

2.1. サンプルデータモデル

例で使用するサンプルデータモデルを見てみましょう。

まず、Schoolエンティティを作成します。

@Entity
public class School {

    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE)
    private long id;

    private String name;

    @OneToMany(mappedBy = "school")
    private List<Student> students;

    // Getters and setters...
}

各Schoolには、0個以上のStudentがあります。

@Entity
public class Student {

    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE)
    private long id;

    private String name;

    @ManyToOne
    private School school;

    // Getters and setters...
}

2.2. SQLクエリのトレース

例を実行するときは、挿入/更新ステートメントが実際にバッチで送信されることを確認する必要があります。 残念ながら、HibernateログステートメントからSQLステートメントがバッチ処理されているかどうかを判断することはできません。 その結果、データソースプロキシを使用してHibernate /JPASQLステートメントをトレースします。

private static class ProxyDataSourceInterceptor implements MethodInterceptor {
    private final DataSource dataSource;
    public ProxyDataSourceInterceptor(final DataSource dataSource) {
        this.dataSource = ProxyDataSourceBuilder.create(dataSource)
            .name("Batch-Insert-Logger")
            .asJson().countQuery().logQueryToSysOut().build();
    }
    
    // Other methods...
}

3. デフォルトの動作

Hibernateはデフォルトでバッチ処理を有効にしません。 これは、挿入/更新操作ごとに個別のSQLステートメントを送信することを意味します。

@Transactional
@Test
public void whenNotConfigured_ThenSendsInsertsSeparately() {
    for (int i = 0; i < 10; i++) {
        School school = createSchool(i);
        entityManager.persist(school);
    }
    entityManager.flush();
}

ここでは、10個のSchoolエンティティを永続化しました。 クエリログを見ると、Hibernateが各挿入ステートメントを個別に送信していることがわかります。

"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School1","1"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School2","2"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School3","3"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School4","4"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School5","5"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School6","6"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School7","7"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School8","8"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School9","9"]]
"querySize":1, "batchSize":0, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School10","10"]]

したがって、バッチ処理を有効にするようにHibernateを構成する必要があります。 この目的のために、hibernate.jdbc.batch_sizeプロパティを0より大きい数値に設定する必要があります。

EntityManager を手動で作成する場合は、hibernate.jdbc.batch_sizeをHibernateプロパティに追加する必要があります。

public Properties hibernateProperties() {
    Properties properties = new Properties();
    properties.put("hibernate.jdbc.batch_size", "5");
    
    // Other properties...
    return properties;
}

Spring Bootを使用している場合は、アプリケーションプロパティとして定義できます。

spring.jpa.properties.hibernate.jdbc.batch_size=5

4. 単一テーブルのバッチ挿入

4.1. 明示的なフラッシュなしのバッチ挿入

最初に、1つのエンティティタイプのみを処理する場合にバッチ挿入を使用する方法を見てみましょう。

前のコードサンプルを使用しますが、今回はバッチ処理が有効になっています。

@Transactional
@Test
public void whenInsertingSingleTypeOfEntity_thenCreatesSingleBatch() {
    for (int i = 0; i < 10; i++) {
        School school = createSchool(i);
        entityManager.persist(school);
    }
}

ここでは、10個のSchoolエンティティを永続化しました。 ログを見ると、Hibernateが挿入ステートメントをバッチで送信していることを確認できます。

"batch":true, "querySize":1, "batchSize":5, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School1","1"],["School2","2"],["School3","3"],["School4","4"],["School5","5"]]
"batch":true, "querySize":1, "batchSize":5, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School6","6"],["School7","7"],["School8","8"],["School9","9"],["School10","10"]]

ここで言及する重要なことの1つは、メモリ消費です。 エンティティを永続化すると、Hibernateはそれを永続化コンテキストに保存します。 たとえば、1つのトランザクションで100,000エンティティを永続化すると、メモリ内に100,000エンティティインスタンスが存在することになり、OutOfMemoryExceptionが発生する可能性があります。

4.2. 明示的なフラッシュを使用したバッチ挿入

次に、バッチ操作中のメモリ使用量を最適化する方法を見ていきます。 永続性コンテキストの役割を深く掘り下げてみましょう。

まず、永続コンテキストは、新しく作成および変更されたエンティティをメモリに格納します。 トランザクションが同期されると、Hibernateはこれらの変更をデータベースに送信します。 これは通常、トランザクションの終了時に発生します。 ただし、 EntityManager.flush（）を呼び出すと、トランザクションの同期もトリガーされます。

次に、永続コンテキストは、第1レベルのキャッシュとも呼ばれるエンティティキャッシュとして機能します。 永続性コンテキストでエンティティをクリアするには、 EntityManager.clear（）。を呼び出すことができます。

したがって、バッチ処理中のメモリ負荷を減らすために、バッチサイズに達するたびに、アプリケーションコードで EntityManager.flush（）および EntityManager.clear（）を呼び出すことができます。

@Transactional
@Test
public void whenFlushingAfterBatch_ThenClearsMemory() {
    for (int i = 0; i < 10; i++) {
        if (i > 0 && i % BATCH_SIZE == 0) {
            entityManager.flush();
            entityManager.clear();
        }
        School school = createSchool(i);
        entityManager.persist(school);
    }
}

ここでは、永続コンテキストでエンティティをフラッシュしているため、Hibernateはデータベースにクエリを送信します。 さらに、永続コンテキストをクリアすることで、Schoolエンティティをメモリから削除します。 バッチ処理の動作は同じままです。

5. 複数のテーブルのバッチ挿入

次に、1つのトランザクションで複数のエンティティタイプを処理するときにバッチ挿入を構成する方法を見てみましょう。

複数のタイプのエンティティを永続化する場合、Hibernateはエンティティタイプごとに異なるバッチを作成します。 これは、1つのバッチに存在できるエンティティのタイプは1つだけであるためです。

さらに、Hibernateは挿入ステートメントを収集するため、現在のバッチとは異なるエンティティタイプに遭遇するたびに新しいバッチを作成します。 これは、そのエンティティタイプのバッチがすでに存在する場合でも当てはまります。

@Transactional
@Test
public void whenThereAreMultipleEntities_ThenCreatesNewBatch() {
    for (int i = 0; i < 10; i++) {
        if (i > 0 && i % BATCH_SIZE == 0) {
            entityManager.flush();
            entityManager.clear();
        }
        School school = createSchool(i);
        entityManager.persist(school);
        Student firstStudent = createStudent(school);
        Student secondStudent = createStudent(school);
        entityManager.persist(firstStudent);
        entityManager.persist(secondStudent);
    }
}

ここでは、 Schoolを挿入し、に2つの Student を割り当て、このプロセスを10回繰り返します。

ログでは、Hibernateが School 挿入ステートメントをサイズ1のいくつかのバッチで送信しているのに対し、サイズ5のバッチは2つしかないと予想されていました。 さらに、 Student の挿入ステートメントも、サイズ5の4つのバッチではなく、サイズ2のいくつかのバッチで送信されます。

"batch":true, "querySize":1, "batchSize":1, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School1","1"]]
"batch":true, "querySize":1, "batchSize":2, "query":["insert into student (name, school_id, id) 
  values (?, ?, ?)"], "params":[["Student-School1","1","2"],["Student-School1","1","3"]]
"batch":true, "querySize":1, "batchSize":1, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School2","4"]]
"batch":true, "querySize":1, "batchSize":2, "query":["insert into student (name, school_id, id) 
  values (?, ?, ?)"], "params":[["Student-School2","4","5"],["Student-School2","4","6"]]
"batch":true, "querySize":1, "batchSize":1, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School3","7"]]
"batch":true, "querySize":1, "batchSize":2, "query":["insert into student (name, school_id, id) 
  values (?, ?, ?)"], "params":[["Student-School3","7","8"],["Student-School3","7","9"]]
Other log lines...

同じエンティティタイプのすべての挿入ステートメントをバッチ処理するには、hibernate.order_insertsプロパティを構成する必要があります。

EntityManagerFactory を使用して、Hibernateプロパティを手動で構成できます。

public Properties hibernateProperties() {
    Properties properties = new Properties();
    properties.put("hibernate.order_inserts", "true");
    
    // Other properties...
    return properties;
}

Spring Bootを使用している場合は、application.propertiesでプロパティを構成できます。

spring.jpa.properties.hibernate.order_inserts=true

このプロパティを追加すると、 School インサート用に1バッチ、Studentインサート用に2バッチになります。

"batch":true, "querySize":1, "batchSize":5, "query":["insert into school (name, id) values (?, ?)"], 
  "params":[["School6","16"],["School7","19"],["School8","22"],["School9","25"],["School10","28"]]
"batch":true, "querySize":1, "batchSize":5, "query":["insert into student (name, school_id, id) 
  values (?, ?, ?)"], "params":[["Student-School6","16","17"],["Student-School6","16","18"],
  ["Student-School7","19","20"],["Student-School7","19","21"],["Student-School8","22","23"]]
"batch":true, "querySize":1, "batchSize":5, "query":["insert into student (name, school_id, id) 
  values (?, ?, ?)"], "params":[["Student-School8","22","24"],["Student-School9","25","26"],
  ["Student-School9","25","27"],["Student-School10","28","29"],["Student-School10","28","30"]]

6. バッチ更新

それでは、バッチ更新に移りましょう。 バッチ挿入と同様に、複数の更新ステートメントをグループ化して、一度にデータベースに送信できます。

これを有効にするには、hibernate.order_updatesプロパティとhibernate.batch_versioned_dataプロパティを構成します。

EntityManagerFactory を手動で作成している場合は、プログラムでプロパティを設定できます。

public Properties hibernateProperties() {
    Properties properties = new Properties();
    properties.put("hibernate.order_updates", "true");
    properties.put("hibernate.batch_versioned_data", "true");
    
    // Other properties...
    return properties;
}

また、Spring Bootを使用している場合は、それらをapplication.propertiesに追加するだけです。

spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.batch_versioned_data=true

これらのプロパティを設定した後、Hibernateは更新ステートメントをバッチでグループ化する必要があります。

@Transactional
@Test
public void whenUpdatingEntities_thenCreatesBatch() {
    TypedQuery<School> schoolQuery = 
      entityManager.createQuery("SELECT s from School s", School.class);
    List<School> allSchools = schoolQuery.getResultList();
    for (School school : allSchools) {
        school.setName("Updated_" + school.getName());
    }
}

ここで学校エンティティを更新し、HibernateはSQLステートメントをサイズ5の2つのバッチで送信します。

"batch":true, "querySize":1, "batchSize":5, "query":["update school set name=? where id=?"], 
  "params":[["Updated_School1","1"],["Updated_School2","2"],["Updated_School3","3"],
  ["Updated_School4","4"],["Updated_School5","5"]]
"batch":true, "querySize":1, "batchSize":5, "query":["update school set name=? where id=?"], 
  "params":[["Updated_School6","6"],["Updated_School7","7"],["Updated_School8","8"],
  ["Updated_School9","9"],["Updated_School10","10"]]

7. @Id生成戦略

挿入/更新にバッチ処理を使用する場合は、主キー生成戦略に注意する必要があります。 エンティティがGenerationType.IDENTITY識別子ジェネレーターを使用する場合、Hibernateはバッチ挿入/更新をサイレントに無効にします。

この例のエンティティはGenerationType.SEQUENCE識別子ジェネレーターを使用するため、Hibernateはバッチ操作を有効にします。

@Id
@GeneratedValue(strategy = GenerationType.SEQUENCE)
private long id;

8. 概要

この記事では、Hibernate/JPAを使用したバッチ挿入と更新について説明しました。

この記事のコードサンプルをGithubで確認してください。