권남

사용자 도구

사이트 도구

추적: • batch
java:hibernate:batch

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판 이전 판
다음 판 		이전 판
java:hibernate:batch [2015/01/09 11:14]
kwon37xi [Hibernate Batch/Bulk Insert/Update] 		java:hibernate:batch [2022/11/13 23:13] (현재)
kwon37xi
줄 5: 줄 5:
   * [[https://access.redhat.com/documentation/en-US/JBoss_Enterprise_Application_Platform/5/html/Performance_Tuning_Guide/sect-Performance_Tuning_Guide-Entity_Beans-Batching_Database_Operations.html|Performance_Tuning_Guide-Entity_Beans-Batching_Database_Operations]]   * [[https://access.redhat.com/documentation/en-US/JBoss_Enterprise_Application_Platform/5/html/Performance_Tuning_Guide/sect-Performance_Tuning_Guide-Entity_Beans-Batching_Database_Operations.html|Performance_Tuning_Guide-Entity_Beans-Batching_Database_Operations]]
   * [[https://access.redhat.com/documentation/en-US/JBoss_Enterprise_Application_Platform/5/html/Performance_Tuning_Guide/sect-Performance_Tuning_Guide-Entity_Beans-Batch_Inserts.html|4.5.3. Batch Inserts]]   * [[https://access.redhat.com/documentation/en-US/JBoss_Enterprise_Application_Platform/5/html/Performance_Tuning_Guide/sect-Performance_Tuning_Guide-Entity_Beans-Batch_Inserts.html|4.5.3. Batch Inserts]]
 +  * [[https://vladmihalcea.com/how-to-batch-insert-and-update-statements-with-hibernate/|How to batch INSERT and UPDATE statements with Hibernate - Vlad Mihalcea]]
  
-Batch Insert는 여러건의 ''insert'' 문을 ''insert into xxx (...) values(...), (...), (...)''로 바꿔줌으로써 성능을 향상 시킬 수 있다. +===== 작동 원리 =====
- +
-[[https://github.com/kwon37xi/hibernate-batch-size-test|hibernate-batch-size-test]] MySQL기반 batch 예제 +
-===== 기억할 점 ===== +
-  * ''**GenerationType.IDENTITY**'' ID에 대해서는 Batch Insert가 **작동하지 않는다**. ID를 리턴받아 Entity 객체에 채워줘야 하기 때문으로 보인다. +
-  * batch 옵션은 Hibernate가 직접 Insert 문을 ''insert into xxx (...) values(...), (....), ....'' 형태로 합쳐주는 것이 **아니다**.+
   * Hibernate는 평소에는 ''PreparedStatement#execute(String)''으로 쿼리를 실행하는데, batch 모드가 되면 JDBC 표준 [[http://docs.oracle.com/javase/7/docs/api/java/sql/PreparedStatement.html#addBatch%28%29|PreparedStatement#addBatch(String)]] 메소드를 호출해주는 것 뿐이다.   * Hibernate는 평소에는 ''PreparedStatement#execute(String)''으로 쿼리를 실행하는데, batch 모드가 되면 JDBC 표준 [[http://docs.oracle.com/javase/7/docs/api/java/sql/PreparedStatement.html#addBatch%28%29|PreparedStatement#addBatch(String)]] 메소드를 호출해주는 것 뿐이다.
   * ''session.flush()''를 호출한다는 것은 ''Statement.executeBatch()''를 호출한다는 의미인 듯 하다.   * ''session.flush()''를 호출한다는 것은 ''Statement.executeBatch()''를 호출한다는 의미인 듯 하다.
-  * JDBC 드라이버 중에는 이렇게 ''addBatch''로 들어온 insert 문을 하나로 합쳐주는 기능을 가진 것들이 있는데 **이를 활성화 시켜줘야만 작동한다**.+  * 기본적으로 ''addBatch/executeBatch''는 insert 성능을 향상시켜준다. [[http://java.dzone.com/articles/what-you-didnt-know-about-jdbc|What You Didn't Know About JDBC Batch]] 
 + 
 +===== @Id 에 대한 주의점 ===== 
 +  * ''**GenerationType.IDENTITY**'' ID에 대해서는 Batch Insert가 **작동하지 않는다**. ID를 리턴받아 Entity 객체에 채워줘야 하기 때문으로 보인다. 
 +    * [[https://vladmihalcea.com/jpa-persist-and-merge/|How do persist and merge work in JPA]] 
 +    * [[https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#batch-session-batch-insert|Hibernate ORM 5.4.18.Final User Guide]] 
 +  * 따라서 Batch Insert 를 올바로 작동시키려면 ''@GeneratedValue(strategy = GenerationType.SEQUENCE)'' 같은 PK 값을 미리 알 수 있는 방식을 사용해야한다. 
 + 
 + 
 +> For IDENTITY columns, Hibernate cannot delay the INSERT statement until flush time because the identifier value can only be generated by executing the statement. 
 +> For this reason, Hibernate disables JDBC batch inserts for entities using the IDENTITY generator strategy. 
 + 
 +===== 기억할 점 ===== 
 +  * batch 옵션은 Hibernate가 직접 Insert 문을 ''insert into xxx (...) values(...), (....), ....'' 형태로 합쳐주는 것이 **아니다**. 단지 ''addBatch''를 할 뿐이다. 
 +  * MySQL 
 +    * MySQL Batch Insert는 여러건의 ''insert'' 문을 ''insert into xxx (...) values(...), (...), (...)''로 바꿔줌으로써 성능을 향상 시킬 수 있다.
     * [[database:mysql:jdbc|MySQL JDBC]]의 경우 JDBC URL에 ''rewriteBatchedStatements=true'' 옵션을 추가해주면 된다.     * [[database:mysql:jdbc|MySQL JDBC]]의 경우 JDBC URL에 ''rewriteBatchedStatements=true'' 옵션을 추가해주면 된다.
     * MySQL의 경우 실제로 생성된 쿼리는 ''logger=com.mysql.jdbc.log.Slf4JLogger&profileSQL=true'' 옵션으로 로그를 통해 확인할 수 있다.     * MySQL의 경우 실제로 생성된 쿼리는 ''logger=com.mysql.jdbc.log.Slf4JLogger&profileSQL=true'' 옵션으로 로그를 통해 확인할 수 있다.
 +    * [[https://github.com/kwon37xi/hibernate-batch-size-test|hibernate-batch-size-test]] MySQL기반 batch 예제
 ===== 기본 설정 ===== ===== 기본 설정 =====
   * Hibernate Property<code xml>   * Hibernate Property<code xml>
줄 23: 줄 35:
   * 지정된 갯수만큼 처리하고 트랜잭션을 닫거나 ''session.flush(); session.clear();'' 호출   * 지정된 갯수만큼 처리하고 트랜잭션을 닫거나 ''session.flush(); session.clear();'' 호출
   * ''session.clear()''를 호출하는 이유는, insert 된 데이터들이 First Level Cache 메모리에 남아 있어서 메모리 고갈 발생할 수 있기 때문이다.   * ''session.clear()''를 호출하는 이유는, insert 된 데이터들이 First Level Cache 메모리에 남아 있어서 메모리 고갈 발생할 수 있기 때문이다.
-  * ''org.hibernate.jdbc.AbstractBatcher''에서 남기는 로그 확인+  * ''org.hibernate.jdbc.AbstractBatcher'' 혹은 ''org.hibernate.engine.jdbc.batch.internal.AbstractBatchImpl'' 와 ''org.hibernate.engine.jdbc.batch.internal.BatchingBatch'' 에서 남기는 로그 확인. 로거는 Hibernate 버전마다 다름.
  
 ===== 관계에 대한 Batch Insert ===== ===== 관계에 대한 Batch Insert =====
줄 53: 줄 65:
 </code> </code>
  
 +===== Versioned Data =====
 +  * ''hibernate.jdbc.batch_versioned_data=true'' 로 설정하면 ''@Version'' 컬럼에 대해 대응하여 배치가 실행된다.
 +  * 즉, ''where'' 조건에 ''@Version'' 필드에 대한 조건이 들어간다.
 +  * 기본으로는 자동으로 될 수도 있는데, 일반적으로 ''true''로 하는게 안전할 수 있다.
 +  * 단, ''hibernate.jdbc.batch_versioned_data=true'' 일 경우 batch update 가 되긴하지만, 일부 JDBC 드라이버의 경우 업데이트된 필드 갯수를 오탐하는 경우도 있다고 한다. 이때는 ''false''로 바꿔야 하며, ''@Version'' 이 있을 경우 batch update 는 작동하지 않게 된다.
 +===== 참조 =====
 +  * [[https://www.baeldung.com/jpa-hibernate-batch-insert-update|Batch Insert/Update with Hibernate/JPA | Baeldung]]
 +  * [[https://techblog.woowahan.com/|MySQL 환경의 스프링부트에 하이버네이트 배치 설정 해보기 | 우아한형제들 기술블로그]]
java/hibernate/batch.1420769665.txt.gz · 마지막으로 수정됨: 2015/01/09 11:14 저자 kwon37xi

문서 도구

별도로 명시하지 않을 경우, 이 위키의 내용은 다음 라이선스에 따라 사용할 수 있습니다: CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki