[Spring Batch] Chunk란?

Chunk란 데이터 덩어리로 작업할때 커밋사이에 작업되는 Row수이다.

 

즉, Chunk 지향 처리란, 한번에 하나씩 데이터를 읽어 Chunk라는 덩어리를  만들고, Chunk단위로 트랜잭션 처리를 하는 것을 의미한다.

Chunk 단위로 트랜잭션을 수행하기 때문에, 실패에 대한 롤백도 해당 Chunk 단위로 되고 반영도 Chunk단위로 커밋이 된다.

 

해당 과 같은 구조로 동작한다.

Reader에서 데이터를 읽고, Processor에서 가공하며, Chunk의 단위 별로 작동한다.

Reader에서 쓰는 Paging은 데이터 조회에 대한 량이고, Chunk는 , 실제 한 트랜잭션당 반영되는 Row의 수이다.

 

즉 Reader 와 Processor가 일정 크기의 데이터를 가공하고 보관하여 저장하고

해당 Chunk size가 되면, Writer에게 전달하여, 일괄 처리를 한다.