[Kafka] 카프카 기타 쉘들

kafka-consumer-perf-test.sh는 컨슈머로 퍼포먼스를 측정할 때 사용된다.

카프카 브로커와 컨슈머간의 네트워크를 체크할 때 사용한다.

 

kafka-reassign-partitions.sh

해당 과 같이 브로커 마다 파티션이 몰릴 수 있다.

이때 리더파티션과 팔로워 파티션을 적절하게 분산할 수 있는데, 해당 분산시에 사용된다.

근데 이걸 사용하면 리더 파티션과 팔로워 파티션이 위치를 변경 할 수 있다.

kafka broker에는 auto leader rebalance.enable옵션이 있는데, 이 옵션의 기본값은 true로 

클러스터 단위에서 리더 파티션을 자동 리밸런싱 하도록 도와준다.

브로커의 백그라운드 스레드가 일정한 간격으로 리더의 위치를 파악하고 필요시 리더 리밸런싱을 통해 리더의 위치가 알맞게 배분된다.

kafka-delete-record.sh

데이터를 삭제하는 것이 아니라, 옛날 데이터에서 ~offset 5번까지의 데이터를 지우겠다는 용도로 사용된다.

 

kafka-dump-log

카프카 덤프 로그는 세그먼트 단위로 들어가있는 데이터를 잘 설정이 되고있는지 확인해보려면

해당 kafka-dump-log.sh 를 활용해서 확인이 가능하다.

해당 세그먼트 로그에 대해서 확인이 필요할때

세그먼트를 옵션으로 넘겨주어, 해당 덤프로그의 확인이 가능하다.