[Kafka] Kafka-console-consumer

카프카의 컨슈머 역할을 한다.

토픽에 대한 조회 용도로 사용한다.

 

특정 카프카 브로커의 토픽의 데이터를 가져올 수 잇다.

bootstrap server, topic에 대한 옵션이 필수이고, 저장된 데이터를 가장 처음 부터 출력이 가능하다.

토픽의 데이터도 가져올 수 있고, 메시지키를 가져올 수도 있다.

최대 컨슘 메시지 개수를 설정할 수도있고 특정 파티션에 대한 컨슘도 가능하다.

 

진행해보자

1) 주키퍼, 브로커 데몬 모드로 기동

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

bin/kafka-server-start.sh -daemon config/server.properties

 

2) 토픽 생성

bin/kafka-topics.sh --create --bootstrap-server my-kafka:9092 --topic smith.kafka

 

3) 생성한 토픽확인

 bin/kafka-topics.sh --bootstrap-server my-kafka:9092 --topic smith.kafka --describe

 

4)토픽으로 데이터 전송

bin/kafka-console-producer.sh --bootstrap-server my-kafka:9092 --topic smith.kafka

 

5) 토픽 데이터 확인

bin/kafka-console-consumer.sh --bootstrap-server my-kafka:9092 --topic smith.kafka2 --from-beginning

6)메시지 키도 같이 보는 옵션

bin/kafka-console-consumer.sh --bootstrap-server my-kafka:9092 --topic smith.kafka2 --property print.key=true --property key.separator="-" --from-beginning

7) 컨슘 메시지 조절 (최대 컨슘 메시지 설정)

bin/kafka-console-consumer.sh --bootstrap-server my-kafka:9092 --topic smitfka2 --property print.key=true --property key.separator="-" --from-beginning --max-messages

 

8) 컨슘 메시지 확인 (파티션 별로)

bin/kafka-console-consumer.sh --bootstrap-server my-kafka:9092 --topic smitfka2 --property print.key=true --property key.separator="-" --from-beginning --partition 1

 

해당 컨슘한 데이터는 offset에서 커밋된 데이터가 저장이 된다.

해당 토픽은 관리하지않았지만, offset관련 토픽을 확인해볼 수 있다.

 

현재 사용하는 토픽 모두 확인

bin/kafka-topics.sh --bootstrap-server my-kafka:9092 --list

보면 __consumer_offsets는 생성한적이 없지만 생성이 되어있다.

해당 토픽의 내용을 보면 어떤 데이터가 얼만큼의 데이터를 읽어갔는지를 확인 할 수 있다.