[Kafka] 카프카 생태계

카프카 생태계는 아래와 같다.

토픽을 가져가는 건 컨슈머가 가져간다.

토칙에 저장된 데이터를 Stateful, Stateless 하게 데이터를 처리해서 다시 토픽에 넣고싶다면?

카프카 스트림즈를 쓴다.

커넥트는 싱크커넥트와 소스 커넥트가 있다.

소스 커넥트는 프로듀서 역할을 하고

싱크 커넥트 같은 것들은 타겟 애플리케이션으로 데이터를 보내는 역할을 한다.

 

커넥트는 템플릿화를 하여 반복적으로 여러번 파이프라인 생성이 가능하다.

MM2 이러메이커라는 것이 있고, 클러스터 단위로 토픽에 있는 데이터를 완벽하게  복제하기위해서 사용하기도 한다.