목록카프카 레코드 (1)

DevBoi

[Kafka] 레코드란?

카프카의 레코드의 구조는 아래와 같다. 프로듀서가 생성한 레코드가 브로커로 전송되면 오프셋과 타임스탬프가 지정되어 저장된다. 전송할때는 당연히 지정하여 보내는 것이 아니다. 1. 타임스탬프 타임스탬프는 스트림 프로세싱에서 활용하기 위한 시간을 저장하는 용도로 사용된다. Unix timstamprk 포함되며 프로듀서에서 따로 설정하지 않으면 기본값으로 ProducerRecord 의 생성 시간이 들어간다. 적재시간으로 변경할 수도있다. 2. 레코드 - 오프셋 프로듀서가 생성한 레코드에는 존재하지 않는다. 프로듀서가 전송한 레코드가 브로커에 적재될때 오프셋이 지정된다. (0부터 1씩 증가한다.) 컨슈머는 오프셋을 기반으로 처리가 완료된 데이터와 앞으로 처리해야할 데이터를 구분한다. 각 메시지는 파티션별 고유한..
Develop/[Kafka] 2023. 7. 21. 19:30
이전 Prev 1 Next 다음