목록Kafka dlq (1)

DevBoi

[Kafka] dead letter queue

dead letter queue는 이름에서 유추 할 수 있듯이 실패한 레코드를 보관하는 별도의 큐이다. 이름에서 알 수 있듯이. 실패한 레코드를 보관하는 별도의 큐이다. 카프카는 2.0 부터 자체 plug in으로 실패한 레코드의 메타정보도 포함 시켜 저장하는 기능을 제공한다. 설정 방법은 간단하다. Connect 설정에 아래와 같이 추가해주면 된다. connect_dlq에서 아래와 같이 설정한다. errors.tolerance = all errors.deadletterqueue.topic.name = {토픽} // 유효하지 않다고 판단된 레코드의 메타데이터 header에 저장 errors.deadletterqueue.context.headers.enable = true // 로그 파일에 유효하지 않는 ..
Develop/[Kafka] 2023. 8. 23. 21:17
이전 Prev 1 Next 다음