kafka Kafka Connect 와 CDC 에 대해서 1.개요 CDC (Change Data Capture) 를 테스트 해보고자 MS SqlServer 내 테이블을 Debezium SqlServer Connector 로 Kafka Cluster 에 Topic 으로 변경 내역을 전송하는 "소스 커넥터" 를 구동 시키는 과정을 기록한다. CDC는 Source 데이터의 변경을 감지하고 Kafka Cluster 에 이벤트 레코드로 표현하는 방법이며, CDC 를 활용하면 다양한 Source 에서
java Kafka Streams, KTable-KStream Join 1. 개요 Stateful 한 처리를 해야 하는 상황에 Kafka 를 활용할 수 있는 방법으로 Kafka Streams 를 사용해보기로 했다. Stateful, Stateless 하다는 표현이 있는데 여기서 Stateless 하다는 것은 다른 데이터 없이 하나의 이벤트나 데이터로 해당 프로세스를 마감 가능하다는 의미이고, 반대로 Stateful 하다는 것은 이전의 여러 상태의 값들을 저장하고 있다가 이벤트나
java Resilience4j, CircuitBreaker & TimeLimiter 적용에 대한 기록 Resillience4j 의 Circuit Breaker 와 Time Limiter 에 대한 기록을 남긴다. 1. 개요 일반적으로 서비스를 운영하다 보면 특정 이벤트나 시간대에 트래픽이 몰리는 경우가 있을 수 있고 부분적으로 DB 나 Cache 에 장애가 발생 할 수 있는 상황이 있다. 이런 경우 어플리케이션 레벨에서 대응 할 수 있는 PlanB 를 준비 할
kafka Spring Boot, Reactor Kafka 에서의 순서보장과 중복방지에 대한 기록 (feat. redis) Spring Boot, Reactor Kafka 에서의 순서보장과 Redis 를 이용한 중복방지에 대한 기록
kafka Spring Boot, WebFlux 에서 Reactor Kafka 기본 연동구현 Spring Boot, WebFlux 환경에서 Reactive Kafka 를 이용해서 Producer 와 Consumer 를 구성한 기록을 남긴다.
kafka Docker Compose 로 Silicon Mac에서 KRaft, Kafka Cluster 구축하기 오랜만에 Kafka 를 볼 일 있어서 Docker Compose 환경으로 Kafka 3.5.1 를 설치하고 기본적인 환경을 테스트 해보고자 한다. 1. Kafka 클러스터 환경 둘러보기 Zookeeper 환경은 오래 되기도 했고 이미지를 새로 받아서 올려야 하는 관계로 KRaft 방식의 클러스터를 구성하기로 했다. 해당 방식의 차이는 브로커의 ID, 호스트, 포트 등의 정보,
