study/blog1 Ingest Data from Databases into Kafka with Change Data Capture (CDC); Confluent 개요Change Data Capture (CDC) 는 데이터베이스에 이미 존재하는 것과 더불어 일어난 모든 변경점에 대해서 지속적으로 포착할 수 있게 해준다. CDC 에는 query-based , log-based 두 가지 방식이 존재한다. 각각의 장/단점, 한계, 차이에 대해 인지하고 선택해야 한다.query-basedquery-based 는 쿼리를 데이터베이스에 날려서 증분을 추출하는 방식을 의미한다. 일반적인 쿼리를 기반으로 하기 때문에 데이터베이스 내부에 접근하지 않아도 사용할 수 있는 방법이다. 당연하지만 데이터 증분을 위해 쿼리에 타임스탬프, 증가하는 아이디 값과 같은 증분을 정의해주는 필드를 포함해야 한다. 실제 증분이 이루어지는 과정은 아래와 같다. query-based CDC 동작 과정1.. 2024. 4. 29. 이전 1 다음
