study4 240728 docker 개념을 배웠다.docker를 공부한다 다짐만하고 미뤄두었는데 이제는 미룰 수 없는 상황이 왔다. 독스와 유튜브에서 개념을 공부했는데 아래와 같이 정리될 수 있을 것 같다. docker는 왜 탄생했나?애플리케이션을 실행시키려면 웹서버, 데이터베이스 같은 여러가지 요소들이 필요하다. 이러한 요소를 설치하고 실행시키는데 있어서 설치 환경을 동일하게 맞추지 않는다면 '내 컴퓨터에서는 되는데 여기서는 안 되네' 같은 문제가 생길 수 있다. 이에 개발자는 비즈니스 개발에 집중하는데 시간을 소비하기보다는 인프라적 요소를 구성하는데 시간을 소모한다. 가상머신 개념을 이용하면 이 문제를 어느정도 해소할 수 있는데 운영체제 위에 운영체제를 띄워 환경을 동일하게 맞춘 뒤 새로 띄운 운영체제에 애플리케이션을 올려.. 2024. 7. 28. MapReduce: Simplified Data Processing on Large Clusters by Jeffrey Dean, Sanjay Ghemawat; 들어가기에 앞서개인적인 공부 용도로 기록한 것입니다. 상업적인 용도가 아닙니다.오역이 있을 수 있습니다.모호하거나 이해가 되지 않는 부분은 초록색으로 표시하였습니다.chat-GPT4o을 사용한 부분이 있으며 사용처에 보라색으로 표시하였습니다.상세한 예시를 chat-GPT4o를 통해 생성한 뒤, 이를 기반으로 작성했습니다.기초 지식이 없어 해석이 어려운 부분은 chat-GPT4o를 참고하여 작성했습니다.Abstract (요약)MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a .. 2024. 5. 30. Kafka: a Distributed Messaging System for Log Processing by Jay Kreps, Neha Narkhede, Jun Rao; NetDB workshop '11, 2011 들어가기에 앞서개인적인 공부 용도로 기록한 것입니다. 상업적인 용도가 아닙니다.오역이 있을 수 있습니다.모호하거나 이해가 되지 않는 부분은 초록색으로 표시하였습니다.Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, or rep.. 2024. 5. 14. Ingest Data from Databases into Kafka with Change Data Capture (CDC); Confluent 개요Change Data Capture (CDC) 는 데이터베이스에 이미 존재하는 것과 더불어 일어난 모든 변경점에 대해서 지속적으로 포착할 수 있게 해준다. CDC 에는 query-based , log-based 두 가지 방식이 존재한다. 각각의 장/단점, 한계, 차이에 대해 인지하고 선택해야 한다.query-basedquery-based 는 쿼리를 데이터베이스에 날려서 증분을 추출하는 방식을 의미한다. 일반적인 쿼리를 기반으로 하기 때문에 데이터베이스 내부에 접근하지 않아도 사용할 수 있는 방법이다. 당연하지만 데이터 증분을 위해 쿼리에 타임스탬프, 증가하는 아이디 값과 같은 증분을 정의해주는 필드를 포함해야 한다. 실제 증분이 이루어지는 과정은 아래와 같다. query-based CDC 동작 과정1.. 2024. 4. 29. 이전 1 다음
