dev-minchur 님의 블로그

Apache Kafka의 주요요소Apache Kafka의 주요요소중에서 Producer, Consumer, Consumer Group에 대해서 먼저 살펴보자Producer메시지를 생산(Produce)해서 Kafka의 Topic으로 메시지를 보내는 애플리케이션이다.ConsumerTopic의 메시지를 가져와서 소비(Consume)하는 애플리케이션이다.Consumer GroupTopic의 메시지를 사용하기 위해 협력하는 Consumer들의 집합이다.하나의 Consumer는 하나의 Consumer Group에 포함되며, Consumer Gorup내의 Consumer들은 협력하여 Topic의 메시지를 분산 병렬처리한다.Producer와 Consumer의 분리 (Decoupling)Producer와 Consumer..

👉🏻 이젠 실습으로~전의 블로그 글에선 이론을 공부를 했으니 이젠 실습을 진행해보자 Kafka는 Docker Compose를 사용하여 컨테이너를 생성할거고 Kafka UI도 사용할 예정이기 때문에 나중에 만들 Application를 만들때 서버포트 충돌이 나지 않게 유의해서 실습을 진행해야 한다. 우리는 총 2개의 Application을 생성할거고 하나는 Consumer Application, 다른 하나는 Producer Application을 생성해서 토픽과 그룹을 지정해둘때 어떻게 전달되는지를 알아보는 실습을 진행할 것이다.Kafka 설치하기docker-compose.ymlversion: '3.8'services: zookeeper: image: wurstmeister/zookeeper:3..

Kafka란?Kafka는 실시간 데이터 스트리밍을 위한 분산 플랫폼으로, 대량의 데이터를 빠르게 처리하는 데 최적화되어 있습니다. 메시지 큐와 비슷한 기능을 가지지만, 데이터 스트림을 저장하고 분석하는 데 더욱 중점을 둡니다. 쉽게 말해, 다양한 데이터 소스를 실시간으로 연결하여 데이터를 처리하고 분석하는 도구라고 할 수 있습니다. Kafka의 역할실시간 데이터 처리 : 대량의 데이터를 빠르게 수집하고 분석할 수 있다.데이터 통합 : 여러 출처에서 데이터를 모아 하나의 플랫폼에서 분석할 수 있다.내결함성 : 데이터 손실 없이 안정적으로 데이터를 저장하고 전송하는 것이 가능하다.장점과 단점장점신뢰성: 데이터 복제 기능 덕분에, 여러 브로커에 데이터를 저장하여 장애 발생 시에도 데이터 손실을 방지할 수 있다..

Apache Kafka란 무언인가??Apache Kafka란 "Data in Motion Platform for Enterprise"라고 할 수 있고 "Real-time Event Streams"라고 할수 있다. 요즘 데이터의 양이 기하급수적으로 증가하면서, 이를 효과적으로 처리하고 관리하는게 매우 중요해졌다. Apache Kafka는 이러한 요구를 충족시키기 위해 개발된 오픈 소스 분산 스트리밍 플랫폼이다. 실시간으로 데이터를 발행하고 구독하며, 저장하고 처리할 수 있는 기능이 있다.Event란??Event란 Something Happend!! 즉, Event는 비즈니스에서 일어나는 모든 일, 데이터를 의미한다.예를 들어보면 다음과 같다.웹사이트에서 무언가를 클릭하는 것청구서를 발행송금배송 물건의 위치..

ELk 스택은 Elasticsearch, Logstash, Kibana의 세 가지 오픈소스로 구성되어 있으며, 데이터 수집, 저장, 분석, 시각화를 위한 강력한 솔루션을 제공한다. 데이터 분석과 로그 관리에 있어 매우 중요한 도구인 ELK 스택이다.ELK 스택의 정의ELK 스택은 데이터 수집, 저장, 분석, 시각화를 통합적으로 처리할 수 있는 플랫폼이다. 이 스택은 대량의 로그 데이터를 효율적으로 관리하고, 이를 통해 인사이트를 도출하는 데 큰 도움을 준다. 특히 IT 운영, 보안, 비즈니스 인사이트 등 다양한 분야에서 활용되고 있다.ELK 스택의 구성 요소ELK 스택은 세 가지 주요 구성 요소로 이루어져 있다.Elasticsearch : 분산형 검색 엔진으로, 데이터를 저장하고 검색하는 역할을 한다. ..