카프카(Kafka) 설치 및 클러스터 구성 Kafka를 설치하고 간단하게 클러스터 환경을 구성하여 Producer 및 Consumer 테스트를 해보자.먼저 가상머신을 이용해 다음 그림과 같이 클러스터 환경을 구성하여 테스트를 진행할 것이다.이 글에서는 3대의 서버를 생성하였지만 1대의 서버로 포트를 다르게 하여 구성할 수도 있다. 또한 Kafka와 Zookeeper서버를 동일한 장비에 구축하였지만 실무에서는 별도로 구축하는 것이 좋다.Kafka 다운로드 및 설치다운로드(각 .. Data Science/빅데이터 2019.01.25 18:05
카프카(Kafka)의 의해 이번에 대용량 게임로그 수집 및 분석을 위해 Elastic Stack을 도입하게 되었는데, 중간에 버퍼역할(Message-Queue)을 하는 Kafka에 대해 자세히 알아보려고 한다. 메시지큐? 메시지 지향 미들웨어(Message Oriented Middleware: MOM)은 비동기 메시지를 사용하는 다른 응용프로그램 사이의 데이터 송수신을 의미하는데 MOM을 구현한 시스템을 메시지큐(Message Queu.. MyNote 2019.01.15 12:34
