댕기

이전글 : [LinkedinLearning]Learn Apache Kafka for Beginners 2

카프카 설치 (windows)

본 내용은 링크리인러닝의 원도우로설치하는 법을 따라한 것입니다.

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

1) java jdk 8 다운 및 설치(오라클 계정을 만들라고 한다.)

jdk8 downloads

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

2) 카프카 다운로드

http://kafka.apache.org/downloads

카프카는 tgz로 묶어 있는 거라 그냥 다운 받고 Tar압축풀고 원하는 곳에 복사해 넣고 빈/원도우 폴더를 패스에 넣어준다. 카프카 폴더에 데이터, 데이터/카프카, 데이터/주키퍼 폴더를 생성해준다. kafka-topics.bat를 실행하고 자바 신뢰를 체크해준다.

3) 카프카 설정

config 폴더에 zookeeper.properties을 열고 dataDir 를 아래와 같이 카프카 주키퍼 폴더로 세팅해주고 실행해본다.(실행하면 주키퍼 폴더에 폴더 하나와 파일 하나가 생성된다.

4) 카프카 실행

서버 설정파일을 열어 카프카 폴더를 세팅해주고 실행한다.(실행하니 카프카 로그가 생성된다)

카프카 중지는  실행 반대로 하면 된다. (카프카-주키퍼 순으로 중지해준다.)

다음글 : [LinkedinLearning]Learn Apache Kafka for Beginners 3

* 역삼 도서관 상호대차 대여(8/01 ~ 9/23, 코르나 수혜서)

-카프카는 뭔가요?
카프카는 링크드인에서 도입하여 2011년 오픈소스로 공개된 대용량 메시지 시스템 - 리얼타임 스트리밍 데이터 솔루션  기존 메시지시스템의 제약, 메시징-시스템간 확장 불가, 관리시스템 복잡도 증가, 파이프라인 파편화, 데이터 신뢰도 하락에 의해 만들어진 시스템으로 "1) 프로듀서와 컨슈머의 분리, 2) 영구메시지 데이터를 여러 컨슈머에게 허용, 3) 높은 처리량(메시지 최적화), 4) 스케일 아웃 가능한 시스템"의 목표로 만들었다고 한다.

-카프카 기업은 있나요?
카프카는 컨플루언트 회사로 독립하여 발전하고 있음

-기본원리는 뭔가요?
기본원리는 메시지 단위이기에 보내는 프로듀서, 메시지 저장소인 토픽, 메시지 가져가는 컨슈머로 구성된다면 프로듀서가 메시지를 토픽에 넣으면 컨슈머가 토픽에서 메시지를 꺼내가는 것으로 보내는 것을 퍼블리쉬, 받는 것을 서브스크라이브라 한다.  (카본은 커밋단일db를 구독으로 바꾸는 것) 게다가 프로듀서와 컨슈머는 교환기라는 메시징 전달시스템을 보유하여 토픽의 메시지 관리 부하를 줄여주며 멀티프로듀서와 멀티컨슈머가 처리가능한 구조이다.

-카프카의 기본 용어는 무엇인가요?<br>기본용어는 카프카는 아파치 프로젝트 애플리케이션 이름이고 클러스터 구성하면 카프카 클러스터라고 하며, 브로커라는 카스카 설치된 서버나 노드가 있고, 토픽은 메시지 구분하는 이름으로 저장소와 비슷하며, 파티션은 병렬처리하도록 토픽을 나눈 것이고, 프로듀서는 메시지 생성/발송자이고, 컨슈머는 메시지를 가져가 처리하는 것을 말한다.

주키퍼는 뭔가요?
주키퍼는 카프가 상태관리주는 시스템으로 컨슈머 통신, 카프카 메타데이터 정보 저장등을 하고 있는 시스템이다. 앙상블(=클러스터)로 호스트 세트를 구성할 수 있으며 5대를 추천하는 것 같다.

잠시 점프 합니다. 카프카 설치