댕기

* 역삼 도서관 상호대차 대여(8/01 ~ 9/23, 코르나 수혜서)

-카프카는 뭔가요?
카프카는 링크드인에서 도입하여 2011년 오픈소스로 공개된 대용량 메시지 시스템 - 리얼타임 스트리밍 데이터 솔루션  기존 메시지시스템의 제약, 메시징-시스템간 확장 불가, 관리시스템 복잡도 증가, 파이프라인 파편화, 데이터 신뢰도 하락에 의해 만들어진 시스템으로 "1) 프로듀서와 컨슈머의 분리, 2) 영구메시지 데이터를 여러 컨슈머에게 허용, 3) 높은 처리량(메시지 최적화), 4) 스케일 아웃 가능한 시스템"의 목표로 만들었다고 한다.

-카프카 기업은 있나요?
카프카는 컨플루언트 회사로 독립하여 발전하고 있음

-기본원리는 뭔가요?
기본원리는 메시지 단위이기에 보내는 프로듀서, 메시지 저장소인 토픽, 메시지 가져가는 컨슈머로 구성된다면 프로듀서가 메시지를 토픽에 넣으면 컨슈머가 토픽에서 메시지를 꺼내가는 것으로 보내는 것을 퍼블리쉬, 받는 것을 서브스크라이브라 한다.  (카본은 커밋단일db를 구독으로 바꾸는 것) 게다가 프로듀서와 컨슈머는 교환기라는 메시징 전달시스템을 보유하여 토픽의 메시지 관리 부하를 줄여주며 멀티프로듀서와 멀티컨슈머가 처리가능한 구조이다.

-카프카의 기본 용어는 무엇인가요?<br>기본용어는 카프카는 아파치 프로젝트 애플리케이션 이름이고 클러스터 구성하면 카프카 클러스터라고 하며, 브로커라는 카스카 설치된 서버나 노드가 있고, 토픽은 메시지 구분하는 이름으로 저장소와 비슷하며, 파티션은 병렬처리하도록 토픽을 나눈 것이고, 프로듀서는 메시지 생성/발송자이고, 컨슈머는 메시지를 가져가 처리하는 것을 말한다.

주키퍼는 뭔가요?
주키퍼는 카프가 상태관리주는 시스템으로 컨슈머 통신, 카프카 메타데이터 정보 저장등을 하고 있는 시스템이다. 앙상블(=클러스터)로 호스트 세트를 구성할 수 있으며 5대를 추천하는 것 같다.

잠시 점프 합니다. 카프카 설치