댕기

* * * PDF의 연습파일이라고 올려줬는데 html태그이다. 어쩔수 없이 여기에

Note to Windows users

WINDOWS USERS PLEASE READ

In the next lecture, do not run the command to DELETE topics

Because of a bug here: https://issues.apache.org/jira/browse/KAFKA1194, it doesn't work. I'm actively working with the Kafka Dev team to see if I can get this fixed.

In the meantime, please do not delete topics. Otherwise your Kafka will crash and you won't be able to do the tutorial.

A workaround is to launch Kafka inside of a Linux VM and do the tutorial from there.

Thanks

Commonly Used CLI options

The CLI have many options, but here are the other that are most commonly used:

Producer with keys

kafka-consoleproducer --broker-list 127.0.0.1:9092 --topic first_topic --property
parse.key=true --property key.separator=,
> key,value
> another key,another value

Consumer with keys

kafka-consoleconsumer --bootstrap-server 127.0.0.1:9092 --topic first_topic --frombeginning --property print.key=true --property
key.separator=,

Kafka UI

Kafka does not come bundled with a UI, but here are some recommendations

• Kafka Manager (for managing Kafka and instead of using CLI): https://github.com/yahoo/kafkamanager

• Kafka Tools (will be explore in the next lecture)

• You may find other UIs on the internet

Overall in this course, we perform all the actions without any UI, which is good for learning how to properly use the CLI

KafkaCat

KafkaCat (https://github.com/edenhill/kafkacat) is an open-source alternative to using the Kafka CLI, created by Magnus Edenhill.

While KafkaCat is not used in this course, if you have any interest in trying it out, I recommend reading: https://medium.com/@coderunner/debugging-with-kafkacatdf7851d21968

Happy learning!

이전글 : [LinkedinLearning]Learn Apache Kafka for Beginners 2.1

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

www.linkedin.com/learning/learn-apache-kafka-for-beginners/kafka-topics-cli?u=2101921

3. Commnad Line Interface(CLI)

• Kafka topics CLI

  카프카 토픽을 생성한다. 토픽 이름, 파티션, 리플리케이터옵션을 정하고 실행한다.

  

  
  생성된 토픽을 list옵션으로 확인할 수 있고 세부 내용(describe)을 확인할수 있다.

  

  

  두번째 토픽을 만들어보고 확인하고 삭제해보자(원도우는 삭제되지 않는 버그가 있다고 한다.)
  카프카가 사망한다. 

  

• Kafka console producer CLI

  
  파일
  참고
  하
  여
  gh

• Kafka console producer CLI

  
  파일
  참고
  하
  여
  gh

아파치
카프카
다운받아
설치 받는
것인데요.  http://kafka.apache.org/ 설치하고 패스 추가하는 것 잊지말자

• >macOS: Using Brew

  Brew로 설치하면 되는것인데요. 아까 다운 받은 것중 맥용 설치 시작 http://kafka.apache.org/ 설치하고

다음글 : [LinkedinLearning]Learn Apache Kafka for Beginners

(00:05) 프로듀서 생성 Edit | Delete Export your notes Get your notes for this course which includes description, chapters, and timestamps

이전글 : [LinkedinLearning]Learn Apache Kafka for Beginners 2

카프카 설치 (windows)

본 내용은 링크리인러닝의 원도우로설치하는 법을 따라한 것입니다.

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

1) java jdk 8 다운 및 설치(오라클 계정을 만들라고 한다.)

jdk8 downloads

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

2) 카프카 다운로드

http://kafka.apache.org/downloads

카프카는 tgz로 묶어 있는 거라 그냥 다운 받고 Tar압축풀고 원하는 곳에 복사해 넣고 빈/원도우 폴더를 패스에 넣어준다. 카프카 폴더에 데이터, 데이터/카프카, 데이터/주키퍼 폴더를 생성해준다. kafka-topics.bat를 실행하고 자바 신뢰를 체크해준다.

3) 카프카 설정

config 폴더에 zookeeper.properties을 열고 dataDir 를 아래와 같이 카프카 주키퍼 폴더로 세팅해주고 실행해본다.(실행하면 주키퍼 폴더에 폴더 하나와 파일 하나가 생성된다.

4) 카프카 실행

서버 설정파일을 열어 카프카 폴더를 세팅해주고 실행한다.(실행하니 카프카 로그가 생성된다)

카프카 중지는  실행 반대로 하면 된다. (카프카-주키퍼 순으로 중지해준다.)

다음글 : [LinkedinLearning]Learn Apache Kafka for Beginners 3

이전글 : [LinkedinLearning]Learn Apache Kafka for Beginners 1

원강의-[LinkedinLearning]Learn Apache Kafka for Beginners 바로가기

www.linkedin.com/learning/learn-apache-kafka-for-beginners/important-starting-kafka?u=2101921

2. Starting Kafka

• Important: Starting Kafka (21s)

  샘플 파일 참고하여 다운 받는 것인데요 실제 다운 받으면 리눅스.맥.원도우 설치 파일이 있고 다운 받아 설치할 수 있다.

• >macOS: Download and set up Kafka in PATH

  아파치 카프카 다운받아 설치 받는 것인데요.  http://kafka.apache.org/ 설치하고 패스 추가하는 것 잊지말자

• >macOS: Using Brew

  Brew로 설치하면 되는것인데요. 아까 다운 받은 것중 맥용 설치 시작 http://kafka.apache.org/ 설치하고

다음글 : [LinkedinLearning]Learn Apache Kafka for Beginners 2.1

[LinkedinLearning]Learn Apache Kafka for Beginners

https://www.linkedin.com/learning/learn-apache-kafka-for-beginners/apache-kafka-in-five-minutes?u=2101921

0. Introduction

• Intro to Apache Kafka

  강사 소개 : 유명 iT 회사 컨설턴트이며 카프카 커뮤니티 멤버중 하나. 책도 많으 쓰셨고 블로그도 운영하고 있다고 stephanemaarek linkedin medium twitter. github/simplesteph

  

• Apache Kafka in five minutes

  Kafka : 메시징 서비스라고 부르기도 하지만 여기선 스트르밍 서비스라 한다. 간단히 소스-타켓시스템간 데이터를 넘기는 잘 넘기는 시스템이다 데이터를 넘길 때 프로토콜/데이터 포맷/ 데이터 스킴/ 데이터 변경등 요소로 여러 integration이 발생하여 로드가 발생하는 데 카프카는 이를 잘 전송해주는 시스템이다. 실제 최고 성능을 자랑하고 다른 시스템과 통합도 잘되고 게다가 넷플릿스/우버/링크드인처럼 최고 성능을 유지하는 기업이 실제 사용한다고 한다. Remember that in this, Kafka is only used as a transportation mechanism.

   

  

   

   

  1. Kafka Theory

• Topics, partitions, and offsets

  자 이제 이론 수업이라고 합니다 w좀 어렵나봐여 244 제일 먼저 Topic - The topic in Kafka is going to be the base of everything. presenting a particular stream of data. 토픽은 테이블과 유사하고 이름(name)으로 구분하며 일련의 순서를 가진 파티션으로 다시 나눈다. offset이라는 증분ID를 가진 메시지가 있다.

• Brokers and topics

  Brokers= servers , IDs(identified by integer), after connecting 

  

• Topic replication

  replication. 브로커 다운시 다른 브로커가 작업할 수 있도록 . ? 데드락 걸리며,? 얼마나 죽니, leader라는 개념은 브로커의 한 파티션 데이터처리 선임. 한 파티션은 1 leader + 여러 개 ISR( in-sync replica) 248

  

• Producers and message keys

  카프카는 Producers로 데이터를 처리한다. ( they will write data to topic.) broker is auto recoverable, 249

  

  프로듀서는 akcs로 , to receive acknowledgement, That's a Kafka guarantee- if a key is sent, then all the messages for that key will always go to the same partition.

  

• Consumer and consumer group

  consumers to read databy tp so here's . And, as we said, consumers will read data from a topic 순서대로 251

  

  , a consumer group represents an application. 컴줌그룹을 배타적 파티션으로 데이터 읽어옴(??) 253

  

  얼마나 많은 그룹을 필요로 하니 - 그것보다 그룹 안에 컴쥬머 수가

  

  더 중요한듯 (??) 254

  

• Consumer offsets and delivery semantics

  the really important concept of consumer offsets. able to restore the offsets at which a consumer group has been reading, and that is very convenient. 255

  

  gives you three delivery semantics. At most once, at least once, and exactly once. 257

  

• Kafka broker discovery

  Kafka broker discovery ,.Kafka broker = a bootstrap server = connect to one broker . it knows to which broker it needs to connect automatically. 258

  

• ZooKeeper

  Zookeeper manages the brokers,is what holds the brokers together. Kafka cannot work without Zookeeper. , when a broker goes down, there's a new partition that becomes a leader. has also the concept of leader(handle writes) and followers(handle reads). Zookeeper is completely isolated from your consumers and your producers. 259

  

• Kafka guarantees

  Kafka guarantees 메세지는 topic-partition에 시간순으로 저장되고 컨슈머는 시간순으로 읽어간다 Replication factor가 N 이면 N-1개의 브로커가 다운되는 것까지 견딜 수 있다 하나의 브로커는 maintenance로 떨어질 수 있기 때문에 적어도 RF는 3개가 좋다 토픽에 파티션수가 동일하게 유지되는한, 동일한 키를 가진 메세지는 동일한 파티션에 저장된다 (운영 중 파티션 수를 늘이거나 줄이면 보장되지 않으므로 초기 설계 시 고려필요)

• Theory roundup

  261