강사 소개 : 유명 iT 회사 컨설턴트이며 카프카 커뮤니티 멤버중 하나. 책도 많으 쓰셨고 블로그도 운영하고 있다고 stephanemaarek linkedin medium twitter. github/simplesteph
Apache Kafka in five minutes
Kafka : 메시징 서비스라고 부르기도 하지만 여기선 스트르밍 서비스라 한다. 간단히 소스-타켓시스템간 데이터를 넘기는 잘 넘기는 시스템이다 데이터를 넘길 때 프로토콜/데이터 포맷/ 데이터 스킴/ 데이터 변경등 요소로 여러 integration이 발생하여 로드가 발생하는 데 카프카는 이를 잘 전송해주는 시스템이다. 실제 최고 성능을 자랑하고 다른 시스템과 통합도 잘되고 게다가 넷플릿스/우버/링크드인처럼 최고 성능을 유지하는 기업이 실제 사용한다고 한다. Remember that in this, Kafka is only used as a transportation mechanism.
1. Kafka Theory
Topics, partitions, and offsets
자 이제 이론 수업이라고 합니다 w좀 어렵나봐여 244 제일 먼저 Topic - The topic in Kafka is going to be the base of everything. presenting a particular stream of data. 토픽은 테이블과 유사하고 이름(name)으로 구분하며 일련의 순서를 가진 파티션으로 다시 나눈다. offset이라는 증분ID를 가진 메시지가 있다.
Brokers and topics
Brokers= servers , IDs(identified by integer), after connecting
Topic replication
replication. 브로커 다운시 다른 브로커가 작업할 수 있도록 . ? 데드락 걸리며,? 얼마나 죽니, leader라는 개념은 브로커의 한 파티션 데이터처리 선임. 한 파티션은 1 leader + 여러 개 ISR( in-sync replica) 248
Producers and message keys
카프카는 Producers로 데이터를 처리한다. ( they will write data to topic.) broker is auto recoverable, 249
프로듀서는 akcs로 , to receive acknowledgement, That's a Kafka guarantee- if a key is sent, then all the messages for that key will always go to the same partition.
Consumer and consumer group
consumers to read databy tp so here's . And, as we said, consumers will read data from a topic 순서대로 251
, a consumer group represents an application. 컴줌그룹을 배타적 파티션으로 데이터 읽어옴(??) 253
얼마나 많은 그룹을 필요로 하니 - 그것보다 그룹 안에 컴쥬머 수가
더 중요한듯 (??) 254
Consumer offsets and delivery semantics
the really important concept of consumer offsets. able to restore the offsets at which a consumer group has been reading, and that is very convenient. 255
gives you three delivery semantics. At most once, at least once, and exactly once. 257
Kafka broker discovery
Kafka broker discovery ,.Kafka broker = a bootstrap server = connect to one broker . it knows to which broker it needs to connect automatically. 258
ZooKeeper
Zookeeper manages the brokers,is what holds the brokers together. Kafka cannot work without Zookeeper. , when a broker goes down, there's a new partition that becomes a leader. has also the concept of leader(handle writes) and followers(handle reads). Zookeeper is completely isolated from your consumers and your producers. 259
Kafka guarantees
Kafka guarantees 메세지는 topic-partition에 시간순으로 저장되고 컨슈머는 시간순으로 읽어간다 Replication factor가 N 이면 N-1개의 브로커가 다운되는 것까지 견딜 수 있다 하나의 브로커는 maintenance로 떨어질 수 있기 때문에 적어도 RF는 3개가 좋다 토픽에 파티션수가 동일하게 유지되는한, 동일한 키를 가진 메세지는 동일한 파티션에 저장된다 (운영 중 파티션 수를 늘이거나 줄이면 보장되지 않으므로 초기 설계 시 고려필요)
소개글 민첩한 스크럼마스터가 되려고 보다 함께 더 작업하고 장애물을 제거하고 근본 원인을 밝히고 스크럼을 열정적으로 코칭하여 팀을 성공으로 이끄는 방법을 다룹니다. set truly great scrum masters apart from their competition. Learn how successful scrum masters lead their teams to success by removing obstacles, revealing root causes, passionately coaching scrum, and more.
0.Becoming a great scrum master 54s 인트로 파트로 스크럼 마스터는 에자일 전도사로 스스로 많은 프로젝트에서 개선을 애쓰는 이들 특히 최고의 스크럼 마스터의 자질에 대해 알아봅니다.
all wanting to be the best to help their organizations deliver outstanding products.
1. The Characteristics 1.1 Be an honest broker(In progress) 2m 22s HB의 세가지 특징 첫째 공정한 입장을 가져야 한다.잘못된 것 옳은 것을 토의할 수 있게 해야 한다 스프린트에 참여한 인원, 주요 목표에, 공정하게 특정것들을 선호해서는 안됩니다. 둘째 최고의 아이디어가 되도록 중심을 잡아야 한다.
Each player takes an approach of yes and rather than yes but.
어떤 형태의 틀에 갖히면 삶을 바꾸기가 힘들다. 본 과정은 틀(Rut)에 대해 알아보고 틀에서 벗어나 창조적으로 살 수 있도록 하는데 교육 목적이 있다. 특히 창조적인 직업 뿐만 아니라 다양한 사람에게 필요한 교육인 것 같다. It's designed to be something you can return to each and every time you feel stuck on a project or down on your creative career. Ready to bust that rut? I'm Stephen Mumaw, and this is Breaking Out of a Rut.
0.2 Getting the most out of this course
이 과정은 워크시트가 없단다. 그냥 듣고 결심하고 하나씩 행동하면 된다고 한다. 실제 연습문제 파일도 약 2페이지 분량의 행동 원칙이 나열되어 있다. 앞서 이야기 했듯이 틀의 종류를 인식하고 스스로 행동하는 법을 찾도록 (셀프인가?) 하는데 도움을 주기위한 거라고. Make active what works for you in your process. So decide you've had enough, and make change now.
1. Exploring Ruts
1.1 What is a rut? 역시 틀(프레임/프로세스로 볼수 있다고 생각한다)은 반복적인 일을 하다 보면 자연스레 만들어지는 것(inevitable byproduct of repetitive work)이다. 즉, 반복행동, 반복적인 일, 같은 사람등 반복적인 것으로 사는 게 인간의 본성이고 반복 본성대로 X하다 보면 틀에 갇히게 되며 창족적인 문제를 만나면 마음이 위축된다. 왜냐면 우린 인간이기에. 또 틀에 데해 부끄러워할 필요가 없다. 다만 이 틀은 우리의 삶을 현상 유지시키려 하는데 때로는 이 틀을 부수어 새로운 삶으로 확장할 필요가 있다.(업그레이드할 수 있다) 주의할 점은 이런 시도하면 반작용이 생기므로 우선 어떤 것들인 지 인식이 필요하다. In short, we have to condition ourselves to be more aware. If we're aware of our actions, we can begin the process of busting that rut.
1.2 Identifying rut types.
근육 (A rut is simply muscle memory that manifests in our daily actions.) 이번 과 주제인데 틀을 어떻게 인식하냐면 단기/중기/장기로 구분하여 인식한다고 한다. 단기는 매일 반복되는 것으로 무의식중에 하는 것들이다.(Short term ruts are ones of daily repetition.) 예를 들면 아침마다 같은 버스를 타는 등.. 강의에서는 디자이너경우 같은 폰트, 같은 격자를 사용하는 것을 예로 들었다. 그리고 이런 것들은 단기 틀이라는 점.그리고 대부분 틀은 이런 단기 틀이라는 점 그리고 쉽게 틀을 부술수 있다.(The key to busting short term ruts is engaging in short term experiences.)
중기는 단기틀과 달리 조사가 필요하다고 한다. 조사란 건 계획같은 것을 말 한것 같다. 그런데 틀이라는 게 하기 싫어하는 것을 말한 건가? 우리 보통 계획 세우지 않나 목표 잡고 액션 아이템 나누고 다시 세부 액션 아이템을 일정에 때려 넣고 ..그리고 이런 작업은 삶의 가치를 잡아준다고 말하는 것 같다.(Changes you'd like to see in your life. They're easy to set and difficult to keep because you rarely set a plan in place to achieve these goals.) -------------- -------------------------- A rut is simply muscle memory that manifests in our daily actions. Short term ruts are ones of daily repetition. The key to busting short term ruts is engaging in short term experiences. Changes you'd like to see in your life. They're easy to set and difficult to keep because you rarely set a plan in place to achieve these goals.)
1.3 Chapter Quiz What kind of rut is most prevalent in our lives? 앗 .. short term Which of the following can keep you in a rut? 앗 .. none of these answers
2. Short-Term Rut Busters 2.1 Become a Pattern Hunter Short-term ruts are born from routine so bust those recurring behaviors. 패턴헌터- 반복되는 행동 부수는 방법 루틴은 새 습관의 반복적인 성공을 만들지만 동시에 새로운 것을 무시하는 것. 그래서 매일/매월/매년 루틴을 점검하고 하나씩 변경해보자 You can simply engage in that change for a day, and then return to your regularly scheduled program. But do so purposefully, and then move on to a different routine. In doing so, you're training yourself to be more alert, and before long, you'll start to see opportunities you may have otherwise missed.
2.2 Solve Something New Find a new problem to solve even if that problem is completely made up. 새로운 것을 시도해보라는데 도통 영어라 느낌은 알것 같은데 무신 말인지 정리가 안되네요. TT.. 틀은 깨는 해결책을 창의력으로 보지만 실제 창의력은 문제 해결에 도움이 되기도 하지만 안될 수도 있다. 해결해야할 문제를 찾아야 한다.( 근본적인 원인인 것 같은데) 예로 로고 만들 때 선 원 사각형등로 그냥 그려보고 다 완성한 뒤 하나씩 바꾸어 보라(맘에 들 때 까지) 또다른 예로 최고의 배낭을 디자인할때 11분만에 해라. It must have a problem to solve and there must be restrictions in place. Have at it.
2.3 Flipping the Page If your output is suffering, check your input. 입력(쏟는 노력)의 결과를 보는데 입력을 무시해라.- 어떤 문제를 해결할 때 필요한 자원이라고 생각한 것들을 무시해라. 문제를 풀기전 그냥 콘서트에 가거나 서점에 가서 아무 책이나 읽어라. 그러면 생각지도 못한 것을 얻게 된다. 영감이나 힌트나 아이디어를.. 그리고 이를 창족적으로 활용해보아라
This will serve two important roles, one, you'll actively engage in an input exercise, consuming new ideas and perspectives from voices that are novel to you. And two, you'll have new experiences with which to draw from, as you head back to your daily creating. It's important to remember that we have a finite amount of creative energy to give. As we evaluate the behavior that's led us into the short term rut, don't underestimate the power of input.
2.4 Get Handy
Studies have shown that the mind is more engaged when the hands are active so make something. 손을 사용해라(머리로 하지 말고 육체활동을 해라. 한국에서는 산만하다고 금지하던 건데) 손을 이용하면 문제에 더 집중하고 딴데로 가지 않는다고 한다. 밀가루 반죽으로 뭔가 만들거나 레고 블럭으로 뭔가 만들거나 펜으로 또는 전화 통화시 한 손은 낙서를 해라. The misconception about doodling is that it's mindless, but in fact, doodling is the result of a very active mind. Keeping your hands busy, frees the mind to find creative solutions to problems.
2.5 Get Out Leave small spaces in your daily calendar for small, new experiences. 안에서만 일하지 말고 바깥으로 나가보세요. 새로 만나는 경험을 창조적 것에 보탬이 된다고 한다. (이를 사용해야 한다고) 휴식,점심, 낮 및 주말로 나누어 새로운 경험을 적어보아라.원하는 거든 경험한 거든 Separate the listings into four categories, break, lunch, day, and weekend. Start by documenting what new experience you'd like to have, if you had any of those four time increments available.
2.6 Become a Game Maker Make play a natural part of your creative process 삶을 게임으로 생각하고 목표와 제한을 설정하여 게임플레이어와 같은 활동적인 사람이 되어라 그러면 어느 순간 새로운것을 보게되리라 Game making is traditionally the act of creating the environment for a competition but in the context of a creative endeavour. Game making takes on a slightly more purposeful goal.
2.5 Chapter Quiz What two things does any game need? - goal and restrictions
Which of the following is NOT a category in a New Experience Journal? - vacation
What is the number one cause of short term ruts? - forgetting to fill our creative tanks
Which of the following is NOT a characteristic of doodling? - It's a sign that you're not paying attention.
The definition of creativity is problem solving with what two characteristics? - relevance and novelty
What do routines inhibit in our lives? -the ability to see our everyday in a new light
3. Mid-Term Rut Busters
3.1 Become a Student Take a class in a fringe subject. 중기 틀은 몇 주/달 동안 이상 지속된 것인데 이런 틀을 깨려면 학생이 되는 것을 권고한다. 당신은 전문가이니 이런 틀을 깨려면 학생입장이 되어야 한다. 예를 들어 디자이너는 스토리텔링 수업을 작가는 그림 수업들을 들어봐라 .
Take a class in something you know NOTHING about Find fringe classes that support your area of expertise by presenting similar processes in DIFFERENT MEDIUMS.
After all, you are a practitioner of your craft, an expert in some disciplines, and at the very least, as knowledgeable about the subject for which you produce, as a classroom teacher may be. So instead of taking class in what you know, try what you don't.
3.2 Get Lost in a Passion Project Take on a side project for love, not for money.
열정적으로 프로젝트 해보세요. 좋아하고 관심있는 것들 프로젝트를 해보세요. 모든 업무가 틀에 박힌 것을 하기 보다는 조금씩 여유를 만들어 해보세요. 특히 돈을 받고서 하지는 마세요. 그 이후 무슨 말인지. Passion & ideal To do this you must have a passion for the project.
Passion projects = Projects that you take on because you love the work
?????????????????? Take the money out of the equation and you're doing the project for something else. Because you love it. You can decide whether you take on a long term or short term passion project.
3.3 Turbocharge Your Current Travel Plan and complete creative challenges during business travel opportunities.
Turbo-charge your current travel 여행으로 터보차저하라는 것 같은데. 여행할 땐 알려진 것외 모른 것에 도전해보시라고. 15분 정도 투자하여 그림보기, 로비 탐문, 경치관찰 게임. -- 문화가 다른듯 미친 X라고 한소리 듣을 것 같다..
Travel Chanllenge : Time 15 minutues explore and document as many different typographic styles as you can find, sit in the lobby and write down every sound that you hear, or make games out of sight seeing
3.4 Improvise Take a comedy improv workshop.
3.5 Tap the Crowd Hit up industry conferences and local talks.
3.6 Get a Posse Build your own creative support group.
4. Long-Term Rut Busters 4.1 Get Moving Start or change an exercise routine.
4.2 Unplug Put away the digital distractions.
4.3 Restructure Change where you are spending your time and energy.
4.4 Do Something Difficult Take on a big task and stay the course.
4.5 Plan and Take a Creative Vacation Don’t just unwind; recharge.
4.6 Find Your Wisdom Bearer Someone you know has more answers than you do.
