Kafka kru CONFERENCE SEOUL 2019 후기 & 정리글

안녕하세요:-)

Kafka 컨퍼런스소식을 듣고 신청해서 다녀오게됬습니다.
(사실 이글도 변명 좀 하자면 할일이 너무 넘쳐흘러 22일에 80% 완성해놓고
계속 정리를 못해가지고 못올리고있었습니다8ㅅ8...)

9월에 처음 듣고 기대가 컸던 컨퍼런스-★

 

축사 시간 도중 도착을 했는데 정말 많은 분들이 참석해주셨더라구요
Kafka 관련 기술을 얻으러 가는 자리였는데 많은 분들의 열정을 느낄 수 있는 자리였어요!

 

진행되는 세션은 다음과같이 진행이됬고 
오늘은 노란색으로 칠해진 두개의 세션을 먼저 다뤄보도록 하겠습니다.

 

1. How to utilize KAFKA more efficiently

20분이라는 발표시간이 짧게 느껴졌던 발표 중 하난데요.
Kafka를 처음 접하시거나, 시간적으로 촉박하신 분들 등 대상으로 발표가 진행됬었습니다.

써주신 글 중에 반응이 좋았던 게시글 기반으로 발표를 준비해주셨는데
Kafka를 구축해놓고 기본값으로 운영하는 분들에게
몇가지의 옵션만 바꿔도 더 나은 환경을 운영할 수 있게끔 발표를 진행해주셨습니다.

고승범님의 원본 게시글은 여기서 확인해주세요 ▶ https://brunch.co.kr/@peter5236/13 

 

게시물보다 발표 땐 2가지 더 추가된 브로커의 6가지 옵션들을 설명해주셨습니다!

• log.retention.hours
• delete.topic.enable
• allow.auto.create.topics
• log.dirs
• broker.rack [new]
• replication.factor [new]

 

 

관련된 내용들과 정보들은 정리하고 추가로 참고할만한 자료 링크걸어서 댓글로 올려뒀으니
아래 구글 Docs를 들어가 확인해주시면 감사하겠습니다! 

+ 추가적으로 Producer(프로듀서)와 Consumer(컨슈머)들의 특징 관련해
IBM Developer Day에 발표해주신 내용도 살짝 넣어봤습니다.

 

https://docs.google.com/document/d/1iJjUVHImeGnj96hNpz1gZO12YU4aCELB3fwZv21j9T4/edit?usp=sharing

[kafka conf] 1. How to utilize KAFKA more efficiently

 

 

2. KSQL vs Kafka Streams

Confluent에서 와주신 Mark님의 발표였는데요.
(정말 이때 영어 못하는 제자신이 너무 싫었어요(⌬̀⌄⌬́)
동시통역이 너무 버벅거려서 자유롭게 듣지 못했습니다. 안드보라 멍청이)

Kafka Streams로 파이프라인 구축해 제품 개발을 해봤지만 KSQL을 써본적이 없고 자료들로만 봐왔어서
특징들과 발표내용을 사례에 빗대어 설명해주셔서 유익하게 봤습니다.

정말 SQL을 다루시는 데이터 전문가들도 바로 다룰수 있을 만큼 명확하고 사용하기 쉽더라구요.

• KSQL 중심적으로 발표 진행
• KSQL 사용사례
  • 조회
  • 데이터 변형
  • Streaming ETL
  • real-time Data 병합(Join)
  • real-time Monitoring(실시간 모니터링)
  • 이상징후 감지
• KQL vs Kafka Streams 비교, 유사점, 차이점

관련된 내용들과 정보들은 정리하고 추가로 참고할만한 자료 링크걸고, 부족한 영어실력으로 꾸역꾸역 작성했는데 잘못 해석한 부분이라던지 잘못된 내용이 있다면 정정 댓글 달아주시면 감사하겠습니다.

아래 구글 Docs를 들어가 확인해주세요.

https://docs.google.com/document/d/1dWp77xXB9_YbjSJ6JSEWeHwwVv5aA1dY8sE28oF5FDA/edit?usp=sharing

[kafka conf] 2. KSQL vs Kafka Streams

 

3. 후기

Kafka 뿐만아니라 나중에 또 추가적으로 다루겠지만 모니터링, 인사이트 도출을 위한 지표들을 알려주셨던 발표, 카카오전사에서 데이터 레이크 구축한 사례 등 실무자들 기반으로 좋은 발표를 들을 수 있게 된 것 같아서 좋았습니다.

 

사실 고승범님 발표가 길줄 알고 저번 IBM 행사때나 if Kakao나 발표내용들이 풍부하고 좋았던 기억이있어서 이번엔 어떤 발표를 해주실까하며 기대했는데 개인적으로 20분에 짧은 발표 시간과 다뤘던 발표주제(? 단순 저의 욕심이였습니다. 죄송해요..!ㅎ)여서 복습되고 좋았습니다^-^...!..!!

 

그리고 생각보다 많은 이벤트(?) 선물을 폭팔적으로 주시더라구요..!..
세션들 끝나고 첫 쉬는시간에 "헤헤.. 카프카 스티커..껄껄 갖고싶었는데..."거리며 노트북에 붙이자마자 운좋게 당첨되서 예쁜티와 5만원상당의 쿠폰..!..을 get했습니다!

예쁜 카카오 스티커도 얻고^-^..(남자친구가 보고 배민에서 스티커받았냐고ㅋㅋㅋㅋ)

(하지만 난 운전면허가없지!!)

추가로ㅋㅋㅋㅋㅋㅋ 살면서 경품추천 대학생때 노트북 한번받고 그뒤로 운을 다 써버려서
한번도 된적없었는데 잘못 불린 번호 덕분에 딥러닝책을..get했습니다...!
(왜 카프카책이 아닌거죠?.. 아쉽.. 본집에 있어서 찍은 사진도 없..) 딥러닝도 공부해야지~...!

 

언제나 뒷북을 치며 늦게 올려서 죄송합니다.

행사 너무 재밌게 들었고 좋은 행사 준비해주셔서 감사합니다! 너무 고생 많으셨고
다음번에도 좋은 행사나 밋업에서 많이 뵀으면 좋겠습니다.

 

카프카관련 기술적인 질문이나, 다음 컨퍼런스 내용을 접하고 싶다면 Kafka 한국 커뮤니티 가입해주세요!

https://www.facebook.com/groups/kafka.kru/

보안 확인 필요

 

+ 다음시간엔 후기 없이 몇개의 세션 정리글과 함께 돌아오겠습니다! 다들 즐거운 하루보내세요(o^^)o