생활기록부

[Apache Flink #1] Kafka 다음에 Flink가 필요한 이유 - Kafka와 Flink 차이 쉽게 이해하기이전 시리즈에서는 Spring Boot와 Kafka를 연결하면서 Producer, Consumer, Topic, Partition, Key, Consumer Group, Offset을 알아봤습니다.Kafka를 공부하다 보면 자연스럽게 다음과 같은 궁금증이 생깁니다.Kafka로 실시간 데이터를 전달할 수 있는데 Flink는 왜 필요한 걸까?처음 Kafka와 Flink를 접했을 때 저도 두 기술의 역할이 비슷해 보였습니다.둘 다 실시간 데이터를 다루는 기술이기 때문입니다.하지만 Kafka와 Apache Flink는 담당하는 역할이 다릅니다.이번 글에서는 코드를 작성하기 전에 Kafka와 F..

[Spring Boot Kafka #7] Spring Boot Kafka 전체 흐름 정리 - Producer부터 Consumer까지Spring Boot Kafka 시리즈의 마지막 글입니다.지금까지 Kafka를 직접 실행하면서 다음 개념을 하나씩 살펴봤습니다.ProducerConsumerTopicPartitionKeyConsumer GroupOffset처음 각각의 개념을 보면 서로 별개의 기능처럼 느껴질 수 있습니다.하지만 실제로는 모두 하나의 메시지 처리 흐름 안에서 연결되어 있습니다.이번 글에서는 지금까지 만든 프로젝트를 기준으로 Spring Boot에서 Kafka 메시지가 만들어지고 Consumer까지 전달되는 전체 과정을 정리해보겠습니다.1. 전체 프로젝트 구조이번 시리즈에서 사용한 구조는 다음과 ..

[Spring Boot Kafka #6] Consumer Group과 Offset 이해하기 - Kafka Consumer 여러 개 실행해보기Kafka에서 Producer와 Consumer를 구현했다면 다음으로 반드시 이해해야 할 것이 있습니다.바로 Consumer Group과 Offset입니다.특히 Kafka Consumer를 여러 개 실행했을 때같은 메시지를 Consumer들이 모두 받는 것일까? 아니면 메시지를 나눠서 처리하는 것일까?라는 부분이 처음에는 헷갈릴 수 있습니다.이번 글에서는 Consumer Group과 Partition의 관계를 중심으로 알아보겠습니다.1. Consumer Group이란?Kafka Consumer는 group.id라는 값을 가지고 있습니다.현재 프로젝트에서는 다음과 같이..

[Spring Boot Kafka #5] Kafka Partition과 Key 이해하기 - 같은 Key는 왜 같은 Partition으로 갈까?Kafka를 공부하다 보면 반드시 등장하는 개념이 있습니다.바로 Partition과 Key입니다.처음 Kafka를 접했을 때 가장 이해하기 어려운 부분 중 하나가 다음 질문이었습니다.Topic이 있는데 왜 굳이 Partition으로 다시 나누는 걸까?그리고 또 하나입니다.Producer에서 Key를 넣으면 무엇이 달라지는 걸까?이번 글에서는 현재 만든 Spring Boot Kafka 프로젝트를 이용해 같은 Key를 가진 메시지가 어떤 Partition으로 전달되는지 직접 확인해보겠습니다.1. Kafka Topic과 PartitionKafka Topic은 실제로 하나..