생활기록부

[Apache Flink #3] Flink KeyBy란? Kafka Key와 차이 쉽게 이해하기Kafka를 공부하면서 Key가 Partition을 결정하는 데 중요한 역할을 한다는 것을 알아봤습니다.그런데 Apache Flink를 공부하기 시작하면 비슷해 보이는 개념이 하나 등장합니다.바로 KeyBy입니다.처음에는 다음과 같은 의문이 생길 수 있습니다.Kafka에서 이미 Key를 지정했는데 Flink에서 또 KeyBy를 해야 할까?Kafka Key와 Flink KeyBy는 같은 개념일까?결론부터 말하면 서로 관련은 있지만 역할이 다릅니다.이번 글에서는 Kafka Key와 비교하면서 Flink의 KeyBy가 왜 필요한지 알아보겠습니다.1. Kafka Key부터 다시 보기먼저 Kafka에서 사용했던 Key를..

[Apache Flink #2] Flink 구조 이해하기 - Job, Operator, Task, Parallelism이란?지난 글에서는 Kafka와 Apache Flink의 역할 차이를 알아봤습니다.간단하게 정리하면 다음과 같습니다.Kafka→ 이벤트를 전달하고 저장Flink→ 들어오는 이벤트를 실시간으로 처리그런데 Flink를 공부하다 보면 Job, Operator, Task, Parallelism, JobManager, TaskManager 같은 새로운 용어가 등장합니다.처음에는 각각이 무엇을 의미하는지 헷갈릴 수 있습니다.이번 글에서는 코드를 작성하기 전에 Flink 프로그램이 어떤 구조로 만들어지고 실제로 어떻게 분산 실행되는지 알아보겠습니다.1. Flink 프로그램의 기본 흐름Flink 프로그..

[Apache Flink #1] Kafka 다음에 Flink가 필요한 이유 - Kafka와 Flink 차이 쉽게 이해하기이전 시리즈에서는 Spring Boot와 Kafka를 연결하면서 Producer, Consumer, Topic, Partition, Key, Consumer Group, Offset을 알아봤습니다.Kafka를 공부하다 보면 자연스럽게 다음과 같은 궁금증이 생깁니다.Kafka로 실시간 데이터를 전달할 수 있는데 Flink는 왜 필요한 걸까?처음 Kafka와 Flink를 접했을 때 저도 두 기술의 역할이 비슷해 보였습니다.둘 다 실시간 데이터를 다루는 기술이기 때문입니다.하지만 Kafka와 Apache Flink는 담당하는 역할이 다릅니다.이번 글에서는 코드를 작성하기 전에 Kafka와 F..

[Spring Boot Kafka #7] Spring Boot Kafka 전체 흐름 정리 - Producer부터 Consumer까지Spring Boot Kafka 시리즈의 마지막 글입니다.지금까지 Kafka를 직접 실행하면서 다음 개념을 하나씩 살펴봤습니다.ProducerConsumerTopicPartitionKeyConsumer GroupOffset처음 각각의 개념을 보면 서로 별개의 기능처럼 느껴질 수 있습니다.하지만 실제로는 모두 하나의 메시지 처리 흐름 안에서 연결되어 있습니다.이번 글에서는 지금까지 만든 프로젝트를 기준으로 Spring Boot에서 Kafka 메시지가 만들어지고 Consumer까지 전달되는 전체 과정을 정리해보겠습니다.1. 전체 프로젝트 구조이번 시리즈에서 사용한 구조는 다음과 ..