생활기록부

[Apache Flink #4] Flink Window란? Tumbling, Sliding, Session Window 차이 쉽게 이해하기지난 글에서는 Flink의 KeyBy를 이용해 들어오는 데이터를 사용자별로 나누어 처리하는 개념을 알아봤습니다.이번에는 Flink를 공부할 때 반드시 등장하는 Window를 알아보겠습니다.Window를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터인데 왜 Window가 필요할까?Tumbling Window와 Sliding Window는 무엇이 다를까?10분 동안 거래를 계산한다면 어떤 Window를 사용해야 할까?이번 글에서는 거래 데이터를 예로 들어 Flink Window의 개념과 대표적인 Window 종류를 알아보겠습니다.1. 실시간 데이터는 끝이..

[Apache Flink #3] Flink KeyBy란? Kafka Key와 차이 쉽게 이해하기Kafka를 공부하면서 Key가 Partition을 결정하는 데 중요한 역할을 한다는 것을 알아봤습니다.그런데 Apache Flink를 공부하기 시작하면 비슷해 보이는 개념이 하나 등장합니다.바로 KeyBy입니다.처음에는 다음과 같은 의문이 생길 수 있습니다.Kafka에서 이미 Key를 지정했는데 Flink에서 또 KeyBy를 해야 할까?Kafka Key와 Flink KeyBy는 같은 개념일까?결론부터 말하면 서로 관련은 있지만 역할이 다릅니다.이번 글에서는 Kafka Key와 비교하면서 Flink의 KeyBy가 왜 필요한지 알아보겠습니다.1. Kafka Key부터 다시 보기먼저 Kafka에서 사용했던 Key를..

[Apache Flink #2] Flink 구조 이해하기 - Job, Operator, Task, Parallelism이란?지난 글에서는 Kafka와 Apache Flink의 역할 차이를 알아봤습니다.간단하게 정리하면 다음과 같습니다.Kafka→ 이벤트를 전달하고 저장Flink→ 들어오는 이벤트를 실시간으로 처리그런데 Flink를 공부하다 보면 Job, Operator, Task, Parallelism, JobManager, TaskManager 같은 새로운 용어가 등장합니다.처음에는 각각이 무엇을 의미하는지 헷갈릴 수 있습니다.이번 글에서는 코드를 작성하기 전에 Flink 프로그램이 어떤 구조로 만들어지고 실제로 어떻게 분산 실행되는지 알아보겠습니다.1. Flink 프로그램의 기본 흐름Flink 프로그..

[Apache Flink #1] Kafka 다음에 Flink가 필요한 이유 - Kafka와 Flink 차이 쉽게 이해하기이전 시리즈에서는 Spring Boot와 Kafka를 연결하면서 Producer, Consumer, Topic, Partition, Key, Consumer Group, Offset을 알아봤습니다.Kafka를 공부하다 보면 자연스럽게 다음과 같은 궁금증이 생깁니다.Kafka로 실시간 데이터를 전달할 수 있는데 Flink는 왜 필요한 걸까?처음 Kafka와 Flink를 접했을 때 저도 두 기술의 역할이 비슷해 보였습니다.둘 다 실시간 데이터를 다루는 기술이기 때문입니다.하지만 Kafka와 Apache Flink는 담당하는 역할이 다릅니다.이번 글에서는 코드를 작성하기 전에 Kafka와 F..