생활기록부

[Apache Flink #5] Flink State란? Keyed State로 이전 데이터를 기억하는 방법지난 글에서는 Flink의 Window를 이용해 일정 시간 동안 들어오는 데이터를 묶어서 처리하는 방법을 알아봤습니다.이번에는 Flink를 이해하는 데 매우 중요한 개념인 State를 알아보겠습니다.Flink를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터는 계속 들어오는데 이전 데이터는 어떻게 기억할까?사용자별 거래 횟수나 마지막 거래 시간을 어떻게 저장할까?서버가 여러 대라면 State는 어디에 저장될까?이런 문제를 해결하기 위해 Flink에서는 State라는 개념을 제공합니다.1. State란?State는 Flink가 이전에 처리했던 정보를 기억하기 위해 사용하는 데이터입니다..

[Apache Flink #4] Flink Window란? Tumbling, Sliding, Session Window 차이 쉽게 이해하기지난 글에서는 Flink의 KeyBy를 이용해 들어오는 데이터를 사용자별로 나누어 처리하는 개념을 알아봤습니다.이번에는 Flink를 공부할 때 반드시 등장하는 Window를 알아보겠습니다.Window를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터인데 왜 Window가 필요할까?Tumbling Window와 Sliding Window는 무엇이 다를까?10분 동안 거래를 계산한다면 어떤 Window를 사용해야 할까?이번 글에서는 거래 데이터를 예로 들어 Flink Window의 개념과 대표적인 Window 종류를 알아보겠습니다.1. 실시간 데이터는 끝이..

[Apache Flink #3] Flink KeyBy란? Kafka Key와 차이 쉽게 이해하기Kafka를 공부하면서 Key가 Partition을 결정하는 데 중요한 역할을 한다는 것을 알아봤습니다.그런데 Apache Flink를 공부하기 시작하면 비슷해 보이는 개념이 하나 등장합니다.바로 KeyBy입니다.처음에는 다음과 같은 의문이 생길 수 있습니다.Kafka에서 이미 Key를 지정했는데 Flink에서 또 KeyBy를 해야 할까?Kafka Key와 Flink KeyBy는 같은 개념일까?결론부터 말하면 서로 관련은 있지만 역할이 다릅니다.이번 글에서는 Kafka Key와 비교하면서 Flink의 KeyBy가 왜 필요한지 알아보겠습니다.1. Kafka Key부터 다시 보기먼저 Kafka에서 사용했던 Key를..

[Apache Flink #2] Flink 구조 이해하기 - Job, Operator, Task, Parallelism이란?지난 글에서는 Kafka와 Apache Flink의 역할 차이를 알아봤습니다.간단하게 정리하면 다음과 같습니다.Kafka→ 이벤트를 전달하고 저장Flink→ 들어오는 이벤트를 실시간으로 처리그런데 Flink를 공부하다 보면 Job, Operator, Task, Parallelism, JobManager, TaskManager 같은 새로운 용어가 등장합니다.처음에는 각각이 무엇을 의미하는지 헷갈릴 수 있습니다.이번 글에서는 코드를 작성하기 전에 Flink 프로그램이 어떤 구조로 만들어지고 실제로 어떻게 분산 실행되는지 알아보겠습니다.1. Flink 프로그램의 기본 흐름Flink 프로그..