생활기록부

[Apache Flink #6] Flink Checkpoint란? 장애가 발생해도 State를 복구하는 원리지난 글에서는 Flink의 State를 이용해 이전 처리 정보를 기억하는 방법을 알아봤습니다.그런데 State를 사용하기 시작하면 반드시 생각해야 할 문제가 있습니다.Flink 서버가 갑자기 종료되면 State는 어떻게 될까?거래를 처리하던 중 장애가 발생하면 처음부터 다시 계산해야 할까?Kafka에서 이미 처리했던 메시지는 다시 읽게 될까?분산 스트림 처리에서는 장애가 발생하더라도 처리 상태를 복구할 수 있어야 합니다.Flink에서는 이를 위해 Checkpoint라는 핵심 기능을 제공합니다.1. Checkpoint란?Checkpoint는 Flink Job의 처리 상태를 일정 시점에 저장하는 기능입..

[Apache Flink #5] Flink State란? Keyed State로 이전 데이터를 기억하는 방법지난 글에서는 Flink의 Window를 이용해 일정 시간 동안 들어오는 데이터를 묶어서 처리하는 방법을 알아봤습니다.이번에는 Flink를 이해하는 데 매우 중요한 개념인 State를 알아보겠습니다.Flink를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터는 계속 들어오는데 이전 데이터는 어떻게 기억할까?사용자별 거래 횟수나 마지막 거래 시간을 어떻게 저장할까?서버가 여러 대라면 State는 어디에 저장될까?이런 문제를 해결하기 위해 Flink에서는 State라는 개념을 제공합니다.1. State란?State는 Flink가 이전에 처리했던 정보를 기억하기 위해 사용하는 데이터입니다..

[Apache Flink #4] Flink Window란? Tumbling, Sliding, Session Window 차이 쉽게 이해하기지난 글에서는 Flink의 KeyBy를 이용해 들어오는 데이터를 사용자별로 나누어 처리하는 개념을 알아봤습니다.이번에는 Flink를 공부할 때 반드시 등장하는 Window를 알아보겠습니다.Window를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터인데 왜 Window가 필요할까?Tumbling Window와 Sliding Window는 무엇이 다를까?10분 동안 거래를 계산한다면 어떤 Window를 사용해야 할까?이번 글에서는 거래 데이터를 예로 들어 Flink Window의 개념과 대표적인 Window 종류를 알아보겠습니다.1. 실시간 데이터는 끝이..

[Apache Flink #3] Flink KeyBy란? Kafka Key와 차이 쉽게 이해하기Kafka를 공부하면서 Key가 Partition을 결정하는 데 중요한 역할을 한다는 것을 알아봤습니다.그런데 Apache Flink를 공부하기 시작하면 비슷해 보이는 개념이 하나 등장합니다.바로 KeyBy입니다.처음에는 다음과 같은 의문이 생길 수 있습니다.Kafka에서 이미 Key를 지정했는데 Flink에서 또 KeyBy를 해야 할까?Kafka Key와 Flink KeyBy는 같은 개념일까?결론부터 말하면 서로 관련은 있지만 역할이 다릅니다.이번 글에서는 Kafka Key와 비교하면서 Flink의 KeyBy가 왜 필요한지 알아보겠습니다.1. Kafka Key부터 다시 보기먼저 Kafka에서 사용했던 Key를..