생활기록부

[Apache Flink #7] Flink CEP란? 실시간 이벤트 패턴 탐지 쉽게 이해하기Apache Flink 개념 시리즈의 마지막 글입니다.지금까지 다음 내용을 알아봤습니다.Kafka와 Flink의 차이Job / Operator / ParallelismKeyByWindowStateCheckpoint지금까지의 기능을 이용하면 사용자별 거래 횟수나 금액을 계산하고 이전 상태를 기억할 수 있습니다.하지만 실시간 시스템에서는 단순한 집계만으로 해결하기 어려운 요구사항도 있습니다.예를 들어:로그인 후 비밀번호를 변경하고 5분 안에 고액 결제가 발생했다.이 경우 중요한 것은 단순히 이벤트가 몇 번 발생했는지가 아닙니다.어떤 이벤트가 어떤 순서로 발생했는지가 중요합니다.이러한 이벤트 패턴을 탐지할 때 사용할 수..

[Apache Flink #6] Flink Checkpoint란? 장애가 발생해도 State를 복구하는 원리지난 글에서는 Flink의 State를 이용해 이전 처리 정보를 기억하는 방법을 알아봤습니다.그런데 State를 사용하기 시작하면 반드시 생각해야 할 문제가 있습니다.Flink 서버가 갑자기 종료되면 State는 어떻게 될까?거래를 처리하던 중 장애가 발생하면 처음부터 다시 계산해야 할까?Kafka에서 이미 처리했던 메시지는 다시 읽게 될까?분산 스트림 처리에서는 장애가 발생하더라도 처리 상태를 복구할 수 있어야 합니다.Flink에서는 이를 위해 Checkpoint라는 핵심 기능을 제공합니다.1. Checkpoint란?Checkpoint는 Flink Job의 처리 상태를 일정 시점에 저장하는 기능입..

[Apache Flink #5] Flink State란? Keyed State로 이전 데이터를 기억하는 방법지난 글에서는 Flink의 Window를 이용해 일정 시간 동안 들어오는 데이터를 묶어서 처리하는 방법을 알아봤습니다.이번에는 Flink를 이해하는 데 매우 중요한 개념인 State를 알아보겠습니다.Flink를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터는 계속 들어오는데 이전 데이터는 어떻게 기억할까?사용자별 거래 횟수나 마지막 거래 시간을 어떻게 저장할까?서버가 여러 대라면 State는 어디에 저장될까?이런 문제를 해결하기 위해 Flink에서는 State라는 개념을 제공합니다.1. State란?State는 Flink가 이전에 처리했던 정보를 기억하기 위해 사용하는 데이터입니다..

[Apache Flink #4] Flink Window란? Tumbling, Sliding, Session Window 차이 쉽게 이해하기지난 글에서는 Flink의 KeyBy를 이용해 들어오는 데이터를 사용자별로 나누어 처리하는 개념을 알아봤습니다.이번에는 Flink를 공부할 때 반드시 등장하는 Window를 알아보겠습니다.Window를 처음 접하면 다음과 같은 의문이 생길 수 있습니다.실시간 데이터인데 왜 Window가 필요할까?Tumbling Window와 Sliding Window는 무엇이 다를까?10분 동안 거래를 계산한다면 어떤 Window를 사용해야 할까?이번 글에서는 거래 데이터를 예로 들어 Flink Window의 개념과 대표적인 Window 종류를 알아보겠습니다.1. 실시간 데이터는 끝이..