Flink Operation Playground

해당 링크의 내용을 하나씩 따라가보자

1. Anatomy of this Playground

기본적으로 Flink를 응용한 프로그램이 어떤식으로 구성되어있는지, 그리고 Playground에서 실습해볼 시나리오가 어떻게 구성되어있는지 설명한다.

Kafka 클러스터는 Zookeeper 서버와 Kafka 브로커로 구성된다.
Flink 클러스터는 JobManager와 하나 이상의 Flink TaskManager로 구성된다.
- JobManager는 작업 제출, 작업 감독 및 리소스 관리에 책임이 있다.
- TaskManagers는 작업자 프로세스로, 실제 Flink 작업을 구성하는 작업의 실행에 책임이 있다.

현재 Playground 실습에서의 Task Manager는 하나다 !

플레이그라운드가 시작되면 JobManager로 Flink Event Count라는 작업이 제출된다. 또한 input과 output 두 가지 Kafka 토픽이 생성된다.

input 토픽에서 ClickEvent 를 소비한다.

이벤트를 page 키를 기준으로 묶어 15초 윈도우 에서 카운트한다. 결과를 output topic에 쓴다.

페이지는 6종이며 각 페이지당 15초에 1000건이 생성되므로 올바르게 동작할 경우 각 윈도우의 각 페이지 카운트는 1000이 된다.

시나리오를 알아봤으니 직접 실행해보자 ..