300x250
전체 글
-
Flink : 시간 특성과 워터마크카테고리 없음 2025. 3. 10. 10:47
flink에서 시간 정보가 필요한 작업이 있을 때(ex: window operator) 선택할 수 있는 시간 속성에 대해서 기술한다.시간 속성처리 시간(processing time) : flink에서 실제로 데이터스트림을 처리하는 시점의 시간. 데이터를 실제로 처리하게 되었을 때에야 시간을 알 수 있으므로 데이터스트림이 비결정적이다. 시스템으로부터 현재 시간을 직접 불러와서 사용하므로 워터마크를 만들 필요가 없기 때문에 해당 오버헤드가 없다.이벤트 시간(event time) : 데이터가 디바이스나 애플리케이션에서 발생하거나 생성된 시점의 시간. 무엇을 이벤트 시간으로 삼을지 정하고, 또 워터마크는 어떻게 생성할 건지 정책을 직접 정해서 워터마크를 생성해야 한다. 오버헤드가 발생하지만 이벤트 시간이 정해진..