4. Airflow concept

 

DAG (Directed Acyclic Graph)

돌릴 task를 모아놓은걸 DAG라고 부른다. 

노드간에 진행 방향이 있는 그래프를 directed graph라고 부르고 순환형이 아닌 것을 Acyclic graph라고 부른다. 

 

operator

task가 어떤 행동을 할 것인지를 operator라고 부른다. 

operator들은 이미 많은 것들이 구현되어있고 계속해서 개발되고 있다. 

 

operator에는 세 가지 유형이 있다. 

① Sensors

특정 조건이 만족될 때까지 계속 돌고 있는 operator

조건의 예시로 특정 시간을 기다린다던가 무언가 파일이 올때까지 기다리는 것이 있다. 

② Operators

특정 행위를 실행시키는 operator

BashOperator, PythonOperator 이런 것들이 있다. 

(굳이 설명 더 안해도 될듯)

③ Transfers

데이터를 다른 위치로 옮기는 operator

MySqlToHiveTransfer, S3ToRedshiftTransfer 이런 것들이 있다. 

(이것도 굳이 설명 필요 없을 듯)

 

DagRuns

특정 시간에 도는 DAG를 이렇게 부른다. 

 

TaskInstances

DagRuns에 포함된 task를 이렇게 부른다.