[Airflow] Airflow 기초 지식

 

 

 

 

 

 

 

Airflow란?

작업 스케줄러.

Airflow를 이용하면 원하는 시간에, 원하는 작업을 실행시킬 수 있습니다. 

이번 포스팅에선 Airlfow의 기초 지식을 알아보도록 하겠습니다.

 

 

목차

📃 Airflow 기원 및 장점

📃 Airflow 구조

 

 

 

Airflow 기원 및 장점

 

📌 기원

Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼입니다.

2016년 아파치 재단의 incubator program으로 탄생했으며, 현재는 아파치 탑 레벨 프로젝트입니다.

 Airbnb, Yahoo, Paypal, Intel, Stripe 등에서 Airflow를 활용하고 있습니다.

 

 

 

📌 기존 방식의 문제점

 

기존엔 하나의 어플리케이션에 모든 Task를 집어넣고 실행시켰습니다.

pipeline을 한 번에 배포하는 것입니다. 혹은 Task를 따로 정의해서 파이프라인을 구축하여도, 실행'만' 할 수 있었습니다. 이러한 방식은 다음과 같은 문제들을 낳았습니다. 

 

 

1. (모니터링 문제) 잘 돌아가고 있는지 확인하기 힘듭니다.

2. (의존성 관리) 데이터 파이프라인 간 의존성이 있는 경우, 앞선 파이프라인이 잘 돌아가고 있는지 파악하기 힘듭니다.

3. (배포) 새로운 워크플로우를 배포하기 힘듭니다. 오류가 날 경우, '전체' 플로우를 다시 배포해야 합니다.

4. (실패 복구) 실패할 경우, 언제 어떻게 다시 실행할 것인가에 대한 해결책이 없습니다.

5. (확장성) 중앙관리 툴이 없기 때문에, 분산된 환경에서 파이프라인 관리가 힘듭니다.

 

 

 

 

📌 장점

 

1. Airflow는 UI(user interface)를 제공하며, 안에서 모니터링과 중앙 관리가 가능합니다. 이에 따라 기존 문제인 모니터링, 확장성, 의존성 관리 문제를 해결할 수 있습니다. 

2. Airflow는 하나의 DAG 안에 파이프라인이 구축되어 있습니다. 하지만 한 곳에서 오류가 나도, 그 부분만 고쳐서 다시 배포할 수 있습니다. 쉽게 배포가 가능하고, 오류가 나도 재빨리 고쳐서 배포할 수 있다는 장점이 있습니다. 

3. Python 언어로 짜기 때문에, 문법과 활용이 쉽습니다.

4. Backfill 기능이 있어, 오류가 나도 언제, 어떻게 다시 실행할 것인지 정할 수 있습니다. 

5. Bottle Neck을 빠르게 확인할 수 있습니다.

6. GCP 연동이 편리합니다.

 

 

 

 

Airflow 구조

 

📌 전체 구조도

 

Airflow의 전체 구조도는 다음과 같습니다.

Scheduler, Executor, Worker, Web Server, Metastore, Dags 등이 구성요소입니다. 

 

 

 

한 개의 DAG는 하나의 pipeline입니다.

 

📌 Functions

 

Airflow Webserver

Airflow의 로그, 워크 플로우, 진행 상황 등 전체적인 모니터링을 지원합니다. 특히 Task 상태, Dag 목록 등을 시각화하여 보여줍니다. UI를 통해 시각적으로 중앙 관리를 할 수 있도록 합니다. 

 

Airflow DAGs Folder

유저가 작성한 DAG들을 저장해두는 폴더입니다. 이곳을 참고하여 Web Server와 Scheduler가 업데이트됩니다.

 

Airflow Scheduler

Airflow로 할당된 work를 스케쥴링하는 컴포넌트입니다. work를 시작하고, Executor에게 task를 제공하는 역할을 합니다. 

 

Airflow Executor

Scheduler에게 받은 Task를 핸들링하는 컴포넌트입니다. 어떻게 실행되는지 정의하는 곳입니다. default 설치 시에는 Scheduler에 있는 모든 것들을 다 실행시키지만, production 수준에서의 Executor는 worker에게 task를 push 합니다.

 

Airflow Worker

실제 task를 실행하는 주체자입니다.

 

Airflow Metastore

Dag의 정보/상태 등의 정보를 가지고 있으며, Task Instance 등을 저장해두는 저장소입니다. 모든 업데이터와 진행은 Metastore를 거칩니다. 

 

 

 

 

 

[워크 플로우 생성과 실행]

 

 

 

1. 유저가 새로운 DAG를 작성하고, DAGs 폴더 안에 배치

2. Web Server, Scheduler가 DAG를 파싱 (정보를 가져온다).

3. Scheduler가 Metastore에 DagRun object를 생성. DagRun = 작성한 DAG의 객체, 현재 진행 상황을 알려준다. 

DagRun status:Running

4. Task Instance를 Scheduler가 스케쥴링한 후, Executor로 보낸다.

5. 완료 후, Executor는 Metastore에 완료 보고, DagRun status:Completed 

6. Scheduler, Web Server가 각각 확인. Scheduler는 다음 Task를 진행하고, Web Server는 UI 업데이트.

 

 

 

 

 

 

📌 DAG (Directed Acyclic Graph)

 

 

 

Directed Acyclic Graph

비순환 그래프. 노드와 노드가 단방향으로 연결되어 있어, 다시 돌아오지 않는다는 특성을 가집니다. Airflow는 이런 DAG 특성을 이용하여 Workflow를 구성합니다. 

 

 

 

📌 Operator

 

DAG 안의 작업을 정의하는 데 사용합니다. 

 

1. Action Operators

실제 연산을 수행합니다.

 

2. Transfer Operators

데이터를 옮기는 작업을 수행합니다.

 

3. Sensor Operators

특정 조건을 만족했는지 확인합니다. 조건을 만족할 경우, 다음 Step으로 넘어가는 작업을 수행합니다.

 

 

 

 

 

 

지금까지 Airflow의 기초 지식을 알아봤습니다.

Airflow의 흐름과 개념을 잘 숙지하셨다면 이제 활용할 차례입니다.

다음 포스팅에선 Airflow와 Spark를 함께 활용하는 방법을 알아보겠습니다.