[Airflow] Airflow 기초 지식

Airflow란? 작업 스케줄러. Airflow를 이용하면 원하는 시간에, 원하는 작업을 실행시킬 수 있습니다. 이번 포스팅에선 Airlfow의 기초 지식을 알아보도록 하겠습니다. 목차 📃 Airflow 기원 및 장점 📃 Airflow 구조 Airflow 기원 및 장점 📌 기원 Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼입니다. 2016년 아파치 재단의 incubator program으로 탄생했으며, 현재는 아파치 탑 레벨 프로젝트입니다. Airbnb, Yahoo, Paypal, Intel, Stripe 등에서 Airflow를 활용하고 있습니다. 📌 기존 방식의 문제점 기존엔 하나의 어플리케이션에 모든 Task를 집어넣고 실행시켰습니다. pipeline을 한 번에 배포하는 ..

2022.09.15