이번에 하나의 데이터 파이프라인을 1차 완성한 기념으로, 내가 미친듯이 트러블 슈팅하며 공부한 기술 스택들을 하나씩 정리해보려한다.시작은 에어플로우부터..레디스, 빅쿼리, 도커스웜, 스파크까지내 정체성인 '이유 있는 기술 스택 공부'로 하나씩 다룰 예정이다. 암튼, 에어플로우부터... 시작함미다....^^TODO List에어플로우의 필요성에어플로우 컴포넌트 3가지 (UI, 스케줄러, DB)에어플로우 Executor 종류Task 상태 종류1. 에어플로우의 필요성에어플로우의 필요성은 간단하다.작업이 복잡해지는걸 효율적으로 관리하기 위한 툴이다.(주로 데이터 ETL 작업 관계를 관리하는데 사용하고, 탄생된 계기도 ETL이지만, 그냥 작업간 의존성을 관리하는데에도 사용하는 것 같다.)암튼, 본인은 VM 인스턴스..