이 포스팅을 다루기 위해 레디스 필요성부터 구현방법까지 작성하고 돌아왔다.드디어, 예전에 포스팅했던 에어플로우 DAG 작성법에 이어 커스텀 레디스 센서에 대해 작성하고자한다.이전 포스팅이 궁긍한 분들은 여기.. [Airflow] 에어플로우 도커 컴포즈로 한방에 올리기이번엔 저번 포스팅에 이어, 실제로 에어플로우를 어떻게 구현하고, 사용하는지에 대해 알아보자! TODO list도커 컴포즈로 Airflow 올리는 이유커스텀 airflow 이미지 만들기도커 컴포즈 yaml 파일 만들9unu.tistory.com TODO ListAirflow Sensoroperator 필요성기본 레디스 센서의 작동 방식 (poke 등)커스텀 센서 구현 방법마무리1. Airflow Sensor operator 필요성기본적으로 A..

[Airflow] 커스텀 센서 구현하기! (Redis key value sensor)

이 포스팅을 다루기 위해 레디스 필요성부터 구현방법까지 작성하고 돌아왔다.드디어, 예전에 포스팅했던 에어플로우 DAG 작성법에 이어 커스텀 레디스 센서에 대해 작성하고자한다.이전 포스팅이 궁긍한 분들은 여기.. [Airflow] 에어플로우 도커 컴포즈로 한방에 올리기이번엔 저번 포스팅에 이어, 실제로 에어플로우를 어떻게 구현하고, 사용하는지에 대해 알아보자! TODO list도커 컴포즈로 Airflow 올리는 이유커스텀 airflow 이미지 만들기도커 컴포즈 yaml 파일 만들9unu.tistory.com TODO ListAirflow Sensoroperator 필요성기본 레디스 센서의 작동 방식 (poke 등)커스텀 센서 구현 방법마무리1. Airflow Sensor operator 필요성기본적으로 A..

2025.05.07

직전 포스팅에서 도커 컴포즈로 에어플로우를 일단 실행까지는 해봤으니,즉, 툴을 사용할 준비는 되었으니,이제 그 툴을 어떻게 사용할지에 대해 알아보자.직전 포스팅은 여기에서...https://9unu.tistory.com/27 [Airflow] 에어플로우 도커 컴포즈로 한방에 올리기이번엔 저번 포스팅에 이어, 실제로 에어플로우를 어떻게 구현하고, 사용하는지에 대해 알아보자! TODO list도커 컴포즈로 Airflow 올리는 이유커스텀 airflow 이미지 만들기도커 컴포즈 yaml 파일 만들9unu.tistory.comTODO listDAG 파일 구성 요소default args 파라미터DAG 파라미터Operation이란Xcom이란Task 연결 방법마무리 1. DAG 파일 구성 요소ETL작업은 무조건 DA..

이번에 하나의 데이터 파이프라인을 1차 완성한 기념으로, 내가 미친듯이 트러블 슈팅하며 공부한 기술 스택들을 하나씩 정리해보려한다.시작은 에어플로우부터..레디스, 빅쿼리, 도커스웜, 스파크까지내 정체성인 '이유 있는 기술 스택 공부'로 하나씩 다룰 예정이다. 암튼, 에어플로우부터... 시작함미다....^^TODO List에어플로우의 필요성에어플로우 컴포넌트 3가지 (UI, 스케줄러, DB)에어플로우 Executor 종류Task 상태 종류1. 에어플로우의 필요성에어플로우의 필요성은 간단하다.작업이 복잡해지는걸 효율적으로 관리하기 위한 툴이다.(주로 데이터 ETL 작업 관계를 관리하는데 사용하고, 탄생된 계기도 ETL이지만, 그냥 작업간 의존성을 관리하는데에도 사용하는 것 같다.)암튼, 본인은 VM 인스턴스..