저번 포스팅에서 도커 스웜을 활용해 스파크 클러스터를 구현하는 방법을 다뤘다.하지만, 모든 개발이 그렇듯, 테스트를 거쳐야 배포도 하는 것..이번엔 스파크 클러스터에 제출하기 전에, 동작하는지 테스트하기 위한 로컬 환경을 구축하는 방법에 대해 다룰 예정이다.스파크 클러스터 구축이 궁금하신 분들은 여기...https://9unu.tistory.com/34 TODO list로컬 환경 구축 전 핵심 개념 (스파크 = 자바 프레임워크)Java 설치 및 환경변수 설정Spark 설치 및 설정필요한 커넥터 및 라이브러리 설치마무리1. 로컬 환경 구축 전 핵심 개념 (스파크 = 자바 프레임워크)사실 로컬 환경 구축이 귀찮을 뿐, 중요한 내용은 없어서 빠르게 명령어 위주로 슥슥 하고 끝낼 것이다.그전에 핵심만 좀 짚자면..

저번 포스팅에서 도커 스웜을 구축하는 방법에 대해 포스팅했으니,이번 포스팅에선 도커 스웜을 활용하여 스파크 클러스터를 구축하는 방법에 대해 포스팅하려한다.아직 스파크 기본 개념과 도커 스웜에 대한 포스팅을 못 본 분들은 여기..https://9unu.tistory.com/32 [Spark] 스파크...왜 쓰는걸까? (하둡부터 스파크까지)지금까지는 전체적인 데이터 파이프라인 작업을 관리하는 Airflow에 대해 알아봤으니,이번엔 작업 들 중 '분산 데이터 처리'의 대명사로 불리는 Spark에 대한 포스팅을 시작해보려한다.당연히 이번9unu.tistory.comhttps://9unu.tistory.com/33TODO list1. 도커 스웜과 스파크 클러스터의 관계 복기2. 커스텀 스파크 이미지 생성3. 스파..

이전 포스팅에서 스파크 기본 이론에 대해 다뤄놓고 갑자기 도커?라고 생각할 수 있다.하지만 이 글을 다 읽고 나면, 아 이래서 도커 스웜을 다뤘구나~라고 이해하게 될 것이다.아직 스파크 기본 개념에 대한 포스팅을 못 본 분들은 여기..https://9unu.tistory.com/32 TODO list도커 스웜과 도커 컴포즈의 차이도커 스웜의 개념도커 스웜 세팅법 (포트 개방 매니저 연결)도커 서비스 배포 (service create, stack 배포)마무리1. 도커 스웜과 도커 컴포즈의 차이도커 스웜 (Docker Swarm)은 이름에서도 알 수 있듯,docker = 도커 컨테이너swarm = '무리' or '집단'즉, 컨테이너 집단을 관리하는 것을 의미한다.'그럼 도커 컴포즈랑 다를게 뭐야?' 예전 포..

지금까지는 전체적인 데이터 파이프라인 작업을 관리하는 Airflow에 대해 알아봤으니,이번엔 작업 들 중 '분산 데이터 처리'의 대명사로 불리는 Spark에 대한 포스팅을 시작해보려한다.당연히 이번에도 시작은 스파크가 왜 필요한지부터 이해하는 것으로 시작~!TODO List스파크는 왜 필요한가?하둡의 등장스파크의 등장스파크 핵심 이론 (파티셔닝, 맵리듀스...)마무리1. 스파크는 왜 필요한가?일단 스파크가 왜 필요한지에 대해 이해하려면 '데이터 처리 과정'부터 알아야한다.데이터 처리 과정이라고 하면, 어려울 것 같지만 기본 전제만 알면 된다. '데이터를 처리하려면, 일단 데이터를 메모리에 올려야한다.' 일전에 CS지식 포스팅하면서 잠깐 언급했지만, 컴퓨터는 기본적으로 데이터를 메모리에 올려놓고 CPU 연..

이 포스팅을 다루기 위해 레디스 필요성부터 구현방법까지 작성하고 돌아왔다.드디어, 예전에 포스팅했던 에어플로우 DAG 작성법에 이어 커스텀 레디스 센서에 대해 작성하고자한다.이전 포스팅이 궁긍한 분들은 여기.. [Airflow] 에어플로우 도커 컴포즈로 한방에 올리기이번엔 저번 포스팅에 이어, 실제로 에어플로우를 어떻게 구현하고, 사용하는지에 대해 알아보자! TODO list도커 컴포즈로 Airflow 올리는 이유커스텀 airflow 이미지 만들기도커 컴포즈 yaml 파일 만들9unu.tistory.com TODO ListAirflow Sensoroperator 필요성기본 레디스 센서의 작동 방식 (poke 등)커스텀 센서 구현 방법마무리1. Airflow Sensor operator 필요성기본적으로 A..