저번 포스팅에서 도커 스웜을 구축하는 방법에 대해 포스팅했으니,이번 포스팅에선 도커 스웜을 활용하여 스파크 클러스터를 구축하는 방법에 대해 포스팅하려한다.아직 스파크 기본 개념과 도커 스웜에 대한 포스팅을 못 본 분들은 여기..https://9unu.tistory.com/32 [Spark] 스파크...왜 쓰는걸까? (하둡부터 스파크까지)지금까지는 전체적인 데이터 파이프라인 작업을 관리하는 Airflow에 대해 알아봤으니,이번엔 작업 들 중 '분산 데이터 처리'의 대명사로 불리는 Spark에 대한 포스팅을 시작해보려한다.당연히 이번9unu.tistory.comhttps://9unu.tistory.com/33TODO list1. 도커 스웜과 스파크 클러스터의 관계 복기2. 커스텀 스파크 이미지 생성3. 스파..

이전 포스팅에서 스파크 기본 이론에 대해 다뤄놓고 갑자기 도커?라고 생각할 수 있다.하지만 이 글을 다 읽고 나면, 아 이래서 도커 스웜을 다뤘구나~라고 이해하게 될 것이다.아직 스파크 기본 개념에 대한 포스팅을 못 본 분들은 여기..https://9unu.tistory.com/32 TODO list도커 스웜과 도커 컴포즈의 차이도커 스웜의 개념도커 스웜 세팅법 (포트 개방 매니저 연결)도커 서비스 배포 (service create, stack 배포)마무리1. 도커 스웜과 도커 컴포즈의 차이도커 스웜 (Docker Swarm)은 이름에서도 알 수 있듯,docker = 도커 컨테이너swarm = '무리' or '집단'즉, 컨테이너 집단을 관리하는 것을 의미한다.'그럼 도커 컴포즈랑 다를게 뭐야?' 예전 포..