[PostgreSQL] 안쓰는 노트북으로 데이터베이스 서버 만들기! TODO ListLVM포트포워딩방화벽설정Postgresql 설정 파일 수정 (postgresql.conf, pg_hba.conf)이전 포스팅에서는 AWS에서 클라우드 서버로 Postgresql 서버를 만들고, 크롤러와 연동하는 내용을 다뤘었다.하지만 프리티어, 즉 무료로 사용할 수 있는 데이터베이스 용량은 매우 매우 매우 부족하다.뭐 간단한 유저 정보 관리 용으로 만든 데이터베이스라면 가능하겠다만,필자는 매일 항공권 데이터를 수집하기 때문에 이정도의 용량으로는 터무니 없이 부족했다. (기억상 20기가정도가 max였던거로 기억함)그래서 지금은 클라우드에서 VPC, 방화벽 설정해본 경험을 토대로, 직접 홈서버를 구현해 약 2테라 정도까지 사..

TODO list전체적인 개념 비유CPU 이론RAM 이론SSD, HDD 비교서론이번에는 잠깐 기초중에 기초 CS 지식인 CPU, RAM, SSD, HDD,더 나아가서 스왑 메모리와 스왑 메모리 설정하는 방법까지 설명하고자한다.실제로 GCP, AWS와 같은 클라우드 서비스를 사용하지 않고, 자신의 노트북, PC로만 개발을 하는 경우에는 CPU, 메모리 성능이 부족하다고 느끼기 어렵다.현대의 대부분의 대학생들, 특히 SW 전공 학부생들은 아무리 낮아도 4코어 CPU, 8기가의 메모리, 256기가 SSD가 달린 노트북을 구매하기 때문에 학부 수준의 과제, 프로젝트를 수행하는데에는 큰 무리 없이 수행되는 경우가 많다.(그나마 게임이 끊긴다고 느껴도 그냥 노트북 사양이 낮다고 생각할 뿐 CPU, 메모리 때문이라고..

[Docker] 도커 컴포즈? 그냥 컨테이너 동시에 올리는거 아니야?TODO List도커 컴포즈 필요성도커 컴포즈 파일 작성법 (docker_compose.yml)도커 컴포즈 관련 명령어 이전 포스트에서 도커 이미지를 빌드하고 실행(컨테이너화)하는 방법에 대해 알아보았다.이번에 설명할 도커 기능은 도커 컴포즈이다.이전과 마찬가지로 도커 컴포즈에 대해 공부하기 전에, 먼저 왜 필요한지를 이해해보자. 1. Docker Compose 필요성Docker compose의 필요성을 설명하기 위해서는 이전 포스팅에 언급했던"VM 활용 가상화와 컨테이너 활용 가상화의 차이"를 다시 되돌아볼 필요가 있다.VM은 각각의 하이퍼바이저 (OS빌드를 위한 기초)위에 각각의 OS를 올리고, 그 위에 앱을 실행하고컨테이너는 동일한..

Todo list도커 컨테이너 이론도커 파일 작성법도커 이미지 빌드도커 컨테이너 실행도커는 학부 시절 수강했던 마이크로서비스 프로그래밍 과목에서 맨 처음 접했던 기술 스택이다.수업에서는 '도커 컨테이너 두개를 올리고, 두 컨테이너간 무언가를 주고 받는 프로그램'을 만드는 것이 과제였고, 나는 A 컨테이너에서 검색할 제품을 넘기면, B컨테이너에서 해당 제품의 정보를 쿠팡 웹사이트에서 크롤링하여 CSV파일로 반환해주는 프로그램을 구현했다.처음 과제를 완성했을 때는 오 그냥 좀 신기하네..? 정도였는데,이후에 개인 프로젝트에서 개발한 서비스를 배포하면서 도커의 참맛을 깨달았다.Nginx와 Django 이미지를 도커 컴포즈로 빌드하기만하면 서비스가 돌아가고, 수정이 필요할때는 도커 허브에서 이미지를 pull 받..

실무...하면 대표적인 키워드 병렬처리... 특히 빅데이터가 핫해진 이유로 꼽히는 하둡도, 분산 처리 플랫폼... 결국 핵심은'백지장도 맞들면 낫다'이다. 한 사람이 1시간 걸리는 작업을두 사람이 하면 30분만에 끝낼 수 있다는 것즉, 소요 시간이 줄어든다는 것이다.그럼 무조건 병렬처리하면 좋은거 아닌가?이건 명백히 틀렸다.본인은 학부생시절 CPU, RAM 빵빵한 노트북, 데스크탑에서 개발을 진행할 때는 별 생각 없이 병렬처리로 코드를 구현했다.하지만 GCP, AWS와 같은 클라우드 서비스에서 1~2코어에 2기가 램을 가진 가상 머신에서 프로그램을 돌리면서병렬 처리의 Trade-off를 뼈저리게 깨달았다. 본론으로 돌아와서, 앞에서 말했듯 병렬처리는 기본적으로 '일하는 사람을 늘려서 소요 시간을 줄인다'..

TODO LISTEC2 가상 머신 생성RDS와 보안 그룹 공유 설정크롤러 배포1. EC2 가상 머신 생성→ 내 컴퓨터 (가상머신) 이름 (별명) 내 컴퓨터에서 사용할 os (운영체제)다양한 os를 선택할 수 있지만, 가상 머신(서버)에서 주로 사용되는 운영체제는 ubuntu(리눅스)임오픈 소스 → 오류 및 예외 상황에 대한 커뮤니티 활성화 (높음)터미널 기반 조작에 매우 친화적 (CLI)이미지는 os의 버전을 선택할 수 있음 (가장 최신 버전보다는 바로 이전 버전을 선호 → 최신버전은 아직 버그에 대한 내용이 밝혀지지 않은 경우가 많음)아키텍처는 프로세서 종류 x86, ARM 프로세서 ⇒ 이건 자신의 개발 상황에 맞춰서 진행하는걸 추천 (프로세서 및 os 불일치로 인해 내 노트북에서는 돌아가던게 가상머신..

TODO LIST아마존 클라우드 서비스 가입아마존 RDS 인스턴스 생성로컬 크롤러 연동1. 아마존 클라우드 프리티어 가입링크 : https://aws.amazon.com/ko/free 무료 클라우드 컴퓨팅 서비스 - AWS 프리 티어이러한 프리 티어 혜택은 AWS 신규 고객에게만 제공되며 AWS 가입일로부터 12개월 동안 유효합니다. 12개월의 무료 사용 기간이 만료되거나 애플리케이션 사용량이 프리 티어 범위를 초과할 경우aws.amazon.com  회원 가입 절차는 설명 생략! (이메일, 카드 등록, 주소... 착실히 입력하면 된다!)  회원 가입 완료!2. RDS 인스턴스 생성콘솔 홈 접속 : https://ap-northeast-2.console.aws.amazon.com/console/home h..

TODO LIST학교 이메일로 Tableau 무료 설치로컬 DB 연동대시보드 구현1. Tableau Desktop 설치설치 링크 : https://www.tableau.com/ko-kr/academic/students 학생용 Tableau끊임없이 변화하는 AI와 기술의 세계에서 새로운 도구를 습득하는 일이 엄청난 부담감으로 작용할 수 있다는 점을 잘 알고 있습니다. 바로 시작해 Tableau 역량을 쌓고 커뮤니티에 대해 알아보려www.tableau.com 2. 자기가 선택한 DB 서버에 연결그 전에 DB 연결시에 필요한 드라이버 설치가 필요함(mac os 기준)드라이버 설치 경로 : https://www.tableau.com/ko-kr/support/drivers?edition=pro&lang=ko-kr..