Aust_Coconut Aust_Coconut

이번 포스팅에선 Linux(Ubuntu)에서 MySQL과 연동된 Airflow 환경을 구축해 보겠습니다. 다루는 내용 - Airflow 설치 - Airflow 연동을 위한 MySQL 설정 - Airflow 초기화 - Airflow Schedular 및 Webserver 실행 선행 내용 python과 pip이 아직 세팅되어 있지 않다면, 아래 게시글을 참고하세요. 2020/01/04 - [무작정 따라 하기] - [무작정 따라 하기] Linux(Ubuntu)에서 Python 개발 환경 구축 (python3 설치, pip 설치) MySQL이 아직 세팅되어 있지 않다면, 아래 게시글을 참고하세요. 2020/01/08 - [무작정 따라 하기] - [무작정 따라 하기] Linux(Ubuntu)에서 MySQL 서버 ..

관련 게시물 2020/08/27 - [분류 전체보기] - [무작정 따라하기] Linux(Ubuntu) 환경에서 Airflow 구축하기 0. Error Environment OS : Ubuntu 18.04 LTS 1. Problem airflow에서 MySQL 연결 설정을 시도할 경우 발생 (ubuntu)$ airflow initdb 2. Why? MySQL에 전역변수 explicit_defaults_for_timestamp가 설정되지 않아서 발생하는 문제. 3. Solution MySQL 설정을 수정합니다. (ubuntu)$ vim /etc/mysql/mysql.conf.d/mysqld.cnf 아래 내용을 추가한다. explicit_defaults_for_timestamp = 1 MySQL을 다시 시작한..

Docker 컨테이너 도커 컨테이너는 이미지를 바탕으로 만들어집니다. 도커 컨테이너는 파일 시스템과 애플리케이션이 함께 담겨 있는 박스라고 생각하면 됩니다. 도커 컨테이너는 실행, 정지, 파기의 3가지 상태의 생애주기를 갖습니다. 실행 docker container run 명령의 인자로 지정된 도커 이미지를 기반으로 컨테이너가 생성되면 이미지를 생성했던 Dockerfile에 포함된 CMD 및 ENTRYPOINT 인스트럭션에 정의된 애플리케이션이 실행됩니다. 이는 곧 컨테이너의 실행 상태입니다. 정지 실행 중 상태에 있는 컨테이너를 사용자가 명시적으로 정지하거나 컨테이너에서 실행된 애플리케이션이 정상/오류 종료된 경우에는 컨테이너가 자동으로 정지 상태가 됩니다. 컨테이너가 정지되면 가상 환경에서는 더 이상..

Docker 이미지 도커 이미지는 운영 체제로 구성된 파일 시스템, 애플리케이션과 의존 라이브러리, 실행 환경의 설정 정보를 포함한 아카이브입니다. Dockerfile 자체가 도커 이미지를 의미하는 것은 아니며, 도커 이미지 구성을 설명하는 코드라고 생각하면 됩니다. 도커 이미지는 컨테이너를 만들기 위한 템플릿입니다. 1. 이미지 검색 : docker search $ docker search [options] 검색_키워드 도커 허브(Docker Hub)는 도커 이미지 레지스트리로, github처럼 리포지토리를 만들고 이를 통해 도커 이미지를 관리할 수 있습니다. 도커 허브에는 모든 이미지의 기반이 되는 운영체제 리포지토리, 언어 런타임이나 유명 미들웨어 이미지 등이 관리되는 수많은 리포지토리가 있습니다...

이번 포스팅은 Linux(Ubuntu) 환경에서 MySQL 환경을 구축해보고 MySQL에 대해 감을 잡을 수 있도록 간단하게 테이블과 레코드 생성 및 조회, db import를 해보겠습니다. 다루는 내용 - MySQL 설치 - MySQL 테이블, 레코드 생성 및 조회 - .sql 파일로부터 db import - 계정 비밀번호 설정 - 포트 설정 실행 환경 OS : Ubuntu 18.04 LTS 1. MySQL 패키지 설치 및 서버 실행 MySQL 우분투 패키지를 설치합니다. (ubuntu)$ apt-get install mysql-server mysql-client 아래 명령어로 설치 유무와 버전을 확인해줍니다. (ubuntu)$ mysql --version 아래 명령어로 MySQL 서버를 실행합니다. ..

이번 포스팅은 Linux(Ubuntu) 환경에서 Jupyter Notebook 서버 환경을 구축해보겠습니다. 선행 내용python과 pip이 아직 세팅되어 있지 않다면, 아래 게시글을 참고하세요.2020/01/04 - [무작정 따라 하기] - [무작정 따라 하기] Linux(Ubuntu)에서 Python 개발 환경 구축 (python3 설치, pip 설치) 실행 환경OS : Ubuntu 18.04 LTSPython : Python 3.6.9pip : pip 19.3.1 1. Jupyter 패키지 설치pip를 이용하여 jupyter 패키지를 설치합니다.(ubuntu)$ pip install jupyter아래 명령어를 통해, 설치 유무와 버전을 확인합니다.(ubuntu)$ jupyter --version 2..

관련 게시물[무작정 따라 하기] Linux(Ubuntu)에서 Jupyer Notebook 서버 환경 구축0. Error EnvironmentOS : Ubuntu 18.04 LTSPython : Python 3.6.9Jupyter : jupyter core 4.6.1, jupyter-notebook 6.0.2 1. Problem(ubuntu)$ jupyter notebook --allow-rootjupyter 실행을 위해 위 명령어를 입력하면 아래 사진과 같이 OSError: [Errno 99] Cannot assign requested address 에러가 발생한다. 2. Why?실행되는 jupyter notebook의 접속 ip 규칙 설정을 해주지 않아서 발생하는 문제입니다.3. Solutionjupy..

관련 게시물 2020/01/04 - [무작정 따라 하기] - [무작정 따라 하기] Linux(Ubuntu)에서 Python 개발 환경 구축 0. Error Environment OS : Ubuntu 18.04 LTS Python : Python 3.6.9 1. Problem pip(파이썬 패키지 관리자)를 우분투 환경에 설치하기 위해 아래 명령어를 통해 get-pip.py 파일을 다운로드하였습니다. (ubuntu)$ wget https://bootstrap.pypa.io/get-pip.py 이후 이 파일을 실행하여 pip를 설치 시도하였으나 아래 사진과 같이 ModuleNotFoundError: No module named 'distutils.util'라는 에러가 발생합니다. (ubuntu)$ pytho..