2. 설치 및 셋업 (WSL2 / Docker / Airflow)

데이터를 흘려보내긴 쉽지 않지만 그래도 설치는 해봐야하지 않겠는가!

 

설치는 당연히 docker위에 올리는게 나을 것 같다. (유지보수, 재설치 비용 등을 감안하여..)

리눅스 환경은 어렵게 가지말고 윈도우의 wsl을 써보기로 했다. 

 

일단 Windows 기능 켜기/끄기에서 Linux 관련 기능을 켜준 후 

Microsoft Store에서 Ubuntu를 찾아서 설치해주면 된다. 

도커는 이미 정리했으니 참고

https://push-and-sleep.tistory.com/4?category=863590

설치, 기초명령어 1편

docker compose도 설치하자

https://push-and-sleep.tistory.com/6?category=863590 

Compose

 

docker 공부할때 배운대로 yml 작성해서 up시키자. 

docker-compose up -d

스크립트는 참고 링크에서 알려준대로..

https://github.com/tuanavu/airflow-tutorial/tree/v0.2

version: '3'
services:
  postgres:
    image: postgres:9.6
    environment:
      - POSTGRES_USER=airflow
      - POSTGRES_PASSWORD=airflow
      - POSTGRES_DB=airflow
    ports:
      - "5432:5432"

  webserver:
    image: puckel/docker-airflow:1.10.1
    build:
      context: https://github.com/puckel/docker-airflow.git#1.10.1
      dockerfile: Dockerfile
      args:
        AIRFLOW_DEPS: gcp_api,s3
        PYTHON_DEPS: sqlalchemy==1.2.0
    restart: always
    depends_on:
      - postgres
    environment:
      - LOAD_EX=n
      - EXECUTOR=Local
      - FERNET_KEY=jsDPRErfv8Z_eVTnGfF8ywd19j4pyqE3NpdUBA_oRTo=
    volumes:
      - ./examples/intro-example/dags:/usr/local/airflow/dags
      # Uncomment to include custom plugins
      # - ./plugins:/usr/local/airflow/plugins
    ports:
      - "8080:8080"
    command: webserver
    healthcheck:
      test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
      interval: 30s
      timeout: 30s
      retries: 3

 

역시나 바로 안되고 에러가 난다. 

좀 찾아보니 윈도우에서는 도커 데스크탑을 깔아라고 한다. 

도커 데스크탑 없이 해보려고 시도해봤는데 잘 안된다. 그냥 깔고 하자. 

https://docs.microsoft.com/ko-kr/windows/wsl/tutorials/wsl-containers

WSL에서 Docker 컨테이너 시작

 

엄청 삽질했는데 ubuntu를 먼저 설치하고 docker desktop을 설치하면 

docker desktop > settings > resources > wsl integration에서 ubuntu가 나오지 않는다. 

ubuntu를 지운 후 다시 설치하니 이제 잡힌다. 

 

 

그러고나서 해보니 잘 된다. 

 

 

 

참고: https://www.youtube.com/watch?v=vvr_WNzEXBE