Module 11

Airflow로 MLOps 파이프라인 자동화

MLOps 과정 | 드리프트 감지 → 재학습 → 배포를 자동으로

지금까지의 문제점

# 매번 이걸 직접 쳐야 함
python detect_drift_evidently.py    # 드리프트 확인
python retrain_mlflow.py            # 재학습
python deploy_model.py              # 배포

• 새벽에 드리프트 발생하면? → 다음 날 출근해서야 발견
• 주말에 발생하면? → 월요일까지 모름
• 실행 순서를 잘못 하면? → 재학습 전에 배포할 수도

Airflow = 작업 스케줄러

전체 흐름에서의 위치

3가지만 알면 됩니다

>> 연산자 = "다음 작업"

detect_drift >> check_drift >> retrain_model >> deploy_model

설치 & 실행

# 설치
pip install apache-airflow

# 초기화 (최초 1회)
airflow db init

# 관리자 계정 생성
airflow users create \
  --username admin --password admin \
  --firstname Admin --lastname User \
  --role Admin --email admin@example.com

# 터미널 1: 웹 서버
airflow webserver --port 8080

# 터미널 2: 스케줄러
airflow scheduler

자동화할 흐름

DAG 전체 코드 (이게 전부!)

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.bash import BashOperator

PROJECT_DIR = "/home/사용자/01-loan-api-server"

with DAG(
    dag_id="mlops_drift_retrain_deploy",
    schedule="0 0 * * *",   # 매일 자정(UTC) = 오전 9시
    start_date=datetime(2026, 1, 1),
    catchup=False,
    default_args={"retries": 1, "retry_delay": timedelta(minutes=5)},
) as dag:

    detect_drift = BashOperator(
        task_id="detect_drift",
        bash_command=f"cd {PROJECT_DIR} && python detect_drift_evidently.py",
    )
    retrain = BashOperator(
        task_id="retrain",
        bash_command=f"cd {PROJECT_DIR} && python retrain_mlflow.py",
    )
    deploy = BashOperator(
        task_id="deploy",
        bash_command=f"cd {PROJECT_DIR} && echo 'y' | python deploy_model.py",
    )

    detect_drift >> retrain >> deploy

BashOperator = 터미널 명령 그대로

실행 순서: 이 한 줄이면 끝

# 감지 끝나면 → 재학습, 재학습 끝나면 → 배포
detect_drift >> retrain >> deploy

시나리오 1: 전부 성공

시나리오 2: 중간에 실패

판단 로직은 어디에?

Airflow UI에서 볼 수 있는 것

테스트: 수동 실행

# UI에서: "Trigger DAG" 버튼 (재생 아이콘) 클릭

# 또는 CLI에서:
airflow dags trigger mlops_drift_retrain_deploy

완성된 MLOps 파이프라인

Module 11 정리

실습

# 1. Airflow 설치 & 초기화
pip install apache-airflow
airflow db init

# 2. DAG 파일 복사
cp mlops_pipeline_dag.py ~/airflow/dags/

# 3. Airflow 실행 (터미널 2개)
airflow webserver --port 8080
airflow scheduler

# 4. UI에서 DAG 확인 & 수동 실행
# http://localhost:8080