Module 7

데이터 드리프트 & 재학습

MLOps 과정 | 배포 이후의 모델 관리

데이터 드리프트 감지 & 재학습 판단

배포 이후, 모델 성능은 왜 떨어지는가?

드리프트(Drift) 개념

경기 침체 시나리오

PSI (Population Stability Index)

PSI 계산 코드

import numpy as np

def calculate_psi(baseline, current, bins=10):
    """PSI (Population Stability Index) 계산"""
    # 기준 데이터로 구간(bin) 경계 생성
    breakpoints = np.percentile(baseline, np.linspace(0, 100, bins + 1))

    # 각 구간별 비율 계산
    baseline_counts = np.histogram(baseline, bins=breakpoints)[0]
    current_counts = np.histogram(current, bins=breakpoints)[0]

    # 비율로 변환 (0 방지)
    baseline_pct = (baseline_counts + 1) / (len(baseline) + bins)
    current_pct = (current_counts + 1) / (len(current) + bins)

    # PSI 공식: Σ (P_i - Q_i) × ln(P_i / Q_i)
    psi = np.sum((current_pct - baseline_pct) * np.log(current_pct / baseline_pct))
    return psi

피처별 드리프트 리포트

========== 드리프트 리포트 ==========

Feature               PSI       Status
─────────────────────────────────────
annual_income         0.4821    ⚠ DRIFT
loan_amount           0.3217    ⚠ DRIFT
debt_to_income        0.2894    ⚠ DRIFT
credit_score          0.1932    ⚡ WARNING
employment_years      0.1547    ⚡ WARNING
interest_rate         0.0823    ✅ STABLE
─────────────────────────────────────

드리프트 감지: 3개 피처 (PSI > 0.25)
주의 필요: 2개 피처 (PSI 0.1~0.25)
안정: 1개 피처 (PSI < 0.1)

PSI 시각화

plt.axhline(y=0.25, color='red', linestyle='--', label='Drift')
plt.axhline(y=0.1, color='orange', linestyle='--', label='Warning')

운영 데이터는 어디서 오는가?

CloudWatch → 드리프트 감지

방법 2: S3 자동 내보내기

재학습 판단 흐름

# 드리프트 판단 로직
psi = calculate_psi(baseline_data, current_data)

if psi > 0.25:
    print("⚠ 드리프트 감지! 재학습 필요")
    send_slack_alert(f"PSI = {psi:.4f} → 재학습 트리거")
    trigger_retraining()
elif psi > 0.1:
    print("⚡ 주의: 분포 변화 감지")
else:
    print("✅ 안정: 분포 변화 없음")

재학습 후 성능 비교

# 기존 모델 vs 새 모델 성능 비교
old_auc = evaluate_model(old_model, test_data)  # 예: 0.72
new_auc = evaluate_model(new_model, test_data)  # 예: 0.89

print(f"기존 모델 AUC: {old_auc:.4f}")
print(f"새 모델 AUC:   {new_auc:.4f}")

if new_auc > old_auc:
    print("✅ 새 모델이 더 좋음 → 배포 진행")
    deploy_model(new_model)
else:
    print("⚠ 기존 모델 유지 (새 모델 성능 부족)")

모델 배포 방식 비교

S3 모델 로딩 코드

import joblib

model = joblib.load(
    'models/loan_pipeline.pkl'
)

import boto3
import joblib

s3 = boto3.client('s3')

s3.download_file(
    'my-model-bucket',
    'models/loan_pipeline.pkl',
    '/tmp/loan_pipeline.pkl'
)

model = joblib.load(
    '/tmp/loan_pipeline.pkl'
)

lifespan에서 한 번만 로드

from contextlib import asynccontextmanager
import boto3, joblib

@asynccontextmanager
async def lifespan(app):
    # 시작 시 S3에서 모델 다운로드
    s3 = boto3.client('s3')
    s3.download_file('my-bucket', 'models/latest.pkl', '/tmp/model.pkl')
    app.state.model = joblib.load('/tmp/model.pkl')
    print("✅ S3에서 모델 로드 완료")
    yield

app = FastAPI(lifespan=lifespan)

S3 → Lambda → ECS 자동 재배포

Airflow란?

Airflow DAG 코드 예시

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

dag = DAG(
    'drift_detection',
    schedule_interval='@daily',        # 매일 실행
    start_date=datetime(2025, 1, 1),
)

t1 = PythonOperator(task_id='fetch_logs',       python_callable=fetch_logs,       dag=dag)
t2 = PythonOperator(task_id='calculate_drift',  python_callable=calculate_drift,  dag=dag)
t3 = PythonOperator(task_id='check_and_alert',  python_callable=check_and_alert,  dag=dag)
t4 = PythonOperator(task_id='retrain',          python_callable=retrain_model,    dag=dag)

t1 >> t2 >> t3 >> t4

t1 >> t2 >> t3 >> t4

# 아래 두 줄은 동일한 의미
t1 >> t2 >> t3 >> t4

t1.set_downstream(t2)
t2.set_downstream(t3)
t3.set_downstream(t4)

우리 실습 vs Airflow

MLOps 운영 자동화 전체 사이클

Module 7 정리

• 드리프트 = 입력 데이터 분포 변화
• PSI = 금융권 표준 드리프트 지표
• 예측 로그에서 운영 데이터 수집
• 재학습 후 성능 비교 → 더 좋을 때만 배포
• 실무에서는 S3 + ECS 재시작으로 모델 교체
• Airflow로 전체 흐름 자동화

재학습 자동화 파이프라인

retrain.py 구조

S3 + Lambda = 자동 배포

# Lambda 함수 (model-update-trigger)
import boto3

def lambda_handler(event, context):
    ecs = boto3.client('ecs')
    ecs.update_service(
        cluster='mlops-cluster',
        service='loan-api-service',
        forceNewDeployment=True,
    )
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = event['Records'][0]['s3']['object']['key']
    print(f'모델 업데이트: s3://{bucket}/{key}')
    return {'statusCode': 200}

model.py 수정 — S3에서 모델 로드

def load(self, model_dir='models'):
    s3_bucket = os.environ.get('MODEL_S3_BUCKET')
    s3_prefix = os.environ.get('MODEL_S3_PREFIX', 'loan-api')

    if s3_bucket:
        # S3에서 모델 다운로드
        s3 = boto3.client('s3')
        for fname in ['loan_pipeline.pkl',
                      'label_encoders.pkl',
                      'feature_names.pkl']:
            s3.download_file(s3_bucket,
                f'{s3_prefix}/{fname}',
                os.path.join(model_dir, fname))
            logger.info(f'S3 다운로드: {fname}')

    # 로컬에서 로드 (S3 다운로드 후 or 기존 로컬 파일)
    self.pipeline = joblib.load(f'{model_dir}/loan_pipeline.pkl')
    self.label_encoders = joblib.load(f'{model_dir}/label_encoders.pkl')

현업 자동화 수준

데모: retrain.py 실행

$ python scripts/retrain.py

2026-03-24 16:30:00 [INFO] ============================================================
2026-03-24 16:30:00 [INFO]   재학습 파이프라인 시작 (버전: v20260324_163000)
2026-03-24 16:30:00 [INFO] ============================================================
2026-03-24 16:30:00 [INFO] [Slack 알림] 재학습 파이프라인 시작

2026-03-24 16:30:00 [INFO] [1/4] 데이터 로드
2026-03-24 16:30:00 [INFO] 학습 데이터: 10000건 (승인율 61.3%)
2026-03-24 16:30:00 [INFO] 예측 로그:   2847건  (승인율 8.2%)
2026-03-24 16:30:00 [INFO] 결합 데이터: 12847건

2026-03-24 16:30:02 [INFO] [2/4] 모델 학습 & 성능 비교
2026-03-24 16:30:02 [INFO]   기존 모델: AUC = 0.9234
2026-03-24 16:30:03 [INFO]   새 모델:   AUC = 0.9312 (+0.0078)

2026-03-24 16:30:03 [INFO]   Feature Importance Top 5:
2026-03-24 16:30:03 [INFO]     1. 신용점수: 0.2841
2026-03-24 16:30:03 [INFO]     2. 연소득: 0.1923
2026-03-24 16:30:03 [INFO]     3. 부채비율: 0.1547

2026-03-24 16:30:03 [INFO] [3/4] 배포 판정
2026-03-24 16:30:03 [INFO]   PASS: 배포 기준 충족

2026-03-24 16:30:03 [INFO] [4/4] 모델 저장 & 배포
2026-03-24 16:30:04 [INFO]   S3 업로드 완료!
2026-03-24 16:30:04 [INFO]   -> Lambda -> ECS 자동 재시작
2026-03-24 16:30:04 [INFO] [Slack 알림] 새 모델 배포 완료!