Module 9

Evidently AI로 데이터 드리프트 감지

MLOps 과정 | 직접 구현 → 전문 도구로 교체

지금까지 배운 것

직접 구현 vs Evidently

Evidently AI란?

• GitHub Stars: 7,300+
• MLOps 표준 도구로 자리잡음
• 데이터 드리프트 감지 분야에서 가장 널리 사용
• Evidently Cloud (SaaS)도 제공

3가지만 알면 됩니다

통계 검정을 자동으로 선택

설치

pip install evidently

# 설치 확인
python -c "import evidently; print(evidently.__version__)"
# 출력: 0.7.21

핵심 코드 5줄

import pandas as pd
from evidently import Report
from evidently.presets import DataDriftPreset

# 데이터 로드
train_df = pd.read_csv("data/loan_data.csv")
pred_df  = pd.read_csv("data/prediction_logs.csv")

feature_cols = ["나이", "연소득", "근속연수", "신용점수",
                "기존대출건수", "연간카드사용액", "부채비율",
                "대출신청액", "대출기간",
                "성별", "주거형태", "대출목적", "상환방식"]

ref = train_df[feature_cols]   # Reference (학습)
cur = pred_df[feature_cols]    # Current (운영)

# === 이 3줄이 전부입니다! ===
report = Report(metrics=[DataDriftPreset()])
snapshot = report.run(reference_data=ref, current_data=cur)
snapshot.save_html("drift_report.html")

핵심 3줄 해석

# 1. Report 객체 생성 — "어떤 분석을 할지" 지정
report = Report(metrics=[DataDriftPreset()])

# 2. 분석 실행 — Reference와 Current를 비교
#    Snapshot 객체가 반환됨
snapshot = report.run(reference_data=ref, current_data=cur)

# 3. HTML 리포트 저장
snapshot.save_html("drift_report.html")

import 경로 주의!

from evidently import Report
from evidently.presets import DataDriftPreset

from evidently.report import Report
from evidently.metric_preset import DataDriftPreset

detect_drift_evidently.py 실행

cd 01-loan-api-server
python detect_drift_evidently.py

실행 결과

HTML 리포트

• 전체 드리프트 요약 — 몇 개 피처에서 감지됐는지
• 피처별 분포 비교 그래프 — Reference vs Current 히스토그램
• 통계 검정 결과 — 검정 방법, 점수
• 드리프트 여부 — 피처별 DRIFT / OK

결과 추출: metric_results

import re

for key, val in snapshot.metric_results.items():
    # "Value drift for 나이" 형태의 결과만 추출
    if val.display_name.startswith("Value drift for "):
        col_name = val.display_name.replace("Value drift for ", "")

        # widget에서 드리프트 정보 추출
        label = val.widget[0].params["counters"][0]["label"]
        is_drift = "detected" in label and "not detected" not in label

        method = re.search(r"method: (.+?)\.", label).group(1)
        score = float(re.search(r"score: (.+?)$", label).group(1))

        print(f"{col_name}: {'DRIFT!' if is_drift else 'OK'}")

widget label 해석

v0.7 API 주의점

# 전체 드리프트 비율 가져오기
for key, val in snapshot.metric_results.items():
    if val.display_name == "Count of Drifted Columns":
        # get_share()는 SingleValue 객체를 반환!
        # 반드시 .value를 붙여야 합니다

        drift_share = val.get_share().value   # 0.846
        drift_count = val.get_count().value   # 11.0

share = val.get_share()
# SingleValue 객체 → float 변환 불가!

share = val.get_share().value
# 0.846 → 정상!

1단계만 교체하면 됩니다

교체 후 실행 순서

cd 01-loan-api-server

# 1. 드리프트 감지 (Evidently 버전)
python detect_drift_evidently.py

# → drift_report.html을 브라우저에서 열어 확인

# 2. 재학습 필요시
python retrain.py

# 3. 배포 결정시
python deploy_model.py

다양한 분석 Preset

여러 Preset 동시 사용

from evidently import Report
from evidently.presets import DataDriftPreset, DataQualityPreset

# 여러 Preset을 동시에 사용 가능
report = Report(metrics=[
    DataDriftPreset(),
    DataQualityPreset(),
])
snapshot = report.run(reference_data=ref, current_data=cur)
snapshot.save_html("full_report.html")

Module 9 정리

• Evidently AI = 현업 표준 드리프트 감지 도구
• 핵심 코드 3줄이면 드리프트 감지 가능
• 통계 검정을 자동 선택 (Wasserstein, KS, Jensen-Shannon)
• HTML 리포트로 시각적 분석 가능
• 기존 파이프라인에서 1단계만 교체하면 적용 완료
• import 경로: from evidently import Report

실습

cd 01-loan-api-server

# 1. Evidently 설치
pip install evidently

# 2. 드리프트 감지 실행
python detect_drift_evidently.py

# 3. HTML 리포트 확인
# drift_report.html을 브라우저에서 열기

# 4. 재학습이 필요하면
python retrain.py
python deploy_model.py