Amazon SageMaker Clarify

Mục lục

1. Tổng quan

Dịch vụ dùng để phát hiện thiên vị (bias) trong các mô hình ML và giải thích các dự đoán (khả năng diễn giải mô hình - model explainability).

2. Phát hiện thiên vị (Bias Detection) #core

2.1 Thiên vị trong bối cảnh SageMaker Clarify là gì?

Định nghĩa: Sự bất công mang tính hệ thống trong các dự đoán của mô hình ML liên quan đến các thuộc tính nhạy cảm (sensitive attributes / protected characteristics).

Các thuộc tính nhạy cảm (Facets):

  • Tuổi tác, Giới tính, Chủng tộc, Sắc tộc
  • Tôn giáo, Tình trạng khuyết tật
  • Tình trạng hôn nhân, Xu hướng tính dục
  • Vị trí địa lý

2.2 Các loại Bias mà Clarify phát hiện

Thiên vị trước huấn luyện (Pre-training Bias / Data Bias)

Sự thiên vị trong dữ liệu huấn luyện trước khi mô hình được train.

Các số đo (Metrics):

  • Class Imbalance (CI) - Sự phân bố nhãn không đồng đều
    • CI = (n_positive - n_negative) / (n_positive + n_negative)
    • Khoảng giá trị: [-1, 1], mức lý tưởng = 0
  • Difference in Proportions of Labels (DPL)
    • So sánh tỷ lệ kết quả tích cực (positive outcome) giữa các nhóm
    • DPL = P(y=1 d=1) - P(y=1 d=0)
    • Ví dụ: Tỷ lệ phê duyệt 70% cho nhóm A so với 30% cho nhóm B
  • Kullback-Leibler Divergence (KL)
    • Đo lường sự khác biệt về phân phối (distribution) giữa các facets
  • Jensen-Shannon Divergence (JS)
    • Phiên bản đối xứng của KL divergence

Thiên vị sau huấn luyện (Post-training Bias / Model Bias)

Sự thiên vị trong các dự đoán của mô hình sau khi train.

Các số đo (Metrics):

  • Difference in Predicted Labels (DPL)
    • So sánh tỷ lệ dự đoán giữa các nhóm
  • Disparate Impact (DI) #exam-tip
    • Tỷ lệ giữa các dự đoán tích cực (positive predictions) giữa các nhóm
    • DI = P(y’=1 d=1) / P(y’=1 d=0)
    • Khoảng giá trị: [0, ∞], mức lý tưởng = 1
    • Ngưỡng pháp lý (Legal threshold): DI < 0.8 có thể biểu hiện sự phân biệt đối xử (theo Ủy ban Cơ hội Việc làm Bình đẳng Hoa Kỳ)
  • Difference in Conditional Acceptance (DCA)
    • So sánh tỷ lệ chấp nhận (acceptance rates) trong những điều kiện nhất định
  • Conditional Demographic Disparity (CDD)
    • Đo lường sự chênh lệch dự đoán bên trong các nhóm phụ (subgroups)

2.3 Ví dụ về Bias #exam-tip

Kịch bản: Mô hình phê duyệt khoản vay

  • Thuộc tính nhạy cảm: Giới tính (Nam/Nữ)
  • Thiên vị trước huấn luyện (Data bias) phát hiện được:
    • Dữ liệu huấn luyện: 80% người nộp đơn nam được phê duyệt, 50% nữ được phê duyệt
    • DPL = 0.80 - 0.50 = 0.30 (biểu hiện sự thiên vị trong dữ liệu lịch sử)
  • Thiên vị sau huấn luyện (Model bias) phát hiện được:
    • Các dự đoán của mô hình: 75% nam được phê duyệt, 45% nữ được phê duyệt
    • Disparate Impact = 0.45/0.75 = 0.60 (dưới ngưỡng 0.8 → có khả năng phân biệt đối xử)
  • Hành động khắc phục: Huấn luyện lại với dữ liệu cân bằng, áp dụng các ràng buộc công bằng (fairness constraints), hoặc điều chỉnh ngưỡng quyết định (decision threshold)

3. Khả năng diễn giải mô hình

3.1 SHAP (SHapley Additive exPlanations) #exam-tip

  • Mục đích: Giải thích các dự đoán riêng lẻ (individual predictions)
  • Cách hoạt động:
    • Tính toán mức đóng góp của từng đặc trưng (feature) vào kết quả dự đoán
    • Dựa trên lý thuyết trò chơi (game theory - Shapley values)
    • Thể hiện tác động tích cực/tiêu cực của các features
  • Đầu ra (Output):
    • Điểm mức độ quan trọng của đặc trưng (Feature importance scores)
    • Trực quan hóa cho thấy features nào đã đẩy kết quả dự đoán lên/xuống
  • Ví dụ: Tại sao khoản vay bị từ chối? SHAP cho thấy: low_income (-0.3), high_debt_ratio (-0.2), young_age (-0.1)

3.2 Partial Dependence Plots (PDP)

  • Thể hiện mối quan hệ giữa feature và các dự đoán
  • Tác động biên (Marginal effect) của các features

4. Các điểm tích hợp (Integration Points) #hands-on

4.1 Khi nào nên dùng Clarify

  1. Trong quá trình phát triển mô hình - Phân tích thiên vị trong dữ liệu huấn luyện
  2. Trước khi triển khai - Xác thực tính công bằng (fairness) của mô hình
  3. Trên môi trường production - Giám sát liên tục với Model Monitor
  4. Để tuân thủ quy định (compliance) - Tạo các báo cáo giải thích (explainability reports)

4.2 Tích hợp với SageMaker

  • Clarify Processing Jobs - Chạy phân tích bias
  • Tích hợp Model Monitor - Giám sát bias liên tục
  • SageMaker Studio - Các báo cáo trực quan về bias
  • Clarify Explainability - Tạo các giá trị SHAP cho các dự đoán

5. Tips #exam-tip

  • Pre-training bias: Thiên vị trong dữ liệu (trước khi train)
  • Post-training bias: Thiên vị trong dự đoán của mô hình (sau khi train)
  • Disparate Impact < 0.8: Cảnh báo đỏ về mặt pháp lý (Legal red flag)
  • SHAP: Dùng để giải thích các dự đoán mang tính cá nhân (individual predictions)
  • Sử dụng Clarify cho: Các ngành công nghiệp bị quản lý chặt chẽ (tài chính, y tế, tuyển dụng)
  • Các số đo Bias: Nắm rõ sự khác biệt giữa DPL, DI, CI

6. Gotchas #gotcha

  • Clarify yêu cầu phải chỉ định rõ ràng các thuộc tính facet (nhạy cảm)
  • Việc phát hiện bias mang tính thống kê - không đảm bảo tuân thủ pháp lý
  • Phải định nghĩa thế nào là “kết quả có lợi” (favorable outcome) cho các metrics về bias
  • Việc tính toán SHAP có thể rất tốn kém (expensive) đối với các mô hình lớn