SageMaker JumpStart

Mục lục

1. Tổng quan

1.1 JumpStart là gì?

Định nghĩa: Các giải pháp ML dựng sẵn và các Foundation Models có thể được triển khai chỉ với một click chuột trong SageMaker Studio.

Khái niệm cốt lõi: Tăng tốc quá trình phát triển ML bằng cách bắt đầu với các mô hình đã được huấn luyện sẵn (pre-trained) và các mẫu giải pháp thay vì phải xây dựng lại từ đầu.

Các thành phần chính:

  1. Foundation Models - Các mô hình ngôn ngữ lớn (LLMs) và mô hình thị giác (vision models) đã được pre-trained (Llama 2, Falcon, BLOOM, Stable Diffusion)
  2. Solution Templates - Các giải pháp ML trọn gói (end-to-end) cho những bài toán phổ biến
  3. Hỗ trợ Fine-tuning - Tùy chỉnh các mô hình bằng dữ liệu của riêng bạn
  4. Triển khai 1-click - Triển khai ngay lập tức các mô hình thành endpoints

1.2 Các tính năng chính #exam-tip

1. Thư viện Foundation Models

  • Text Models: Llama 2, Llama 3, Falcon, BLOOM, Flan-T5, GPT-J
  • Đa phương thức (Multimodal): CLIP, Stable Diffusion (tạo ảnh từ văn bản)
  • Thị giác (Vision): Nhận diện đối tượng, các mô hình phân loại hình ảnh
  • Nguồn từ: Hugging Face, AI21, Cohere, Meta, Stability AI

2. Solution Templates

Các giải pháp end-to-end dựng sẵn cho:

  • Phát hiện gian lận (Fraud detection)
  • Bảo trì dự đoán (Predictive maintenance)
  • Dự báo nhu cầu (Demand forecasting)
  • Dự đoán tỷ lệ rời bỏ (Churn prediction)
  • Dự đoán rủi ro tín dụng (Credit risk prediction)
  • Gợi ý sản phẩm (Product recommendations)

3. Khả năng Fine-tuning

  • Fine-tune các foundation models trên dữ liệu của bạn
  • Bạn có thể tự mang dữ liệu huấn luyện của mình vào
  • Tự động thiết lập các training job
  • Ước tính chi phí trước khi bắt đầu huấn luyện

4. Triển khai 1-Click

  • Triển khai lên các SageMaker endpoints
  • Không yêu cầu viết code
  • Tự động thiết lập hạ tầng
  • Suy luận (Inference) ngay lập tức

1.3 JumpStart vs Bedrock #important #exam-tip

Khi nào nên dùng JumpStart:

✅ Chọn JumpStart khi:

  • Cần fine-tune các foundation models mã nguồn mở (như Llama, Falcon)
  • Muốn kiểm soát hoàn toàn việc triển khai mô hình (chọn loại instance, endpoints)
  • Cần sự tích hợp với SageMaker (như Pipelines, Experiments, Feature Store)
  • Muốn sử dụng các solution templates cho những bài toán ML phổ biến
  • Ưa thích các mô hình mã nguồn mở (không phải là các mô hình độc quyền)
  • Cần các tùy chọn triển khai tùy chỉnh (như cấu hình VPC, bảo mật)

Use Cases:

  • Fine-tune Llama 2 bằng dữ liệu nội bộ độc quyền
  • Triển khai Stable Diffusion để sinh hình ảnh
  • Sử dụng giải pháp phát hiện gian lận (fraud detection) dựng sẵn
  • Tùy chỉnh các LLM mã nguồn mở

Khi nào nên dùng Bedrock:

✅ Chọn Bedrock khi:

  • Cần truy cập foundation model theo kiểu serverless (không quản lý hạ tầng)
  • Muốn dùng các mô hình độc quyền (proprietary models) (như Claude, Titan)
  • Cần quyền truy cập API đơn giản (không cần deploy)
  • Xây dựng ứng dụng RAG (với Knowledge Bases)
  • Muốn dùng các guardrails và tính năng an toàn được quản lý sẵn
  • Ưa thích cách định giá trả tiền theo số token (pay-per-token)

Use Cases:

  • Xây dựng chatbot với Claude
  • Áp dụng RAG trên tài liệu công ty
  • Dựng nhanh bản mẫu (prototyping) mà không cần deploy

1.4 Bảng so sánh #exam-tip

Tiêu chí JumpStart Bedrock
Loại mô hình Mã nguồn mở (Llama, Falcon, BLOOM) Độc quyền + mã nguồn mở (Claude, Titan, Llama)
Triển khai SageMaker endpoints (bạn tự quản lý) Serverless API (AWS quản lý)
Hạ tầng Chọn instances, cấu hình VPC Quản lý hoàn toàn, serverless
Fine-tuning Kiểm soát toàn diện, bất kỳ framework nào Fine-tuning có quản lý (chỉ hỗ trợ vài mô hình)
Định giá Trả tiền theo endpoints (tính theo giờ) Trả tiền theo token/lượt request
Tích hợp Hệ sinh thái SageMaker (Pipelines, v.v.) Ưu tiên API (API-first), tích hợp đơn giản
Tùy chỉnh Hoàn toàn (code, containers, config) Hạn chế (chỉ chỉnh API parameters, prompts)
Solution Templates ✅ Có (gian lận, churn, dự báo nhu cầu) ❌ Không
Tốt nhất cho Các team ML cần kiểm soát & tùy chỉnh sâu Lập trình viên cần dùng API nhanh chóng

1.5 Điểm khác biệt quan trọng cho bài thi #exam-tip

JumpStart:

  • “Deploy open-source LLM (như Llama, Falcon)”
  • “Fine-tune foundation model bằng dữ liệu tùy chỉnh”
  • “Sử dụng ML solution template dựng sẵn”
  • “Toàn quyền kiểm soát cấu hình triển khai”
  • “Tích hợp với SageMaker Pipelines”

Bedrock:

  • “Truy cập serverless tới Claude hoặc Titan”
  • “Xây dựng chatbot mà không cần quản lý hạ tầng”
  • “Ứng dụng RAG dùng Knowledge Bases”
  • “Mô hình định giá Pay-per-token”
  • “Truy cập API đơn giản để gọi foundation models”

1.6 Sử dụng JumpStart #exam-tip

Các cách truy cập:

1. Qua giao diện SageMaker Studio UI

SageMaker Studio → JumpStart → Browse Models → Select → Deploy

2. Qua Python SDK

from sagemaker.jumpstart.model import JumpStartModel

# Triển khai mô hình Llama 2
model = JumpStartModel(
    model_id="meta-textgeneration-llama-2-7b",
    region="us-east-1"
)

# Triển khai lên endpoint
predictor = model.deploy()

# Suy luận (Inference)
response = predictor.predict({
    "inputs": "What is machine learning?",
    "parameters": {"max_new_tokens": 256}
})

3. Ví dụ về Fine-tuning

from sagemaker.jumpstart.estimator import JumpStartEstimator

# Fine-tune Llama 2
estimator = JumpStartEstimator(
    model_id="meta-textgeneration-llama-2-7b",
    environment={"accept_eula": "true"}
)

# Train trên dữ liệu của bạn
estimator.fit({
    "training": "s3://bucket/training-data"
})

# Triển khai mô hình đã fine-tune
predictor = estimator.deploy()

1.7 Solution Templates #exam-tip

Các Giải pháp End-to-End dựng sẵn:

Giải pháp Loại bài toán Bao gồm những gì
Phát hiện gian lận (Fraud Detection) Phân loại Tiền xử lý dữ liệu, training, đánh giá, deployment
Bảo trì dự đoán (Predictive Maintenance) Chuỗi thời gian Kỹ nghệ đặc trưng (Feature engineering), DeepAR, monitoring
Dự báo nhu cầu (Demand Forecasting) Chuỗi thời gian Phân tích dữ liệu lịch sử, các mô hình dự báo
Dự đoán Churn Phân loại Feature engineering, XGBoost, khả năng diễn giải (explainability)
Rủi ro tín dụng (Credit Risk) Phân loại Xử lý dữ liệu tabular, diễn dịch mô hình
Gợi ý sản phẩm (Product Recommendations) Cá nhân hóa Lọc cộng tác (Collaborative filtering), xử lý cold-start

Lợi ích:

  • ✅ Phát triển thần tốc - Có giải pháp hoạt động được ngay chỉ trong vài phút
  • ✅ Best practices - Được cấu hình sẵn theo chuẩn best practices của AWS
  • ✅ Có thể tùy chỉnh - Tùy ý chỉnh sửa notebooks và code
  • ✅ Sẵn sàng cho Production - Bao gồm cả khâu deployment và monitoring

Kịch bản bài thi: #exam-tip

  • “Nhanh chóng tạo bản mẫu cho hệ thống phát hiện gian lận” → Dùng JumpStart Fraud Detection solution
  • “Cần có một mô hình baseline dự báo nhu cầu hoạt động ngay lập tức” → Dùng JumpStart solution template

1.8 Use Cases #exam-tip

1. Triển khai Foundation Model

  • Vấn đề: Cần triển khai Llama 2 cho tác vụ text generation
  • Giải pháp: Triển khai 1-click với JumpStart
  • Lợi ích: Không cần setup hạ tầng, có sẵn endpoint để dùng ngay

2. Fine-tuning Open-Source LLMs

  • Vấn đề: Claude (Bedrock) không hỗ trợ tốt cho use case của bạn, bạn cần một mô hình mã nguồn mở
  • Giải pháp: Sử dụng JumpStart để fine-tune Llama 2/Falcon bằng dữ liệu của bạn
  • Lợi ích: Toàn quyền kiểm soát, khả năng tùy biến cao

3. Dựng bản mẫu thần tốc (Rapid Prototyping)

  • Vấn đề: Cần làm proof-of-concept cho việc dự đoán Churn
  • Giải pháp: Sử dụng JumpStart Churn Prediction solution template
  • Lợi ích: Có mô hình baseline hoạt động được trong vài giờ, thay vì mất nhiều tuần

4. Sinh hình ảnh (Image Generation)

  • Vấn đề: Tạo hình ảnh từ các đoạn mô tả văn bản
  • Giải pháp: Triển khai Stable Diffusion trên JumpStart
  • Lợi ích: Triển khai mô hình Stable Diffusion chỉ với 1 click

1.9 Kịch bản bài thi #important #exam-tip

Tình huống Giải pháp Lý do
“Triển khai Llama 2 cho chatbot nội bộ” JumpStart Triển khai open-source LLM
“Cần Claude cho chatbot phục vụ khách hàng” Bedrock Mô hình độc quyền (proprietary model), dịch vụ quản lý
“Fine-tune Falcon trên văn bản đặc thù ngành” JumpStart Fine-tuning mô hình mã nguồn mở
“Cần dựng mô hình baseline phát hiện gian lận nhanh chóng” JumpStart solution template Giải pháp end-to-end dựng sẵn
“Cần API serverless sinh văn bản” Bedrock Không yêu cầu quản lý hạ tầng
“Triển khai Stable Diffusion để tạo hình ảnh” JumpStart Triển khai mô hình 1-click
“Cần toàn quyền kiểm soát quá trình triển khai LLM” JumpStart Cho phép tùy chỉnh SageMaker endpoint
“Xây dựng ứng dụng RAG bằng tài liệu công ty” Bedrock Knowledge Bases Giải pháp RAG có quản lý

1.10 Best Practices #exam-tip

1. Lựa chọn mô hình

  • Đọc kỹ model card (xem hiệu năng, giấy phép license, use cases)
  • Chạy thử trong playground trước khi deploy
  • Cân nhắc kích thước mô hình so với chi phí inference

2. Fine-tuning

  • Bắt đầu với mô hình nhỏ trước (7B parameters) rồi mới thử mô hình lớn (70B)
  • Sử dụng đúng loại instance (ví dụ: ml.g5 hoặc ml.p3 cho training)
  • Thẩm định (validate) mô hình fine-tuned trước khi đưa lên production

3. Triển khai (Deployment)

  • Sử dụng loại instance nhỏ nhất mà vẫn đáp ứng được yêu cầu về độ trễ (latency)
  • Cân nhắc dùng Serverless Inference cho những luồng traffic không ổn định
  • Kích hoạt auto-scaling cho các workload trên production

4. Tối ưu chi phí

  • Xóa bỏ các endpoints không dùng đến (bạn phải trả tiền cho thời gian endpoint chạy)
  • Sử dụng Batch Transform cho việc inference ngoại tuyến (offline inference)
  • Cân nhắc Bedrock (pay-per-token) nếu mức độ sử dụng thấp

1.11 Hạn chế #exam-tip

  • Không phải mô hình nào cũng cho phép fine-tuning - Cần đọc kỹ model card
  • Giấy phép mã nguồn mở (Open-source licenses) - Hiểu rõ các quy định hạn chế sử dụng (có mô hình cấm dùng cho thương mại)
  • Chi phí Endpoint - Bạn phải trả phí khi endpoint đang bật (không giống với Bedrock tính phí theo serverless)
  • Cập nhật mô hình - Phải làm thủ công khi muốn update lên version mới của mô hình
  • Chỉ giới hạn ở SageMaker - Các mô hình chỉ có thể deploy lên SageMaker endpoints

1.12 So sánh JumpStart với các Lựa chọn khác #exam-tip

Nhu cầu JumpStart Bedrock SageMaker Custom
Open-source LLM ✅ Tốt nhất ✅ Có vài mô hình ✅ Tự mang vào (Bring your own)
Proprietary LLM (Claude) ❌ Không ✅ Tốt nhất ❌ Không
Triển khai 1-click ✅ Có ✅ Chỉ qua API ❌ Phải thiết lập thủ công
Kiểm soát Fine-tune ✅ Hoàn toàn ⚠️ Hạn chế ✅ Hoàn toàn
Solution templates ✅ Có ❌ Không ❌ Không
Serverless ❌ Phải dùng Endpoints ✅ Có ❌ Phải dùng Endpoints
Custom frameworks ⚠️ Hạn chế ❌ Không ✅ Bất kỳ framework nào

Cây quyết định trong bài thi:

  1. Cần mô hình độc quyền (Claude, Titan) → Bedrock
  2. Cần LLM mã nguồn mở (Llama, Falcon) → JumpStart
  3. Cần solution template (gian lận, churn) → JumpStart
  4. Cần cơ sở hạ tầng serverless → Bedrock
  5. Cần kiểm soát ML hoàn toàn → SageMaker Custom

2. Triển khai (Deployment)

Endpoints

  • Inference theo thời gian thực (Real-time inference)
  • Hỗ trợ Auto-scaling
  • Multi-model endpoints - Lưu trữ nhiều mô hình trên cùng một endpoint

Batch Transform

  • Đưa ra các dự đoán ngoại tuyến (Offline) trên các tập dữ liệu lớn
  • Không yêu cầu endpoint duy trì liên tục

Inference Pipelines

  • Chuỗi kết hợp giữa tiền xử lý + dự đoán (hỗ trợ từ 2-15 containers)

SageMaker Serverless Inference #exam-tip

  • Trả tiền theo mức sử dụng, tự động scale về 0 khi không có truy cập
  • Tốt cho các luồng traffic bị ngắt quãng, không liên tục

3. Giám sát Mô hình (Model Monitoring)

SageMaker Model Monitor

  • Phát hiện sự chệch hướng dữ liệu (data drift), sự suy giảm chất lượng mô hình
  • Tự động tạo baseline
  • Giám sát liên tục