AWS Generative AI & Foundation Models

Mục lục

1. Tổng quan

Các dịch vụ AWS dành cho AI tạo sinh, Foundation Models và mô hình ngôn ngữ lớn (LLMs).

2. Amazon Bedrock #important #exam-tip

Mục đích: Dịch vụ được quản lý toàn diện giúp truy cập và sử dụng Foundation Models (FMs) thông qua API

Khái niệm cốt lõi: Các mô hình lớn đã được huấn luyện sẵn (LLMs, sinh ảnh) giúp bạn sử dụng ngay mà không cần quản lý hạ tầng hay tự huấn luyện mô hình từ đầu.

2.1 Bedrock là gì?

Định nghĩa: Dịch vụ được quản lý hoàn toàn, cung cấp quyền truy cập vào các Foundation Models từ nhiều công ty AI khác nhau chỉ qua một API duy nhất.

Foundation Models: Các mô hình lớn đã được huấn luyện sẵn (với hàng tỷ tham số) có khả năng thực hiện nhiều tác vụ:

  • Text generation (chatbot, tóm tắt, Q&A)
  • Image generation (sinh ảnh từ văn bản)
  • Embeddings (biểu diễn vector phục vụ tìm kiếm ngữ nghĩa)

Các đặc điểm chính:

  • Không cần quản lý hạ tầng - Kiến trúc Serverless, trả tiền theo mức sử dụng
  • Nhiều nhà cung cấp mô hình - Tự do lựa chọn mô hình phù hợp nhất cho bài toán
  • Bảo mật & Quyền riêng tư - Dữ liệu không bị dùng để huấn luyện mô hình và luôn nằm trong tài khoản AWS của bạn
  • Enterprise-ready - Hỗ trợ VPC, mã hóa, tuân thủ các tiêu chuẩn bảo mật

2.2 Các Foundation Models có sẵn #important

Text Models (Các mô hình ngôn ngữ lớn):

Mô hình Nhà cung cấp Phù hợp nhất cho Context Window
Claude (3.5 Sonnet, 3 Opus, 3 Haiku) Anthropic Hội thoại dài, phân tích, viết code, mức độ an toàn cao 200K tokens
Titan Text (Express, Lite) Amazon Các tác vụ xử lý văn bản tiết kiệm chi phí, tóm tắt 8K-32K tokens
Jurassic-2 AI21 Labs Đa ngôn ngữ, tạo văn bản dạng dài 8K tokens
Command Cohere Viết email/tài liệu kinh doanh, ứng dụng RAG 4K tokens
Llama 2/3 Meta Mã nguồn mở, khả năng tùy biến cao 4K-8K tokens

Image Models:

Mô hình Nhà cung cấp Phù hợp nhất cho
Stable Diffusion XL Stability AI Tạo hình ảnh từ văn bản, chất lượng cao
Titan Image Generator Amazon Sinh ảnh, chỉnh sửa ảnh, tùy chỉnh

Embedding Models:

  • Titan Embeddings - Chuyển đổi văn bản thành vector để tìm kiếm ngữ nghĩa, RAG
  • Cohere Embed - Embeddings đa ngôn ngữ

Tips:

  • Claude - Năng lực mạnh nhất, ngữ cảnh dài nhất, tốt nhất cho các tác vụ phức tạp
  • Titan - Của AWS, tối ưu chi phí, phù hợp các tác vụ cơ bản
  • Không cần nhớ tất cả mô hình - Chỉ cần biết các danh mục (text, image, embeddings) và Bedrock luôn cung cấp nhiều lựa chọn

2.3 Các tính năng chính

1. Lựa chọn mô hình #exam-tip

  • Kiểm thử nhiều mô hình - So sánh các phản hồi trước khi chọn
  • Model playground - Thử nghiệm prompt ngay trong console
  • Đánh giá mô hình - Các bài benchmark tích hợp sẵn

Khi nào chọn mô hình nào:

  • Cần chất lượng cao nhất, an toàn nhất: Claude 3.5 Sonnet hoặc Opus
  • Tối ưu chi phí, tác vụ đơn giản: Titan Text Lite
  • Sinh hình ảnh: Stable Diffusion XL hoặc Titan Image
  • Embeddings cho RAG: Titan Embeddings

2. Các tùy chọn tùy chỉnh

Fine-tuning:

  • Huấn luyện mô hình trên dữ liệu cụ thể của bạn
  • Cải thiện hiệu suất trên các tác vụ mang tính đặc thù ngành
  • Yêu cầu: Dữ liệu huấn luyện đã được gán nhãn (hàng trăm đến hàng nghìn ví dụ)
  • Use Cases: Phân tích tài liệu pháp lý, thuật ngữ y khoa

Continued Pre-training:

  • Tiếp tục huấn luyện mô hình trên dữ liệu không gán nhãn
  • Giúp mô hình thích ứng với kiến thức đặc thù của một lĩnh vực
  • Use Cases: Kiến thức nội bộ công ty, các lĩnh vực kỹ thuật chuyên sâu

3. Retrieval Augmented Generation (RAG) #exam-tip

RAG là gì:

  • Truy xuất các tài liệu liên quan từ Knowledge Base
  • Đưa các tài liệu đó vào làm ngữ cảnh cho LLM
  • LLM sẽ sinh ra câu trả lời dựa trên ngữ cảnh vừa được cung cấp
  • Lợi ích: Có thông tin cập nhật mới nhất mà không cần phải huấn luyện lại mô hình

Bedrock Knowledge Bases:

  • Kết nối với S3, cơ sở dữ liệu, các nguồn bên ngoài
  • Tự động chia nhỏ văn bản và tạo embedding
  • Tìm kiếm vector bằng OpenSearch Serverless
  • Use Cases: Hỏi đáp trên tài liệu công ty, hỗ trợ khách hàng

RAG vs Fine-tuning: #important

Tiêu chí RAG Fine-tuning
Mục đích Cung cấp kiến thức bên ngoài Dạy hành vi/phong cách mới
Dữ liệu cần thiết Tài liệu không gán nhãn Hàng trăm ví dụ đã gán nhãn
Tần suất cập nhật Thời gian thực (chỉ cần cập nhật tài liệu) Yêu cầu phải train lại
Chi phí Thấp hơn (chỉ tốn phí truy xuất) Cao hơn (tốn phí huấn luyện)
Khi nào dùng Kiến thức thay đổi thường xuyên Cần định dạng/tác vụ cụ thể
Ví dụ Tài liệu sản phẩm hiện tại, chính sách Tạo hợp đồng pháp lý

Kịch bản bài thi: #exam-tip

  • “Trả lời câu hỏi bằng các chính sách mới nhất của công ty” → RAG (vì tài liệu thay đổi)
  • “Sinh phản hồi theo một định dạng pháp lý cụ thể” → Fine-tuning (cần phong cách/định dạng)

4. Bedrock Agents #important #exam-tip

Mục đích: Xây dựng các AI agents có khả năng dùng tool, thực hiện hành động, và điều phối các luồng công việc phức tạp nhiều bước.

Khái niệm cốt lõi: Agents kết hợp các Foundation Models với khả năng gọi API, truy cập dữ liệu và thực thi hành động một cách tự chủ.

Bedrock Agents là gì?

Định nghĩa: Tính năng quản lý hoàn toàn cho phép LLMs thực thi các tác vụ nhiều bước bằng cách:

  • Chia nhỏ yêu cầu của người dùng thành nhiều bước
  • Gọi các API và Lambda functions
  • Truy cập Knowledge Bases để lấy thông tin
  • Tư duy (reasoning) về các hành động tiếp theo
  • Điều phối các luồng công việc phức tạp

Các đặc điểm chính:

  • Tư duy tự chủ - Agent tự quyết định khi nào dùng công cụ nào
  • Thực thi nhiều bước - Xâu chuỗi nhiều hành động lại với nhau
  • Tích hợp công cụ - Gọi Lambda functions, API, Knowledge Bases
  • Giao diện ngôn ngữ tự nhiên - Người dùng tương tác bằng ngôn ngữ đời thường
  • Điều phối được quản lý - AWS tự động xử lý logic của luồng công việc

Các thành phần của Agent #exam-tip

1. Foundation Model

  • LLM nền tảng cấp sức mạnh cho agent (Claude, Titan, v.v.)
  • Cung cấp khả năng hiểu ngôn ngữ và tư duy logic
  • Quyết định xem nên thực hiện hành động nào

2. Instructions

  • Mô tả bằng ngôn ngữ tự nhiên về công việc của agent
  • Định nghĩa vai trò, khả năng và hành vi của agent
  • Ví dụ: “Bạn là trợ lý du lịch giúp người dùng đặt chuyến bay và khách sạn”

3. Action Groups #important

  • Định nghĩa: Tập hợp các API/functions mà agent có thể gọi
  • Triển khai bằng: Lambda functions hoặc API schemas
  • Mục đích: Xác định các công cụ/hành động có sẵn

Các thành phần của Action Group:

  • API Schema - Chuẩn OpenAPI định nghĩa các function có sẵn
  • Lambda Function - Nơi thực thi hành động
  • Description - Mô tả giúp agent quyết định khi nào nên dùng hành động này

Ví dụ về Action Group:

{
  "actionGroupName": "FlightBookingActions",
  "description": "Actions for searching and booking flights",
  "actionGroupExecutor": {
    "lambda": "arn:aws:lambda:us-east-1:123456789012:function:flight-booking"
  },
  "apiSchema": {
    "payload": "OpenAPI 3.0 schema with functions: searchFlights, bookFlight, cancelFlight"
  }
}

4. Knowledge Bases (Tùy chọn)

  • Kết nối agent với Bedrock Knowledge Bases
  • Agent có thể truy xuất thông tin từ tài liệu
  • Kết hợp RAG vào quy trình của agent
  • Use Cases: Agent dùng tài liệu công ty để trả lời câu hỏi, sau đó tự động thực hiện hành động

5. Guardrails (Tùy chọn)

  • Áp dụng bộ lọc nội dung và chính sách an toàn
  • Đảm bảo hành vi của agent luôn an toàn và tuân thủ

Luồng hoạt động của Agent #exam-tip

Cách Agents hoạt động:

  1. User Request - Đầu vào ngôn ngữ tự nhiên
  2. Agent Planning - LLM phân tích yêu cầu, chia nhỏ thành các bước
  3. Action Selection - Agent quyết định gọi Action Group/function nào
  4. Execution - Kích hoạt Lambda functions, truy vấn Knowledge Bases
  5. Iteration - Sử dụng kết quả vừa có để xác định hành động tiếp theo, lặp lại cho đến khi xong
  6. Response - Tổng hợp kết quả lại thành câu trả lời tự nhiên

Ví dụ: User: “Đặt chuyến bay đi NYC vào tuần sau” → Agent: check lịch → tìm chuyến bay → đặt vé → trả lời

Agent Versions và Aliases #important #exam-tip

Quản lý phiên bản Agent:

Mục đích: Quản lý các phiên bản khác nhau của agent để đảm bảo an toàn khi triển khai và kiểm thử.

Khái niệm cốt lõi:

  • Working Draft - Bản nháp đang chỉnh sửa, luôn tồn tại
  • Versions - Các bản snapshot không thể thay đổi (v1, v2, v3, v.v.)
  • Aliases - Con trỏ trỏ đến các phiên bản cụ thể

Vòng đời phiên bản:

  1. Working Draft
    • Phiên bản đang phát triển
    • Có thể chỉnh sửa và chạy test
    • Không phù hợp dùng trên production
    • Luôn luôn có sẵn
  2. Create Version
    • Chụp snapshot của bản Working Draft
    • Tạo ra một phiên bản bất biến (ví dụ: v1)
    • Không thể chỉnh sửa
    • Có thể dùng trên production
  3. Aliases
    • Các con trỏ có tên trỏ đến các version
    • Có thể cập nhật để trỏ sang version khác
    • Hỗ trợ các mẫu triển khai an toàn

Agent Aliases #exam-tip

Mục đích: Trỏ đến các version cụ thể của agent, cho phép các chiến lược triển khai và rollback.

Các mẫu Alias phổ biến:

Tên Alias Trỏ đến Mục đích
DRAFT Working Draft Phát triển và kiểm thử
TEST v2 Kiểm thử trên môi trường Staging
PROD v1 Môi trường Production
BETA v3 Thử nghiệm cho user nhóm Beta

Lợi ích:

  • ✅ Triển khai an toàn - Test version mới trước khi chuyển alias PROD
  • ✅ Rollback tức thì - Đổi alias quay lại version cũ
  • ✅ A/B testing - Dùng nhiều alias trỏ đến các version khác nhau
  • ✅ Tách biệt môi trường - Các alias DEV, TEST, PROD riêng biệt

Deployment Pattern: #exam-tip

Triển khai Blue/Green:

1. Trạng thái hiện tại:
   - PROD alias → v1 (ổn định)

2. Phát triển tính năng mới:
   - Chỉnh sửa Working Draft
   - Test bằng DRAFT alias

3. Tạo version mới:
   - Tạo v2 từ Working Draft
   - TEST alias → v2
   - Chạy integration tests

4. Triển khai lên production:
   - PROD alias → v2 (chuyển đổi)
   - Nếu có lỗi: PROD alias → v1 (rollback)

Kịch bản bài thi: #exam-tip

  • “Cần test các thay đổi của agent trước khi đưa lên production” → Tạo version mới, dùng TEST alias
  • “Agent trên production có lỗi, cần rollback lại” → Đổi PROD alias trỏ về version trước đó
  • “Chạy A/B test với các cấu hình agent khác nhau” → Dùng hai alias trỏ đến hai version khác nhau

So sánh Alias và Version:

Tiêu chí Version Alias
Tính thay đổi Bất biến (không thể đổi) Linh hoạt (trỏ đến các version khác nhau)
Mục đích Bản snapshot của cấu hình agent Con trỏ dùng cho quá trình triển khai
Use Cases Quản lý phiên bản, lưu vết Quản lý môi trường, rollback
Cách tạo Tạo từ Working Draft Trỏ đến bất kỳ version nào
Xóa Có thể xóa các version cũ Có thể xóa các aliases

Tích hợp Agent + Knowledge Bases #important #exam-tip

Mục đích: Kết hợp các hành động của agent với RAG để truy xuất thông tin

Cách hoạt động: Agent truy vấn Knowledge Base để lấy thông tin, sau đó tự thực thi các hành động dựa trên ngữ cảnh vừa nhận được

Use Cases:

  • Hỗ trợ khách hàng: Lấy câu trả lời từ tài liệu + tự động tạo ticket
  • Trợ lý HR: Tra cứu chính sách + tự điền form xin nghỉ
  • Trợ lý Sales: Check cấu hình sản phẩm + tự động tạo báo giá

Tips: Agent + Knowledge Base = RAG + Actions (truy xuất thông tin + thực thi tác vụ)

Trạng thái phiên làm việc (Session State)

Mục đích: Duy trì ngữ cảnh xuyên suốt cuộc hội thoại nhiều lượt

Tính năng: Sử dụng Session ID để theo dõi, agent sẽ nhớ các tin nhắn và ngữ cảnh trước đó

Use Cases #exam-tip

Các mẫu thiết kế phổ biến:

  • Customer Service: Xử lý yêu cầu thông qua nhiều hành động (ticket, đơn hàng, hoàn tiền)
  • Đặt lịch du lịch: Lên lịch trình gồm nhiều bước (chuyến bay, khách sạn, thuê xe)
  • IT Help Desk: Knowledge Base (tài liệu) + Action Groups (reset mật khẩu, cấp quyền)
  • Trợ lý Sales: Knowledge Base (sản phẩm) + Action Groups (CRM, báo giá)
  • Trợ lý HR: Knowledge Base (chính sách) + Action Groups (nghỉ phép, phúc lợi)

Best Practices #exam-tip

  • Instructions: Hãy thật cụ thể về vai trò, năng lực và giới hạn của agent
  • Action Groups: Đảm nhiệm một trách nhiệm duy nhất cho mỗi group, mô tả rõ ràng, bắt lỗi kỹ
  • Versioning: Luôn test ở DRAFT/TEST alias trước khi đưa lên PROD, giữ 2-3 version cũ để dự phòng rollback
  • Monitoring: Theo dõi số lượt gọi trong CloudWatch, thiết lập cảnh báo khi có lỗi

Hạn chế #exam-tip

  • Thời gian thực thi - Agents mất nhiều thời gian chạy hơn các hàm API thông thường (do phải tư duy nhiều bước)
  • Chi phí - Trả tiền cho số token của foundation model + số lần gọi Lambda + truy vấn Knowledge Base
  • Giới hạn Action Group - Số lượng Action Groups tối đa cho mỗi agent
  • Kiểm soát điều phối - Agent tự quyết định hành động (không mang tính tất định như State Machines)
  • Xử lý lỗi - Đôi khi agent không biết cách xử lý lỗi một cách triệt để

Bedrock Agents so với các dịch vụ AWS khác #exam-tip

Tính năng Bedrock Agents Step Functions Lambda Lex
Ngôn ngữ tự nhiên ✅ Có ❌ Không ❌ Không ✅ Có (qua intents)
Điều phối nhiều bước ✅ Tự chủ ✅ Thiết lập sẵn ❌ Hàm đơn chức năng ⚠️ Quản lý hội thoại
Tư duy (Reasoning) ✅ Dùng LLM ❌ Định nghĩa sẵn ❌ Không ⚠️ Dựa trên intent
Gọi tool ✅ Có ✅ Có N/A ✅ Có (qua fulfillment)
Use Cases T tự động hóa hội thoại Điều phối workflow Function đơn Bot định hướng tác vụ

Điểm khác biệt quan trọng cho bài thi:

  • Bedrock Agents - Tự chủ, dùng sức mạnh LLM, workflow qua hội thoại
  • Step Functions - Mang tính tất định (deterministic), các workflow định nghĩa sẵn
  • Lex - Bot dựa trên intent (người dùng phải nói rõ intent)
  • Lambda - Function chạy đơn lẻ (không phải để điều phối)

Kịch bản bài thi #important #exam-tip

Tình huống Giải pháp Lý do
“Xây dựng AI assistant biết đặt khách sạn VÀ trả lời câu hỏi về chính sách” Bedrock Agent + Knowledge Base Cần cả RAG (chính sách) và actions (đặt phòng)
“Triển khai version mới cho agent mà không làm ảnh hưởng production” Tạo version, dùng TEST alias Test trước khi thay đổi PROD alias
“Agent vừa deploy bị lỗi, cần sửa ngay lập tức” Đổi PROD alias quay lại version cũ Rollback tức thì
“CSKH tự động biết tạo ticket và tra cứu đơn hàng” Bedrock Agent kèm Action Groups Cần thực hiện chuỗi hành động tự chủ nhiều bước
“Muốn agent tự gọi nhiều Lambda functions khác nhau tùy theo yêu cầu” Bedrock Agent với nhiều Action Groups Mỗi Action Group = một tập hợp các functions liên quan
“Bot định hướng tác vụ với các intents rõ ràng (BookHotel, CheckWeather)” Lex Cấu trúc chặt chẽ, dựa trên intent (không phải autonomous agent)
“Workflow phức tạp cần xử lý lỗi, retry, chạy song song” Step Functions Điều phối mang tính tất định (Deterministic orchestration)
“Agent cần chạy A/B test với hai bộ instructions khác nhau” Tạo hai versions, dùng hai aliases So sánh hiệu năng giữa hai versions

5. Guardrails #exam-tip

Mục đích: Kiểm soát các output của mô hình và thực thi các chính sách an toàn

Tính năng:

  • Bộ lọc nội dung - Chặn nội dung độc hại (ngôn từ kích động thù địch, bạo lực)
  • Chủ đề bị cấm - Ngăn chặn mô hình bàn luận về các chủ đề cụ thể
  • Bộ lọc PII - Ẩn đi các thông tin nhạy cảm
  • Bộ lọc từ ngữ - Chặn từ tục tĩu, tên thương hiệu đối thủ
  • Phát hiện Hallucination - Xác minh tính chính xác của thông tin bằng ground truth

Use Cases:

  • Chatbot giao tiếp trực tiếp với khách hàng (ưu tiên an toàn)
  • Các yêu cầu tuân thủ (ngành tài chính, y tế)
  • Bảo vệ thương hiệu

Tips: Guardrails đảm bảo đầu ra của AI luôn an toàn và tuân thủ chuẩn mực

2.4 Tiêu chí quyết định Bedrock vs SageMaker #important #exam-tip

Khi nào nên dùng Amazon Bedrock:

✅ Chọn Bedrock khi:

  • Cần sử dụng các Foundation Models có sẵn (LLMs, image generation)
  • Muốn tránh sự phức tạp của việc huấn luyện mô hình
  • Text generation, tóm tắt, chatbots, Q&A
  • Image generation từ text prompts
  • Chế tạo bản mẫu (prototyping) và thử nghiệm nhanh chóng
  • Các mô hình pre-trained đã đáp ứng đủ yêu cầu
  • Dùng RAG cho các ứng dụng dựa trên hệ cơ sở tri thức
  • Không muốn quản lý hạ tầng ML

Use Cases:

  • Chatbots và trợ lý ảo
  • Tóm tắt tài liệu
  • Sinh nội dung (bài viết marketing, email)
  • Semantic search
  • Code generation
  • Tự động hóa hỗ trợ khách hàng

Khi nào nên dùng SageMaker:

✅ Chọn SageMaker khi:

  • Cần xây dựng các mô hình ML tùy chỉnh từ đầu
  • Cần các thuật toán cụ thể (XGBoost, Random Forest, v.v.)
  • Dữ liệu dạng bảng (Tabular data), chuỗi thời gian (time series), thị giác máy tính tùy chỉnh
  • Cần toàn quyền kiểm soát cấu trúc mô hình
  • Dữ liệu nội bộ độc quyền yêu cầu huấn luyện tùy chỉnh
  • Tối ưu hóa hiệu năng là yếu tố then chốt
  • Áp dụng Machine Learning truyền thống (không chỉ generative AI)

Use Cases:

  • Phát hiện gian lận (trên dữ liệu tabular)
  • Dự báo nhu cầu
  • Phân loại hình ảnh tùy chỉnh
  • Dự đoán tỷ lệ rời bỏ của khách hàng (Churn prediction)
  • Hệ thống gợi ý (thuật toán tùy chỉnh)

Bảng so sánh: #exam-tip

Tiêu chí Amazon Bedrock Amazon SageMaker
Loại mô hình Pre-trained foundation models Custom ML models (bất kỳ loại nào)
Huấn luyện Tùy chọn (fine-tuning) Bắt buộc (train từ đầu hoặc transfer learning)
Use Cases Text generation, chat, image gen Gian lận, dự báo, phân loại, hồi quy
Loại dữ liệu Chủ yếu là text/images Bất kỳ loại nào (tabular, time series, images, v.v.)
Độ phức tạp Thấp (gọi API) Cao (training, tuning, deployment)
Thời gian triển khai Vài phút (API sẵn sàng ngay) Nhiều ngày/tuần (chuẩn bị dữ liệu, training, tuning)
Chuyên môn ML Tối thiểu (chỉ cần prompt engineering) Bắt buộc (data science, ML engineering)
Hạ tầng Fully managed, serverless Có quản lý nhưng cấu hình được (instances, v.v.)
Mô hình chi phí Trả tiền theo số token/request Trả tiền cho instances lúc training + inference
Khả năng tùy chỉnh Hạn chế (fine-tuning, prompts) Hoàn toàn (bất kỳ thuật toán, kiến trúc nào)

Sự khác biệt quan trọng cho bài thi: #exam-tip

  • “Sử dụng foundation model có sẵn” → Bedrock
  • “Huấn luyện mô hình tùy chỉnh trên dữ liệu tabular” → SageMaker
  • “Chatbot, tóm tắt, text generation” → Bedrock
  • “Phát hiện gian lận, dự báo, phân loại” → SageMaker
  • “Triển khai nhanh chóng mà không cần huấn luyện” → Bedrock
  • “Cần một thuật toán cụ thể như XGBoost” → SageMaker

2.5 Use Cases #exam-tip

Các Use Cases phổ biến của Bedrock:

  • AI Hội thoại: Chatbots sử dụng Claude + RAG (không cần training)
  • Tóm tắt tài liệu: Sử dụng Titan Text hoặc Claude thông qua API
  • Sinh nội dung: Viết bài marketing, mô tả sản phẩm
  • Semantic Search: Bedrock Embeddings + OpenSearch (tìm kiếm theo ý nghĩa)
  • Code Generation: Dùng Claude để hỗ trợ lập trình

2.6 Tích hợp với các Dịch vụ AWS

Bedrock tích hợp với:

  • S3 - Lưu trữ tài liệu cho RAG
  • Lambda - Backend cho ứng dụng serverless
  • OpenSearch Serverless - Tìm kiếm vector cho RAG
  • SageMaker - Có thể kết hợp Foundation Models của Bedrock với mô hình tùy chỉnh của SageMaker
  • CloudWatch - Giám sát và ghi log
  • IAM - Kiểm soát truy cập
  • VPC - Truy cập mạng riêng

2.7 Định giá (Pricing) #exam-tip

Các mô hình định giá:

  1. On-Demand (Trả tiền theo mức sử dụng):
    • Tính phí trên mỗi token (input + output)
    • Một Token ≈ 0.75 từ
    • Ví dụ: Claude 3 Haiku ~$0.25 cho 1 triệu input tokens
    • Tốt nhất cho: Mức sử dụng thay đổi liên tục, prototyping
  2. Provisioned Throughput:
    • Đặt trước năng lực tính toán của mô hình (chi phí cố định)
    • Đảm bảo tính khả dụng và hiệu năng
    • Tốt nhất cho: Lượng sử dụng cao và ổn định, môi trường production
  3. Model Customization:
    • Chi phí trả một lần cho quá trình huấn luyện
    • Chi phí lưu trữ cho mô hình tùy chỉnh

Tips:

  • On-demand = trả theo số token (chi phí biến đổi)
  • Provisioned = đặt trước năng lực (chi phí cố định, dễ dự báo)
  • Không có chi phí hạ tầng (serverless)

2.8 Best Practices #exam-tip

  • Prompt Engineering: Hướng dẫn rõ ràng, cung cấp ví dụ (few-shot learning), system prompts
  • Dùng RAG để cung cấp kiến thức: Rẻ hơn fine-tuning, cung cấp thông tin cập nhật liên tục
  • Triển khai Guardrails: Lọc PII, nội dung độc hại cho các ứng dụng trực tiếp đối mặt với khách hàng
  • Chọn đúng mô hình: Bắt đầu với mô hình nhỏ (Titan, Claude Haiku), test thử trong playground
  • Theo dõi chi phí: Theo dõi số lượng tokens, tối ưu hóa prompts, dùng provisioned throughput nếu có lưu lượng cao

2.9 Hạn chế #exam-tip

  • Giới hạn tokens - Context window thay đổi tùy mô hình (4K-200K tokens)
  • Không kiểm soát sâu - Không thể tinh chỉnh kiến trúc bên trong của mô hình
  • Sự sẵn có của mô hình - Chỉ giới hạn trong các Foundation Models đang được hỗ trợ
  • Không dành cho mọi bài toán ML - Chủ yếu dành cho AI tạo sinh (văn bản, hình ảnh)
  • Chi phí ở quy mô lớn - Trả phí theo token có thể rất đắt nếu lưu lượng hệ thống cực lớn

2.10 Kịch bản bài thi #exam-tip

Tình huống Giải pháp Lý do
“Xây dựng chatbot trả lời FAQ cho khách hàng” Bedrock + RAG Dùng FM với tài liệu công ty, không cần training
“Dự đoán churn từ dữ liệu sử dụng” SageMaker Dữ liệu Tabular, cần mô hình tùy chỉnh (XGBoost)
“Sinh mô tả sản phẩm từ các tính năng” Bedrock Tác vụ text generation, dùng Titan hoặc Claude
“Phân loại hình ảnh sản phẩm lỗi” SageMaker hoặc Rekognition Custom Labels Computer vision, có thể cần mô hình tùy chỉnh
“Tóm tắt các ticket hỗ trợ khách hàng” Bedrock Text summarization, dùng Claude hoặc Titan
“Dự báo doanh số cho quý tới” SageMaker Dự báo Time series, dùng DeepAR
“Trả lời câu hỏi theo các chính sách công ty mới nhất” Bedrock + RAG RAG cung cấp ngữ cảnh được cập nhật liên tục
“Phát hiện giao dịch gian lận” SageMaker Dữ liệu Tabular, bài toán phân loại (XGBoost)
“Tạo hình ảnh từ đoạn mô tả văn bản” Bedrock Sử dụng Stable Diffusion XL hoặc Titan Image

Quyết định then chốt: #important

  • Generative AI (văn bản, hình ảnh, chat) → Bedrock
  • Traditional ML (phân loại, hồi quy, dự báo trên dữ liệu có cấu trúc) → SageMaker

3. Amazon Q Family #exam-tip

Tổng quan: Các trợ lý AI tạo sinh dựng sẵn cho các Use Cases cụ thể.

3.1 Amazon Q Business #exam-tip

Mục đích: Trợ lý AI tạo sinh dành cho doanh nghiệp (Hỏi đáp trên dữ liệu công ty)

Các tính năng chính:

  • Chat với dữ liệu doanh nghiệp (tài liệu, wikis, databases)
  • Hơn 40+ kết nối nguồn dữ liệu (S3, SharePoint, Confluence, Salesforce, Jira, v.v.)
  • Tôn trọng quyền truy cập của người dùng
  • Hỏi đáp qua hội thoại (Conversational Q&A)
  • Tóm tắt tài liệu
  • Sinh nội dung

Use Cases:

  • Tự phục vụ cho nhân viên (chính sách HR, IT)
  • Khám phá kiến thức nội bộ
  • Hỗ trợ đào tạo nhân viên mới (Onboarding)

Q Business vs Bedrock: #exam-tip

  • Q Business: Trợ lý dựng sẵn, dùng được ngay, tập trung vào môi trường doanh nghiệp
  • Bedrock: Nền tảng để bạn tự xây dựng ứng dụng tùy chỉnh bằng foundation models

3.2 Amazon Q Developer (trước đây là CodeWhisperer) #exam-tip

Mục đích: Trợ lý AI lập trình

Các tính năng chính:

  • Tự động hoàn thiện code (code completion)
  • Sinh code từ các dòng chú thích (comments)
  • Quét lỗ hổng bảo mật
  • Giải thích đoạn code
  • Hỗ trợ hơn 15 ngôn ngữ (Python, Java, JavaScript, v.v.)
  • Tích hợp IDE (VS Code, IntelliJ, v.v.)

Use Cases:

  • Tăng năng suất lập trình viên
  • Học các API/frameworks mới
  • Hỗ trợ Code review

3.3 Amazon Q Apps #exam-tip

Mục đích: Xây dựng các ứng dụng AI tạo sinh từ các cuộc trò chuyện

Các tính năng chính:

  • Tạo ứng dụng từ các mô tả bằng ngôn ngữ tự nhiên
  • Không yêu cầu kỹ năng lập trình (No coding)
  • Tích hợp chung với các nguồn dữ liệu của Q Business

Use Cases:

  • Dựng nhanh bản mẫu ứng dụng nghiệp vụ
  • Tạo ra công cụ phục vụ riêng cho một phòng ban

Tips: Nhớ rằng Q Business dùng để hỏi đáp trên dữ liệu doanh nghiệp, còn Q Developer là dành cho lập trình.

4. Key Comparisons #exam-tip

4.1 Bedrock vs Q Business

  • Bedrock: Nền tảng Foundation model (dưới dạng API), dùng để tự build các apps riêng
  • Q Business: Trợ lý AI tạo sinh được cấu hình sẵn, dùng được ngay lập tức

4.2 Bedrock vs Lex

  • Bedrock: AI hội thoại với LLMs, hỗ trợ các cuộc trò chuyện mở, dùng được với RAG
  • Lex: Bot định hướng theo tác vụ dựa trên intents/slots, sở hữu các luồng làm việc cấu trúc chặt chẽ

5. Exam Decision Framework #important

Tình huống Giải pháp
“Xây dựng chatbot” Bedrock (Claude) hoặc Lex
“Tóm tắt tài liệu” Bedrock
“Sinh nội dung” Bedrock
“Tạo hình ảnh từ text” Bedrock (Stable Diffusion, Titan Image)
“Semantic search” Bedrock Embeddings + OpenSearch
“Hỏi đáp trên tài liệu công ty” Q Business hoặc Bedrock + RAG
“Code completion (Gợi ý code)” Q Developer
“Dự đoán gian lận từ tabular data” SageMaker (XGBoost) - KHÔNG PHẢI Bedrock
“Dự báo doanh số” SageMaker (DeepAR) - KHÔNG PHẢI Bedrock
“Phân loại hình ảnh” SageMaker hoặc Rekognition - KHÔNG PHẢI Bedrock

Nguyên tắc cốt lõi: #important

  • Generative AI (văn bản, hình ảnh, chat) → Bedrock
  • Traditional ML (phân loại, hồi quy, dự báo) → SageMaker
  • Trợ lý dựng sẵn → Q family
  • Ứng dụng tùy chỉnh dùng foundation models → Bedrock

6. Exam Tips Summary #exam-tip

Bedrock:

  • ✅ Dùng cho tác vụ generative AI (text generation, chatbots, tóm tắt, image generation)
  • ✅ Các Foundation Models pre-trained sử dụng qua API
  • ✅ Không cần huấn luyện mô hình (fine-tuning là tùy chọn)
  • ✅ Sử dụng RAG để lấy thông tin mới nhất mà không cần train lại
  • ✅ Trả phí theo token (on-demand) hoặc provisioned throughput
  • ❌ KHÔNG dùng cho ML truyền thống (phân loại, dự báo trên tabular data)

Các mô hình chính cần nhớ:

  • Claude - Năng lực mạnh nhất, ngữ cảnh dài nhất (200K tokens)
  • Titan - Do AWS phát triển, tối ưu chi phí
  • Stable Diffusion - Chuyên dùng sinh ảnh

Q Family:

  • Q Business - Hỏi đáp dữ liệu doanh nghiệp
  • Q Developer - Hỗ trợ lập trình (code completion)
  • Q Apps - Xây dựng ứng dụng từ ngôn ngữ tự nhiên

Những sai lầm phổ biến cần tránh trong bài thi:

  • ❌ Dùng Bedrock để phát hiện gian lận (Phải dùng SageMaker + XGBoost)
  • ❌ Dùng SageMaker để tóm tắt văn bản (Phải dùng Bedrock)
  • ❌ Nhầm lẫn giữa Q Business và Bedrock (Q là trợ lý dựng sẵn, Bedrock là nền tảng API)