learnit

Storage Lens

3 phút đọcSeries: NoteBook: AWS Certified Solutions Architect Associate SAA-C031 lượt xem

Tổng quan

  • Giúp hiểu, phân tích, và tối ưu việc sử dụng storage trên toàn bộ AWS Organization
  • Phát hiện bất thường, xác định điểm tối ưu về chi phí, và áp dụng các best practice về bảo vệ dữ liệu trên toàn hệ thống AWS Org
    (bao gồm cả usage và activity metrics trong 30 ngày gần nhất)
  • Tổng hợp dữ liệu theo nhiều cấp độ:
    • Organization
    • Tài khoản cụ thể (Account)
    • Vùng (Region)
    • Bucket
    • Hoặc theo prefix
  • Có sẵn dashboard mặc định, hoặc tự tạo dashboard tùy chỉnh
  • Có thể cấu hình để xuất dữ liệu metric hàng ngày về S3 bucket, dưới định dạng CSV hoặc Parquet

Default Dashboard

  • Trực quan hoá thông tin tổng hợp và xu hướng sử dụng, áp dụng cho cả metrics miễn phí lẫn metrics nâng cao
  • Dashboard mặc định hiển thị dữ liệu theo nhiều region và nhiều account
  • Được cấu hình sẵn bởi Amazon S3
  • Không thể xoá, nhưng có thể vô hiệu hoá (disable)

Metrics

Summary Metrics

  • Cung cấp nhận định tổng quan về việc sử dụng storage trong S3
  • Bao gồm các metrics như:
    • StorageBytes (số byte đã lưu)
    • ObjectCount (số lượng object)
  • Use case:
    • Xác định các bucket hoặc prefix đang tăng trưởng nhanh
    • Phát hiện bucket không có hoạt động (unutilized)

Cost-Optimization Metrics

  • Cung cấp thông tin để quản lý và tối ưu hóa chi phí lưu trữ
  • Các chỉ số gồm:
    • NonCurrentVersionStorageBytes – Dung lượng chiếm bởi các object version cũ
    • IncompleteMultipartUploadStorageBytes – Dung lượng bị chiếm bởi các phần upload chưa hoàn tất
  • Use case:
    • Xác định các bucket chứa multipart upload chưa hoàn tất sau 7 ngày
    • Xác định object có thể chuyển sang storage class rẻ hơn (ví dụ chuyển từ STANDARD → GLACIER hoặc INTELLIGENT_TIERING)

Data-Protection Metrics

  • Cung cấp thông tin về các tính năng bảo vệ dữ liệu
  • Các chỉ số gồm:
    • VersioningEnabledBucketCount: Số bucket đã bật tính năng versioning
    • MFADeleteEnabledBucketCount: Số bucket bật tính năng xóa bằng xác thực MFA
    • SSEKMSEnabledBucketCount: Số bucket sử dụng mã hóa server-side với KMS key
    • CrossRegionReplicationRuleCount: Số lượng quy tắc replicate dữ liệu sang region khác
  • Use case:
    • Xác định các bucket không tuân thủ best practices về bảo mật dữ liệu

Access-management Metrics

  • Cung cấp thông tin về quyền sở hữu object trong S3
  • Chỉ số:
    • ObjectOwnershipBucketOwnerEnforcedBucketCount: Số bucket đang sử dụng chế độ “Bucket Owner Enforced” (bỏ qua quyền ACL và áp dụng chính sách bucket)
  • Use case:
    • Xác định cấu hình Object Ownership mà các bucket đang sử dụng

Event Metrics

  • Cung cấp thông tin về các S3 Event Notifications
  • Chỉ số:
    • EventNotificationEnabledBucketCount: Số lượng bucket đã bật cấu hình event notification
  • Use case:
    • Xác định các bucket có tích hợp với hệ thống xử lý sự kiện, ví dụ: gửi đến Lambda, SQS, SNS

Performance Metrics

  • Cung cấp thông tin về S3 Transfer Acceleration
  • Chỉ số:
    • TransferAccelerationEnabledBucketCount: Cho biết số lượng bucket có bật tính năng tăng tốc truyền tải (Transfer Acceleration)

Activity Metrics

  • Cung cấp thông tin về cách dữ liệu trong storage được truy cập
  • Các chỉ số:
    • AllRequests: Tổng số request
    • GetRequests: Số request kiểu GET
    • PutRequests: Số request kiểu PUT
    • ListRequests: Số request liệt kê object
    • BytesDownloaded: Tổng số byte được tải xuống

Detailed Status Code Metrics

  • Cung cấp thông tin về các HTTP Status Code
  • Các chỉ số:
    • 200OKStatusCount: Số request thành công (HTTP 200)
    • 403ForbiddenErrorCount: Số lỗi truy cập bị từ chối (HTTP 403)
    • 404NotFoundErrorCount: Số lỗi không tìm thấy object (HTTP 404)

Storage Lens – Free vs. Paid.

Free Metrics

  • Có sẵn tự động cho tất cả khách hàng
  • Bao gồm khoảng 28 chỉ số sử dụng
  • Dữ liệu chỉ truy vấn được trong 14 ngày

Advanced Metrics and Recommendations

  • Là các tính năng và chỉ số có thu phí
  • Advanced Metrics:
    • Bao gồm các chỉ số nâng cao về: hoạt động (Activity), Advanced Cost Optimization, Advanced Data Protection, và Status Code
  • CloudWatch Publishing:
    • Cho phép đẩy dữ liệu metrics sang CloudWatch mà không bị tính thêm phí xuất bản metrics riêng
  • Prefix Aggregation:
    • Cho phép thu thập metrics theo cấp độ prefix (thư mục con) để hiểu sâu hơn về các pattern sử dụng
  • Dữ liệu có thể truy vấn trong 15 tháng
Bạn thấy bài này thế nào?