Amazon FSx

Tổng quan

• Khởi tạo các file system hiệu năng cao từ bên thứ ba trên AWS
• Dịch vụ được quản lý hoàn toàn (Fully Managed Service)

Amazon FSx for Windows (File Server)

Amazon FSx for Windows được tạo ra nhằm cung cấp một dịch vụ chia sẻ file Windows (file system) hoàn chỉnh, hiệu suất cao, và tương thích đầy đủ với môi trường Windows, nhưng được quản lý hoàn toàn bởi AWS, giúp doanh nghiệp không cần tự triển khai và bảo trì file server truyền thống.

• FSx for Windows là dịch vụ Windows file system share drive được quản lý hoàn toàn bởi AWS
• Hỗ trợ giao thức SMB và định dạng file Windows NTFS
• Tích hợp với Microsoft Active Directory, hỗ trợ ACLs, user quotas
• Có thể mount từ các EC2 Linux
• Hỗ trợ Microsoft Distributed File System (DFS) Namespaces (gom nhóm file từ nhiều file system)
• Có thể scale lên hàng chục GB/s, hàng triệu IOPS, hàng trăm Petabyte dữ liệu
• Tùy chọn lưu trữ:
  • SSD – cho các workload nhạy về độ trễ (CSDL, xử lý media, phân tích dữ liệu,...)
  • HDD – cho các workload phổ thông (home directory, CMS,...)
• Hỗ trợ truy cập từ hạ tầng on-premises (qua VPN hoặc Direct Connect)
  • On-premises infrastructure (hạ tầng on-premises) là hệ thống máy chủ, mạng, lưu trữ,... được cài đặt, vận hành và quản lý ngay tại doanh nghiệp, thay vì đặt trong cloud của bên thứ ba như AWS, Azure hay GCP.
• Có thể cấu hình để chạy ở Multi-AZ (tăng khả năng sẵn sàng - High Availability)
• Dữ liệu được backup hàng ngày lên Amazon S3

Amazon FSx for Lustre

Amazon FSx for Lustre cung cấp một file system phân tán hiệu năng cao, lý tưởng cho các workload đòi hỏi băng thông cực lớn và độ trễ thấp như Machine Learning, HPC, xử lý video. Với khả năng tích hợp S3 mượt mà và tối ưu hóa cho lưu trữ dạng SSD/HDD, đây là lựa chọn hàng đầu cho các hệ thống xử lý dữ liệu chuyên sâu trong AWS.

• Lustre là một dạng hệ thống file phân tán song song (parallel distributed file system), phục vụ cho các tác vụ tính toán quy mô lớn.
• Tên gọi Lustre bắt nguồn từ “Linux” và “cluster”.
• Hỗ trợ các bài toán:
  • Machine Learning
  • Tính toán hiệu năng cao (HPC)
  • Xử lý video, mô hình tài chính, thiết kế điện tử (EDA)
• Có thể mở rộng:
  • Đến hàng trăm GB/s throughput
  • Hàng triệu IOPS
  • Độ trễ dưới mili-giây
• Tùy chọn lưu trữ:
  • SSD – cho các workload cần độ trễ thấp, thao tác file ngẫu nhiên nhỏ, cần IOPS cao.
  • HDD – phù hợp với các workload đòi hỏi băng thông lớn, thao tác file tuần tự và dung lượng lớn.
• Tích hợp liền mạch với S3:
  • Có thể “đọc S3” như một file system (thông qua FSx)
  • Có thể ghi output từ quá trình tính toán ngược lại vào S3 (thông qua FSx)
• Hỗ trợ truy cập từ hạ tầng on-premises (qua VPN hoặc Direct Connect)

FSx File System Deployment Options

• Scratch File System
  • Lưu trữ tạm thời
  • Dữ liệu không được nhân bản (không tồn tại nếu máy chủ file gặp sự cố)
  • Tốc độ burst cao (nhanh hơn gấp 6 lần, 200MBps mỗi TiB)
  • Mục đích sử dụng: xử lý ngắn hạn, tối ưu chi phí
• Persistent File System
  • Lưu trữ dài hạn
  • Dữ liệu được nhân bản trong cùng một Availability Zone
  • Các file bị lỗi được thay thế trong vài phút
  • Mục đích sử dụng: xử lý dài hạn, dữ liệu nhạy cảm

Amazon FSx for NetApp ONTAP

• Dịch vụ quản lý NetApp ONTAP trên AWS.
• Hệ thống file tương thích với các giao thức NFS, SMB và iSCSI.
• Cho phép di chuyển các workload đang chạy trên ONTAP hoặc NAS lên AWS.
• Tương thích với các môi trường:
  • Linux
  • Windows
  • MacOS
  • VMware Cloud on AWS
  • Amazon Workspaces & AppStream 2.0
  • Amazon EC2, ECS, và EKS
• Tính năng nổi bật:
  • Tự động scale dung lượng lưu trữ
  • Hỗ trợ các chức năng: snapshot, replication, tối ưu chi phí, nén dữ liệu và loại bỏ dữ liệu trùng lặp (de-duplication).
  • Tạo bản clone tức thời tại thời điểm cụ thể (point-in-time) – rất hữu ích cho việc test workload mới.

• Amazon FSx for NetApp ONTAP FS đóng vai trò như một file server hỗ trợ 3 giao thức: NFS, SMB, iSCSI.
• Các dịch vụ/môi trường như EC2, ECS, EKS, AppStream 2.0, WorkSpaces, VMware Cloud on AWS, các hệ điều hành Linux, Windows, MacOS và server on-premises có thể truy cập FSx ONTAP qua 1 trong 3 giao thức trên để đọc/ghi dữ liệu.
• Điều này tạo ra một lớp lưu trữ chia sẻ và cross-platform, giúp dễ dàng migrate dữ liệu từ môi trường on-prem lên AWS mà không cần refactor nhiều.

Amazon FSx for OpenZFS

• Hệ thống file OpenZFS được AWS quản lý.
• Tương thích giao thức NFS (v3, v4, v4.1, v4.2).
• Hỗ trợ di chuyển workload đang chạy trên ZFS lên AWS.
• Tương thích với:
  • Linux
  • Windows
  • MacOS
  • VMware Cloud on AWS
  • Amazon Workspaces & AppStream 2.0
  • Amazon EC2, ECS, và EKS
• Tính năng chính:
  • Tối đa 1.000.000 IOPS với độ trễ < 0.5ms.
  • Hỗ trợ snapshot, nén dữ liệu, chi phí thấp.