Storage Gateway

Hybrid Cloud for Storage

• AWS đang thúc đẩy mô hình "hybrid cloud"
  • Một phần hạ tầng của bạn nằm trên cloud
  • Một phần hạ tầng vẫn nằm on-premises (tại chỗ)
• Toàn bộ dữ liệu không nằm hết ở on-premises. Dữ liệu chính nằm trên cloud (S3), còn on-prem chỉ giữ cache một phần.
• Nguyên nhân có thể là do:
  • Quá trình migration lên cloud kéo dài
  • Các yêu cầu bảo mật
  • Các yêu cầu tuân thủ (compliance requirements)
  • IT strategy
• S3 là công nghệ lưu trữ độc quyền (proprietary storage technology) — không giống như EFS hoặc NFS — vậy làm sao để expose (truy cập/hiển thị) dữ liệu S3 từ hệ thống on-premises? 
  → Sử dụng AWS Storage Gateway!

AWS Storage Gateway

• Là cầu nối (bridge) giữa dữ liệu on-premises và dữ liệu trên cloud.
• Use cases 
  • Disaster recovery (khôi phục sau thảm họa)
  • Backup & restore (sao lưu và khôi phục)
  • Tiered storage (lưu trữ phân tầng: dữ liệu ít truy cập sẽ tự động đẩy lên cloud)
  • On-premises cache & low-latency files access (bộ đệm cục bộ để truy xuất file với độ trễ thấp)
• Các loại Storage Gateway:
  • S3 File Gateway
  • FSx File Gateway
  • Volume Gateway
  • Tape Gateway

S3 File Gateway

• Các S3 bucket được cấu hình có thể truy cập thông qua giao thức NFS hoặc SMB.
•  Dữ liệu được truy cập gần nhất sẽ được cache trong file gateway để tối ưu hiệu năng truy xuất.
• Hỗ trợ các lớp lưu trữ:
  • S3 Standard
  • S3 Standard-IA (Infrequent Access)
  • S3 One Zone-IA
  • S3 Intelligent-Tiering
• Có thể tự động chuyển dữ liệu sang S3 Glacier bằng cách sử dụng Lifecycle Policy.
• Việc truy cập bucket sử dụng IAM role riêng cho từng File Gateway.
• Giao thức SMB có thể tích hợp với Active Directory (AD) để xác thực người dùng.

• Giải thích sơ đồ:
  • Bên trái là Corporate Data Center, trong đó có Application Server kết nối với S3 File Gateway qua NFS hoặc SMB.
  • S3 File Gateway sẽ cache dữ liệu gần nhất và đồng bộ lên S3 thông qua giao thức HTTPS.
  • Trên AWS Cloud, dữ liệu được lưu trong các lớp lưu trữ như S3 Standard, S3 Standard-IA, v.v.
  • Sau một khoảng thời gian hoặc dựa trên policy định nghĩa, dữ liệu sẽ được chuyển sang S3 Glacier để tối ưu chi phí (cold storage).

FSx File Gateway

• FSx File Gateway cung cấp truy cập native tới Amazon FSx for Windows File Server qua giao thức SMB.
• Dữ liệu gốc nằm ở FSx trên AWS (có thể hiểu là ổ đĩa mạng Windows hosted trên cloud).
• Gateway (on-prem) chỉ cache dữ liệu truy cập thường xuyên để giảm độ trễ.
• Tương thích hoàn toàn với hệ sinh thái Windows: SMB, NTFS permission, Active Directory...

Volume Gateway

• Block storage sử dụng giao thức iSCSI và được hỗ trợ bởi S3
• Được hỗ trợ bởi các snapshot EBS, cho phép khôi phục các volume on-premises
• Cached volumes: truy cập độ trễ thấp đối với dữ liệu được truy cập gần đây
• Stored volumes: toàn bộ dataset nằm on-premises, backup theo lịch trình lên S3