AWS DataSync

Là dịch vụ dùng để di chuyển (migrate) hoặc đồng bộ (replicate) dữ liệu một cách hiệu quả giữa:
- On-prem hoặc cloud khác ⟷ AWS: Bạn cần cài agent (thường là máy ảo) nằm trong mạng on-prem để đọc filesystem và stream lên AWS.
- Dịch vụ lưu trữ AWS ⟷ dịch vụ lưu trữ AWS: Không cần agent vì AWS có thể truy cập trực tiếp vào các dịch vụ lưu trữ (ví dụ từ EFS sang S3).
Có thể đồng bộ dữ liệu đến các service
- Amazon S3 (bao gồm mọi storage class – kể cả Glacier)
- Amazon EFS
- Amazon FSx (hỗ trợ các loại như: Windows, Lustre, NetApp, OpenZFS...)
Các tác vụ replicate có thể lên lịch theo giờ, ngày hoặc tuần
Quyền truy cập file và metadata sẽ được giữ nguyên
(bao gồm quyền POSIX của NFS hoặc quyền SMB)
Một tác vụ agent có thể dùng băng thông lên đến 10 Gbps, có thể cấu hình giới hạn băng thông

NFS là gì ?

NFS là viết tắt của Network File System — một giao thức chia sẻ file qua mạng do Sun Microsystems phát triển.
Mục đích
- Cho phép các hệ thống khác nhau (thường là Unix/Linux) gắn kết (mount) thư mục từ máy chủ từ xa như thể nó là ổ đĩa nội bộ.
Cách hoạt động
- Máy chủ NFS chia sẻ thư mục hoặc ổ đĩa.
- Máy khách NFS kết nối và gắn kết thư mục đó vào hệ thống file của mình.
- Từ phía ứng dụng hoặc người dùng, không khác gì truy cập thư mục cục bộ.

SMB là gì ?

SMB là viết tắt của Server Message Block — một giao thức mạng được phát triển bởi Microsoft, dùng để chia sẻ file, máy in, và các tài nguyên khác trong mạng nội bộ, chủ yếu trên các hệ thống Windows.
Mục đích
- Cho phép máy tính trong mạng truy cập các tài nguyên được chia sẻ giống như ổ đĩa cục bộ, tương tự như NFS nhưng thường dùng trong môi trường Windows.
Cách hoạt động
- Máy chủ chia sẻ thư mục thông qua SMB.
- Máy khách (client) truy cập bằng cách "map network drive" hoặc dùng lệnh.

NFS/SMB to AWS (S3, EFS, FSx…)

Sơ đồ mô tả quá trình di chuyển dữ liệu từ hệ thống on-premises sử dụng NFS hoặc SMB lên AWS Storage Services thông qua AWS DataSync.

On-Premises:
- NFS or SMB Server
  → Hệ thống lưu trữ cục bộ hoặc file server trên mạng nội bộ, hỗ trợ giao thức NFS hoặc SMB.
- AWS DataSync Agent
  → Là một agent cài đặt trên môi trường on-prem (hoặc có thể là máy ảo)
  → Đọc dữ liệu từ NFS/SMB và gửi qua TLS tới AWS DataSync trong AWS Region.
- AWS Snowcone (agent pre-installed)
  → Thiết bị phần cứng nhỏ gọn của AWS dùng trong trường hợp không có kết nối mạng trực tiếp hoặc muốn sync offline
  → Được cài sẵn agent DataSync.
AWS Region:
- AWS DataSync (Service trong Region)
  → Nhận dữ liệu qua kết nối TLS encrypted, sau đó ghi dữ liệu đến các service lưu trữ đích.

Transfer between AWS storage services

Sơ đồ này mô tả việc sử dụng AWS DataSync để di chuyển dữ liệu giữa các dịch vụ lưu trữ AWS với nhau, tức là nội bộ trong AWS, không liên quan đến hệ thống on-premises.

Source ↔ destination đều có thể là:
- Amazon S3 – Object storage service.
- Amazon EFS – Elastic File System, file system theo chuẩn NFS.
- Amazon FSx –File system managed service hỗ trợ:
  - Windows File Server
  - NetApp ONTAP
  - Lustre
  - OpenZFS
AWS DataSync
- Đóng vai trò là cầu nối để copy dữ liệu và metadata giữa các service AWS.
- Hỗ trợ copy một chiều hoặc hai chiều.
- DataSync đảm bảo:
  - Dữ liệu và metadata (như ACLs, timestamps, ownership) được giữ nguyên.
  - Tốc độ cao, tự động hóa, có thể lên lịch (schedule).
  - Theo dõi trạng thái, logs, retry, encryption đầy đủ.