learnit

AWS Snow Family

5 phút đọcSeries: NoteBook: AWS Certified Solutions Architect Associate SAA-C031 lượt xem

AWS Snow Family

Các thiết bị di động, bảo mật cao dùng để thu thập và xử lý dữ liệu tại vùng biên (edge), đồng thời hỗ trợ di chuyển dữ liệu vào và ra khỏi AWS.

  • Di chuyển dữ liệu (Data migration):
    • Snowcone
    • Snowball Edge
    • Snowmobile
  • Điện toán biên (Edge computing):
    • Snowcone
    • Snowball Edge

AWS Snow Family - Data Migration

  • Các thách thức khi truyền dữ liệu qua mạng:
    • Kết nối mạng hạn chế
    • Băng thông thấp
    • Chi phí mạng cao
    • Băng thông chia sẻ (không tận dụng tối đa đường truyền)
    • Độ ổn định kết nối không đảm bảo
  • AWS Snow Family: thiết bị ngoại tuyến (offline) để thực hiện di chuyển dữ liệu
    Nếu việc truyền dữ liệu qua mạng mất hơn 1 tuần, hãy sử dụng thiết bị Snowball!
Sơ đồ
Upload trực tiếp lên S3:
  • Nếu bạn có đường truyền mạnh (ví dụ 10 Gbps), bạn có thể upload dữ liệu trực tiếp từ hệ thống nội bộ lên Amazon S3. Tuy nhiên, điều này yêu cầu:
    • Đường truyền ổn định và chuyên dụng.
    • Băng thông cao không bị chia sẻ.
    • Không bị gián đoạn kết nối trong suốt quá trình truyền dữ liệu (có thể kéo dài hàng giờ/ngày).
Với AWS Snow Family:
  • Dữ liệu được ghi vào thiết bị vật lý Snowball tại vị trí của bạn.
  • Sau đó thiết bị được gửi vật lý (ship) về AWS.
  • AWS sẽ tiến hành import dữ liệu vào S3 một cách an toàn và offline.
  • Không phụ thuộc vào mạng Internet, tránh tình trạng nghẽn băng thông hay downtime.
  • Phương pháp này thường được ưu tiên khi:
    • Dung lượng lớn (hàng trăm TB – PB).
    • Băng thông mạng hạn chế.
    • Cần đảm bảo bảo mật vật lý và tính toàn vẹn dữ liệu cao.

Snowball Edge (dành cho data transfer)

  • Giải pháp vận chuyển dữ liệu vật lý: di chuyển dữ liệu theo đơn vị TB hoặc PB ra/vào AWS.
  • Là phương án thay thế cho việc truyền dữ liệu qua mạng (tránh chi phí network egress).
  • Tính phí theo từng lần transfer dữ liệu.
  • Cung cấp block storage và object storage tương thích với Amazon S3.
  • Snowball Edge có 2 loại tối ưu hóa:
    • Snowball Edge Storage Optimized
      • Dung lượng: 80 TB HDD
      • Hỗ trợ block volume và object storage tương thích S3.
    • Snowball Edge Compute Optimized
      • Dung lượng: 42 TB HDD hoặc 28 TB NVMe
      • Hỗ trợ block volume và object storage tương thích S3.
  • Các trường hợp sử dụng
    • Di chuyển khối lượng lớn dữ liệu lên cloud.
    • Ngưng sử dụng datacenter (DC decommission).
    • Phục hồi sau thảm họa (disaster recovery).

AWS Snowcone & Snowcone SSD

  • Thiết bị tính toán nhỏ gọn, di động, có thể hoạt động ở bất kỳ đâu, cứng cáp & bảo mật, chịu được môi trường khắc nghiệt
  • Nhẹ (4.5 pounds, tương đương 2.1 kg)
  • Thiết bị được sử dụng cho edge computing, lưu trữ và truyền dữ liệu
    • Snowcone – 8TB lưu trữ HDD
    • Snowcone SSD – 14TB lưu trữ SSD
  • Sử dụng Snowcone trong các tình huống Snowball không phù hợp (ví dụ: môi trường bị giới hạn về không gian)
  • Người dùng phải tự trang bị pin và cáp kết nối
  • Có thể gửi lại AWS để xử lý offline, hoặc kết nối thiết bị với Internet và sử dụng AWS DataSync để truyền dữ liệu

AWS Snowmobile

  • Snowmobile thực chất là một container đặt trên xe tải, có thể vận chuyển đến data center của khách hàng, dùng để ingest khối lượng dữ liệu cực lớn mà không khả thi nếu truyền qua internet (vì mất hàng tháng hoặc thậm chí năm).
  • Dùng để truyền dữ liệu ở đơn vị exabyte (1 EB = 1,000 PB = 1,000,000 TB)
  • Mỗi thiết bị Snowmobile có dung lượng 100 PB (có thể sử dụng nhiều thiết bị song song)
  • Độ bảo mật cao: kiểm soát nhiệt độ, tích hợp GPS, giám sát bằng video 24/7
  • Tốt hơn Snowball nếu cần truyền dữ liệu hơn 10 PB
  • Điểm khác biệt lớn nhất so với Snowball hay Snowcone là quy mô: Snowmobile phục vụ migrate data center hoặc các dự án data lake khổng lồ, còn các thiết bị khác chỉ phù hợp với vài chục TB dữ liệu.
  • Dữ liệu sẽ được mã hóa, vận chuyển vật lý đến AWS, sau đó sẽ được upload vào S3 hoặc các dịch vụ khác nội bộ.

AWS Snow Family - Transfer Data Comparison

Snow Family – Quy trình sử dụng

  1. Yêu cầu thiết bị Snowball từ AWS Console để giao hàng
  2. Cài đặt Snowball Client hoặc AWS OpsHub trên server nội bộ
  3. Kết nối thiết bị Snowball vào server, sử dụng client để copy dữ liệu từ server vào Snowball
  4. Gửi lại thiết bị cho AWS sau khi hoàn tất (thiết bị sẽ được chuyển về đúng cơ sở AWS tương ứng)
  5. AWS sẽ nạp dữ liệu từ thiết bị vào một S3 bucket
  6. Thiết bị Snowball sẽ được xoá sạch hoàn toàn (wiped) sau khi upload xong

AWS Snow Family - Edge Computing

Edge Computing là gì?

  • Xử lý dữ liệu ngay tại nơi nó được tạo ra (tức là tại “vị trí edge”)
    → Ví dụ: xe tải đang di chuyển, tàu biển, trạm khai thác dưới lòng đất...
  • Các vị trí này có thể:
  • Bị hạn chế hoặc không có kết nối internet
  • Không có khả năng truy cập tính toán (computing power) dễ dàng
  • Chúng ta triển khai thiết bị Snowball Edge hoặc Snowcone để thực hiện xử lý tại edge
  • Một số use case của Edge Computing:
    • Tiền xử lý dữ liệu (preprocess data)
    • Chạy mô hình machine learning tại edge (machine learning inference)
    • Chuyển mã luồng media (transcoding media streams)
  • Cuối cùng (nếu cần) có thể gửi thiết bị trở lại AWS để upload dữ liệu (ví dụ: chuyển toàn bộ dữ liệu lên S3)
Bạn thấy bài này thế nào?