Amazon EMR (Elastic MapReduce)

Amazon EMR

• EMR là viết tắt của "Elastic MapReduce".
• EMR hỗ trợ tạo các cụm Hadoop (Big Data) để phân tích và xử lý khối lượng dữ liệu lớn.
• Các cụm có thể bao gồm hàng trăm máy chủ EC2.
• EMR đi kèm sẵn với các công cụ như Apache Spark, HBase, Presto, Flink...
• EMR tự động xử lý việc cấp phát tài nguyên và cấu hình.
• Hỗ trợ auto-scaling và tích hợp với Spot Instances.
• Use cases: xử lý dữ liệu, machine learning, lập chỉ mục web, big data...

Note types & Purchasing

• Master Node: Quản lý cụm (cluster), điều phối, giám sát tình trạng – chạy lâu dài.
• Core Node: Thực thi tác vụ và lưu trữ dữ liệu – chạy lâu dài.
• Task Node (tùy chọn): Chỉ dùng để thực thi tác vụ – thường sử dụng Spot Instance.
• Tùy chọn mua:
  • On-demand: Đáng tin cậy, dễ dự đoán, không bị chấm dứt đột ngột.
  • Reserved (tối thiểu 1 năm): Tiết kiệm chi phí (EMR sẽ tự động sử dụng nếu có).
  • Spot Instances: Rẻ hơn, có thể bị chấm dứt bất kỳ lúc nào, ít đáng tin cậy hơn.
• Có thể cấu hình cụm chạy lâu dài hoặc cụm tạm thời (transient cluster)