View a markdown version of this page

Cluster EMR aktif AWS Outposts - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cluster EMR aktif AWS Outposts

Dimulai dengan Amazon EMR 5.28.0, Anda dapat membuat dan menjalankan cluster EMR di. AWS Outposts AWS Outposts memungkinkan AWS layanan asli, infrastruktur, dan model operasi di fasilitas lokal. Di AWS Outposts lingkungan, Anda dapat menggunakan AWS API, alat, dan infrastruktur yang sama dengan yang Anda gunakan di AWS Cloud. Amazon EMR AWS Outposts on ideal untuk beban kerja latensi rendah yang perlu dijalankan di dekat data dan aplikasi lokal. Untuk informasi selengkapnya AWS Outposts, lihat Panduan AWS Outposts Pengguna.

Prasyarat

Berikut adalah prasyarat untuk menggunakan Amazon EMR pada AWS Outposts:

  • Anda harus menginstal dan mengonfigurasi AWS Outposts di pusat data lokal Anda.

  • Anda harus memiliki koneksi jaringan yang andal antara lingkungan Outpost Anda dan Wil AWS ayah.

  • Anda harus memiliki kapasitas yang cukup untuk jenis instans yang didukung Amazon EMR yang tersedia di Outpost Anda.

Batasan

Berikut ini adalah batasan penggunaan Amazon EMR pada AWS Outposts:

  • On-Demand Instans adalah satu-satunya opsi yang didukung untuk instans Amazon EC2. Instans Spot tidak tersedia untuk Amazon EMR pada AWS Outposts.

  • Jika Anda memerlukan volume penyimpanan Amazon EBS tambahan, hanya SSD Tujuan Umum (GP2) yang didukung.

  • Saat Anda menggunakan AWS Outposts Amazon EMR rilis 5.28 hingga 6.x, Anda hanya dapat menggunakan bucket S3 yang menyimpan objek dalam Wilayah AWS yang Anda tentukan. Dengan Amazon EMR 7.0.0 dan yang lebih tinggi, Amazon EMR aktif juga AWS Outposts didukung dengan klien sistem file, aw S3A alan. s3a://

  • Hanya jenis instans berikut yang didukung oleh Amazon EMR pada AWS Outposts:

    Kelas instans Tipe instans
    Tujuan umum

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Compute-optimized

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memory-optimized

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Storage-optimized

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Pertimbangan konektivitas jaringan

  • Jika konektivitas jaringan antara Outpost Anda dan AWS Wilayahnya hilang, cluster Anda akan terus berjalan. Namun, Anda tidak dapat membuat klaster baru atau mengambil tindakan baru pada klaster yang ada sampai konektivitas dipulihkan. Dalam kasus kegagalan instans, instans tidak akan diganti secara otomatis. Selain itu, tindakan seperti menambahkan langkah-langkah ke cluster yang sedang berjalan, memeriksa status eksekusi langkah, dan mengirim CloudWatch metrik dan peristiwa akan tertunda.

  • Kami menyarankan Anda menyediakan konektivitas jaringan yang andal dan sangat tersedia antara Pos Terdepan Anda dan Wil AWS ayah. Jika konektivitas jaringan antara Outpost Anda dan Wil AWS ayahnya hilang selama lebih dari beberapa jam, cluster yang telah mengaktifkan perlindungan penghentian akan terus berjalan, dan cluster yang telah menonaktifkan perlindungan penghentian dapat dihentikan.

  • Jika konektivitas jaringan akan terpengaruh karena pemeliharaan rutin, sebaiknya aktifkan perlindungan penghentian secara proaktif. Secara lebih umum, gangguan konektivitas berarti bahwa setiap dependensi eksternal yang tidak bersifat lokal ke Outpost atau jaringan pelanggan tidak akan dapat diakses. Ini termasuk Amazon S3, DynamoDB yang digunakan dengan tampilan konsistensi EMRFS, dan Amazon RDS jika instance dalam wilayah digunakan untuk cluster Amazon EMR dengan beberapa node utama.

Membuat cluster Amazon EMR pada AWS Outposts

Membuat cluster Amazon EMR AWS Outposts mirip dengan membuat cluster Amazon EMR di AWS Cloud. Saat membuat cluster Amazon EMR AWS Outposts, Anda harus menentukan subnet Amazon EC2 yang terkait dengan Outpost Anda.

Amazon VPC dapat menjangkau semua Zona Ketersediaan di suatu Wil AWS ayah. AWS Outposts adalah ekstensi Zona Ketersediaan, dan Anda dapat memperpanjang Amazon VPC di akun untuk menjangkau beberapa Zona Ketersediaan dan lokasi Pos Terdepan terkait. Saat Anda mengonfigurasi Outpost, Anda mengaitkan subnet dengannya untuk memperluas lingkungan VPC Regional Anda ke fasilitas on premise. Instans outpost dan layanan terkait muncul sebagai bagian dari VPC Regional Anda, mirip dengan Availability Zone dan subnet terkait. Untuk informasi selengkapnya, lihat AWS Outposts Panduan Pengguna.

Konsol

Untuk membuat cluster Amazon EMR baru AWS Outposts dengan Konsol Manajemen AWS, tentukan subnet Amazon EC2 yang terkait dengan Outpost Anda.

Console
Untuk membuat cluster pada AWS Outposts dengan konsol
  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

  3. Di bawah Konfigurasi klaster, pilih Grup instans atau Ar mada Instans. Kemudian, pilih jenis instans dari menu tarik- turun Pilih jenis instans EC2 atau pilih Tindakan dan pilih Tambahkan volume EBS. Amazon EMR pada AWS Outposts mendukung volume dan jenis instans Amazon EBS terbatas.

  4. Di bawah Jaringan, pilih subnet EC2 dengan ID pos terdepan dalam format ini: op-123456789.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan cluster Anda, pilih Buat cluster.

CLI
Untuk membuat cluster pada AWS Outposts dengan AWS CLI
  • Untuk membuat cluster Amazon EMR baru AWS Outposts dengan AWS CLI, tentukan subnet EC2 yang terkait dengan Outpost Anda, seperti pada contoh berikut. Ganti subnet-22XXXX01 dengan ID subnet Amazon EC2 Anda sendiri.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.13.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles