View a markdown version of this page

Fleksibilitas Zona Ketersediaan untuk cluster Amazon EMR - Amazon EMR
Fleksibilitas Zona KetersediaanFleksibilitas instans

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fleksibilitas Zona Ketersediaan untuk cluster Amazon EMR

Masing-masing Wilayah AWS memiliki beberapa lokasi terisolasi yang dikenal sebagai Zona Ketersediaan. Saat meluncurkan instance, Anda dapat secara opsional menentukan Availability Zone (AZ) di Wilayah AWS yang Anda gunakan. Fleksibilitas Zona Ketersediaan adalah distribusi instans di beberapa AZ. Jika satu instance gagal, Anda dapat merancang aplikasi Anda sehingga instance di AZ lain dapat menangani permintaan. Untuk informasi selengkapnya tentang Zona Ketersediaan, lihat dokumentasi Wil ayah dan zona di Panduan Pengguna Amazon EC2.

Fleksibilitas instans adalah penggunaan beberapa jenis instans untuk memenuhi persyaratan kapasitas. Saat Anda mengekspresikan fleksibilitas dengan instance, Anda dapat menggunakan kapasitas agregat di seluruh ukuran instans, keluarga, dan generasi. Fleksibilitas yang lebih besar meningkatkan kesempatan untuk menemukan dan mengalokasikan jumlah kapasitas komputasi yang diperlukan jika dibandingkan dengan cluster yang menggunakan tipe instans tunggal.

Fleksibilitas Instans dan Zona Ketersediaan mengurangi kesalahan kapasitas tidak mencukupi (ICE) dan gangguan Spot jika dibandingkan dengan cluster dengan tipe instans tunggal atau AZ. Gunakan praktik terbaik yang dibahas di sini untuk menentukan instance mana yang akan didiversifikasi setelah Anda mengetahui keluarga dan ukuran instans awal. Pendekatan ini memaksimalkan ketersediaan untuk kumpulan kapasitas Amazon EC2 dengan kinerja dan varians biaya minimal.

Menjadi fleksibel tentang Availability Zone

Sebaiknya Anda mengonfigurasi semua Availability Zone untuk digunakan di cloud pribadi virtual (VPC) dan memilihnya untuk cluster EMR Anda. Cluster harus ada hanya di satu Zona Ketersediaan, tetapi dengan armada instans Amazon EMR, Anda dapat memilih beberapa subnet untuk Zona Ketersediaan yang berbeda. Saat Amazon EMR meluncurkan cluster, ia melihat seluruh subnet tersebut untuk menemukan instance dan opsi pembelian yang Anda tentukan. Saat Anda menyediakan cluster EMR untuk beberapa subnet, cluster Anda dapat mengakses kumpulan kapasitas Amazon EC2 yang lebih dalam jika dibandingkan dengan cluster dalam satu subnet.

Jika Anda harus memprioritaskan sejumlah Zona Ketersediaan untuk digunakan di cloud pribadi virtual (VPC) untuk cluster EMR Anda, Anda dapat memanfaatkan kemampuan skor penempatan Spot dengan Amazon EC2. Dengan penilaian penempatan Spot, Anda menentukan persyaratan komputasi untuk Instans Spot, lalu EC2 mengembalikan sepuluh teratas Wilayah AWS atau Zona Ketersediaan yang diberi skor pada skala dari 1 hingga 10. Skor 10 menunjukkan bahwa permintaan Spot Anda sangat mungkin berhasil; skor 1 menunjukkan bahwa permintaan Spot Anda tidak mungkin berhasil. Untuk informasi selengkapnya tentang cara menggunakan penilaian penempatan S pot, lihat Skor penempatan Spot di Panduan Pengguna Amazon EC2.

Menjadi fleksibel tentang jenis instance

Fleksibilitas instans adalah penggunaan beberapa jenis instans untuk memenuhi persyaratan kapasitas. Fleksibilitas instans menguntungkan penggunaan Amazon EC2 Spot dan On-Demand Instans. Dengan Instans Spot, fleksibilitas instans memungkinkan Amazon EC2 meluncurkan instans dari kumpulan kapasitas yang lebih dalam menggunakan data kapasitas waktu nyata. Ini juga memprediksi contoh mana yang paling tersedia. Ini menawarkan lebih sedikit interupsi dan dapat mengurangi biaya keseluruhan beban kerja. Dengan On-Demand Instans, fleksibilitas instans mengurangi kesalahan kapasitas tidak mencukupi (ICE) saat penyediaan kapasitas total di sejumlah besar kumpulan instans.

Untuk cluster Grup Instance, Anda dapat menentukan hingga 50 jenis instans EC2. Untuk Armada Instans dengan strategi alokasi, Anda dapat menentukan hingga 30 jenis instans EC2 untuk setiap grup simpul utama, inti, dan node tugas. Rentang instance yang lebih luas meningkatkan manfaat fleksibilitas instans.

Mengekspresikan fleksibilitas instans

Pertimbangkan praktik terbaik berikut untuk mengekspresikan fleksibilitas instans untuk aplikasi Anda.

Tentukan keluarga dan ukuran instance

Amazon EMR mendukung beberapa jenis instans untuk kasus penggunaan yang berbeda. Jenis instance ini tercantum dalam Jenis instans yang didukung dengan Amazon EMR dokumentasi. Setiap jenis instance termasuk dalam keluarga instance yang menjelaskan untuk aplikasi apa jenis tersebut dioptimalkan.

Untuk beban kerja baru, Anda harus melakukan benchmark dengan jenis instans dalam rangkaian tujuan umum, seperti m5 atauc5. Kemudian, pantau metrik OS dan YARN dari Ganglia dan Amazon CloudWatch untuk menentukan kemacetan sistem pada beban puncak. Hambatan termasuk CPU, memori, penyimpanan, dan operasi. I/O Setelah mengidentifikasi hambatan, pilih komputasi dioptimalkan, memori dioptimalkan, penyimpanan dioptimalkan, atau rangkaian instans lain yang sesuai untuk jenis instans Anda. Untuk detail selengkapnya, lihat halaman Menentukan infrastruktur yang tepat untuk beban kerja Spark Anda di panduan praktik terbaik Amazon EMR di. GitHub

Selanjutnya, identifikasi wadah YARN terkecil atau eksekutor Spark yang dibutuhkan aplikasi Anda. Ini adalah ukuran instance terkecil yang sesuai dengan wadah dan ukuran instance minimum untuk cluster. Gunakan metrik ini untuk menentukan instance yang dapat Anda diversifikasi lebih lanjut. Instance yang lebih kecil akan memungkinkan fleksibilitas instans yang lebih besar.

Untuk fleksibilitas instans maksimum, Anda harus memanfaatkan instans sebanyak mungkin. Sebaiknya Anda melakukan diversifikasi dengan instans yang memiliki spesifikasi perangkat keras serupa. Ini memaksimalkan akses ke kumpulan kapasitas EC2 dengan biaya dan varians kinerja minimal. Diversifikasi lintas ukuran. Untuk melakukannya, prioritaskan AWS Graviton dan generasi sebelumnya terlebih dahulu. Sebagai aturan umum, cobalah bersikap fleksibel di setidaknya 15 jenis instans untuk setiap beban kerja. Kami menyarankan Anda memulai dengan instance tujuan umum, komputasi yang dioptimalkan, atau yang dioptimalkan memori. Jenis instance ini akan memberikan fleksibilitas terbesar.

Sertakan contoh tambahan

Untuk keragaman maksimum, sertakan jenis instance tambahan. Prioritaskan ukuran instans, Graviton, dan fleksibilitas generasi terlebih dahulu. Hal ini memungkinkan akses ke kumpulan kapasitas EC2 tambahan dengan profil biaya dan kinerja yang serupa. Jika Anda membutuhkan fleksibilitas lebih lanjut karena ICE atau gangguan spot, pertimbangkan fleksibilitas varian dan keluarga. Setiap pendekatan memiliki pertukaran yang bergantung pada kasus penggunaan dan persyaratan Anda.

  • Fleksibilitas ukuran — Pertama, diversifikasi dengan contoh ukuran berbeda dalam keluarga yang sama. Instans dalam keluarga yang sama memberikan biaya dan kinerja yang sama, tetapi dapat meluncurkan jumlah kontainer yang berbeda di setiap host. Misalnya, jika ukuran eksekutor minimum yang Anda butuhkan adalah memori 2vCPU dan 8Gb, ukuran instance minimum adalah. m5.xlarge Untuk fleksibilitas ukuran, termasukm5.xlarge,m5.2xlarge,m5.4xlarge,m5.8xlarge,m5.12xlarge,m5.16xlarge, danm5.24xlarge.

  • Fleksibilitas Graviton — Selain ukuran, Anda dapat melakukan diversifikasi dengan instance Graviton. Instans Graviton didukung oleh prosesor AWS Graviton2 yang memberikan kinerja harga terbaik untuk beban kerja cloud di Amazon EC2. Misalnya, dengan ukuran instance minimumm5.xlarge, Anda dapat menyertakan,m6g.xlarge,, m6g.2xlarge m6g.4xlargem6g.8xlarge, dan m6g.16xlarge untuk fleksibilitas Graviton.

  • Fleksibilitas generasi — Mirip dengan Graviton dan fleksibilitas ukuran, instance dalam keluarga generasi sebelumnya memiliki spesifikasi perangkat keras yang sama. Ini menghasilkan profil biaya dan kinerja yang serupa dengan peningkatan total kumpulan Amazon EC2 yang dapat diakses. Untuk fleksibilitas generasi, termasukm4.xlarge,m4.2xlarge,m4.10xlarge, danm4.16xlarge.

  • Fleksibilitas keluarga dan varian

    • Kapasitas — Untuk mengoptimalkan kapasitas, kami merekomendasikan fleksibilitas instans di seluruh keluarga instans. Instans umum dari keluarga instans yang berbeda memiliki kumpulan instans yang lebih dalam yang dapat membantu memenuhi persyaratan kapasitas. Namun, instance dari keluarga yang berbeda akan memiliki rasio vCPU terhadap memori yang berbeda. Hal ini mengakibatkan kurangnya pemanfaatan jika wadah aplikasi yang diharapkan berukuran untuk instance yang berbeda. Misalnya, denganm5.xlarge, sertakan instans yang dioptimalkan komputasi seperti c5 atau instans yang dioptimalkan memori seperti r5 misalnya fleksibilitas keluarga.

    • Biaya — Untuk mengoptimalkan biaya, kami merekomendasikan fleksibilitas instans di seluruh varian. Instans ini memiliki memori dan rasio vCPU yang sama dengan instance awal. Pengorbanan dengan fleksibilitas varian adalah bahwa instans ini memiliki kumpulan kapasitas yang lebih kecil yang dapat mengakibatkan kapasitas tambahan terbatas atau interupsi Spot yang lebih tinggi. m5.xlargeMisalnya, sertakan AMD-based instance (m5a), SSD-based instance (m5d) atau instance yang dioptimalkan jaringan (m5n) misalnya fleksibilitas varian.