Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fleksibilitas Availability Zone untuk EMR klaster Amazon

Masing-masing Wilayah AWS memiliki beberapa lokasi terisolasi yang dikenal sebagai Availability Zones. Saat meluncurkan instance, Anda dapat secara opsional menentukan Availability Zone (AZ) di Wilayah AWS yang Anda gunakan. Fleksibilitas Availability Zone adalah distribusi instance di beberapaAZs. Jika satu instance gagal, Anda dapat mendesain aplikasi sehingga instance di AZ lain dapat menangani permintaan. Untuk informasi selengkapnya tentang Availability Zone, lihat dokumentasi Wilayah dan zona di Panduan EC2 Pengguna Amazon.

Fleksibilitas instans adalah penggunaan beberapa jenis instance untuk memenuhi persyaratan kapasitas. Bila Anda mengekspresikan fleksibilitas dengan instans, Anda dapat menggunakan kapasitas agregat di seluruh ukuran instans, keluarga, dan generasi. Fleksibilitas yang lebih besar meningkatkan peluang untuk menemukan dan mengalokasikan jumlah kapasitas komputasi yang Anda butuhkan jika dibandingkan dengan cluster yang menggunakan satu jenis instans.

Fleksibilitas Instance dan Availability Zone mengurangi kesalahan kapasitas (ICE) dan interupsi Spot yang tidak mencukupi jika dibandingkan dengan cluster dengan tipe instans tunggal atau AZ. Gunakan praktik terbaik yang dibahas di sini untuk menentukan contoh mana yang akan didiversifikasi setelah Anda mengetahui keluarga dan ukuran instans awal. Pendekatan ini memaksimalkan ketersediaan ke kumpulan EC2 kapasitas Amazon dengan kinerja minimal dan varians biaya.

Menjadi fleksibel tentang Availability Zone

Kami menyarankan Anda mengonfigurasi semua Availability Zone untuk digunakan di virtual private cloud (VPC) dan Anda memilihnya untuk EMR klaster Anda. Cluster harus ada hanya dalam satu Availability Zone, tetapi dengan armada EMR instans Amazon, Anda dapat memilih beberapa subnet untuk Availability Zone yang berbeda. Saat Amazon EMR meluncurkan cluster, ia melihat subnet tersebut untuk menemukan instance dan opsi pembelian yang Anda tentukan. Saat Anda menyediakan EMR klaster untuk beberapa subnet, klaster Anda dapat mengakses kumpulan EC2 kapasitas Amazon yang lebih dalam jika dibandingkan dengan cluster dalam satu subnet.

Jika Anda harus memprioritaskan sejumlah Availability Zone untuk digunakan di virtual private cloud (VPC) untuk EMR klaster, Anda dapat memanfaatkan kemampuan skor penempatan Spot dengan Amazon. EC2 Dengan penilaian penempatan Spot, Anda menentukan persyaratan komputasi untuk Instans Spot Anda, lalu EC2 mengembalikan sepuluh besar Wilayah AWS atau Availability Zone yang diberi skor pada skala dari 1 hingga 10. Skor 10 menunjukkan bahwa permintaan Spot Anda sangat mungkin berhasil; skor 1 menunjukkan bahwa permintaan Spot Anda tidak mungkin berhasil. Untuk informasi selengkapnya tentang cara menggunakan penilaian penempatan Spot, lihat Skor penempatan spot di Panduan EC2 Pengguna Amazon.

Menjadi fleksibel tentang jenis instance

Fleksibilitas instans adalah penggunaan beberapa jenis instance untuk memenuhi persyaratan kapasitas. Fleksibilitas instans menguntungkan penggunaan Instans Amazon EC2 Spot dan On-Demand. Dengan Instans Spot, fleksibilitas instans memungkinkan Amazon EC2 meluncurkan instans dari kumpulan kapasitas yang lebih dalam menggunakan data kapasitas waktu nyata. Ini juga memprediksi contoh mana yang paling tersedia. Ini menawarkan lebih sedikit gangguan dan dapat mengurangi biaya keseluruhan beban kerja. Dengan Instans Sesuai Permintaan, fleksibilitas instans mengurangi kesalahan kapasitas (ICE) yang tidak mencukupi ketika total penyediaan kapasitas di sejumlah besar kumpulan instans.

Untuk cluster Grup Instance, Anda dapat menentukan hingga 50 jenis EC2 instans. Untuk Instance Fleets dengan strategi alokasi, Anda dapat menentukan hingga 30 jenis EC2 instans untuk setiap grup node primer, inti, dan tugas. Berbagai contoh yang lebih luas meningkatkan manfaat fleksibilitas instans.

Mengekspresikan fleksibilitas contoh

Pertimbangkan praktik terbaik berikut untuk mengekspresikan fleksibilitas instans untuk aplikasi Anda.

Tentukan contoh keluarga dan ukuran

Amazon EMR mendukung beberapa jenis instans untuk kasus penggunaan yang berbeda. Jenis instance ini tercantum dalam Jenis instans yang didukung dengan Amazon EMR dokumentasi. Setiap jenis instance milik keluarga instance yang menjelaskan aplikasi apa yang dioptimalkan untuk jenis aplikasi tersebut.

Untuk beban kerja baru, Anda harus melakukan benchmark dengan tipe instance dalam keluarga tujuan umum, seperti m5 atau. c5 Kemudian, pantau OS dan YARN metrik dari Ganglia dan Amazon CloudWatch untuk menentukan kemacetan sistem pada beban puncak. Kemacetan meliputiCPU, memori, penyimpanan, dan operasi I/O. Setelah Anda mengidentifikasi kemacetan, pilih komputasi yang dioptimalkan, dioptimalkan memori, penyimpanan dioptimalkan, atau kelompok instans lain yang sesuai untuk jenis instans Anda. Untuk detail selengkapnya, lihat halaman Tentukan infrastruktur yang tepat untuk beban kerja Spark Anda di panduan praktik EMR terbaik Amazon. GitHub

Selanjutnya, identifikasi YARN kontainer terkecil atau pelaksana Spark yang dibutuhkan aplikasi Anda. Ini adalah ukuran instance terkecil yang sesuai dengan wadah dan ukuran instance minimum untuk cluster. Gunakan metrik ini untuk menentukan contoh yang dapat Anda diversifikasi lebih lanjut. Contoh yang lebih kecil akan memungkinkan lebih banyak fleksibilitas instance.

Untuk fleksibilitas contoh maksimum, Anda harus memanfaatkan sebanyak mungkin contoh. Kami menyarankan Anda melakukan diversifikasi dengan instance yang memiliki spesifikasi perangkat keras serupa. Ini memaksimalkan akses ke kumpulan EC2 kapasitas dengan biaya minimal dan varians kinerja. Diversifikasi lintas ukuran. Untuk melakukannya, prioritaskan AWS Graviton dan generasi sebelumnya terlebih dahulu. Sebagai aturan umum, cobalah untuk fleksibel di setidaknya 15 jenis instans untuk setiap beban kerja. Kami menyarankan Anda memulai dengan instans tujuan umum, pengoptimalan komputasi, atau memori yang dioptimalkan. Jenis contoh ini akan memberikan fleksibilitas terbesar.

Sertakan contoh tambahan

Untuk keragaman maksimum, sertakan jenis instance tambahan. Prioritaskan ukuran instans, Graviton, dan fleksibilitas generasi terlebih dahulu. Ini memungkinkan akses ke kumpulan EC2 kapasitas tambahan dengan profil biaya dan kinerja yang serupa. Jika Anda membutuhkan fleksibilitas lebih lanjut karena ICE atau gangguan spot, pertimbangkan varian dan fleksibilitas keluarga. Setiap pendekatan memiliki pengorbanan yang bergantung pada kasus penggunaan dan persyaratan Anda.