Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Opsi dan perilaku penyimpanan instans di Amazon EMR
Gambaran umum
Penyimpanan instans dan penyimpanan volume Amazon EBS digunakan untuk data HDFS dan untuk buffer, cache, data scratch, dan konten sementara lainnya yang mungkin “tumpah” oleh beberapa aplikasi ke sistem file lokal.
Amazon EBS bekerja secara berbeda dalam Amazon EMR dibandingkan dengan instans Amazon EC2 biasa. Volume Amazon EBS yang dilampirkan ke cluster Amazon EMR bersifat sementara: volume dihapus setelah penghentian cluster dan instans (misalnya, saat menyusut grup instans), jadi Anda seharusnya tidak mengharapkan data tetap ada. Meskipun data bersifat sementara, ada kemungkinan bahwa data dalam HDFS dapat direplikasi tergantung pada jumlah dan spesialisasi node dalam cluster. Saat Anda menambahkan volume penyimpanan Amazon EBS, volume ini dipasang sebagai volume tambahan. Mereka bukan bagian dari volume asal. YARN dikonfigurasi untuk menggunakan semua volume tambahan, tetapi Anda bertanggung jawab untuk mengalokasikan volume tambahan sebagai penyimpanan lokal (untuk file log lokal, misalnya).
Pertimbangan-pertimbangan
Ingatlah pertimbangan tambahan ini saat Anda menggunakan Amazon EBS dengan cluster EMR:
-
Anda tidak dapat mengambil snapshot volume Amazon EBS lalu mengembalikannya dalam Amazon EMR. Untuk membuat konfigurasi kustom yang dapat digunakan kembali, gunakan AMI kustom (tersedia di Amazon EMR versi 5.7.0 dan yang lebih baru). Untuk informasi selengkapnya, lihat Menggunakan AMI khusus untuk memberikan lebih banyak fleksibilitas untuk konfigurasi cluster Amazon EMR.
-
Volume perangkat root Amazon EBS terenkripsi hanya didukung saat menggunakan AMI khusus. Untuk informasi selengkapnya, lihat Membuat AMI khusus dengan volume perangkat asal Amazon EBS terenkripsi.
-
Jika Anda menerapkan tag menggunakan API Amazon EMR, operasi tersebut diterapkan ke volume EBS.
-
Ada batas 25 volume per instans.
-
Volume Amazon EBS pada node inti tidak boleh kurang dari 5 GB.
-
Amazon EBS memiliki batas tetap 2.500 volume EBS per permintaan peluncuran instans. Batas ini juga berlaku untuk Amazon EMR pada cluster EC2. Sebaiknya Anda meluncurkan cluster dengan jumlah total volume EBS dalam batas ini, dan kemudian meningkatkan skala cluster secara manual atau dengan penskalaan terkelola Amazon EMR sesuai kebutuhan. Untuk mempelajari selengkapnya tentang batas volume EBS, lihat Kuota layanan.
Penyimpanan Amazon EBS default untuk instans
Untuk instans EC2 yang memiliki EBS-only penyimpanan, Amazon EMR mengalokasikan volume penyimpanan Amazon EBS gp2 atau gp3 ke instans. Saat Anda membuat cluster dengan Amazon EMR rilis 5.22.0 dan yang lebih tinggi, jumlah default penyimpanan Amazon EBS meningkat relatif terhadap ukuran instance.
Kami membagi setiap peningkatan penyimpanan di beberapa volume. Ini memberikan peningkatan kinerja IOPS dan, pada gilirannya, peningkatan kinerja untuk beberapa beban kerja standar. Jika ingin menggunakan konfigurasi penyimpanan instans Amazon EBS yang berbeda, Anda dapat menentukan ini saat membuat cluster EMR atau menambahkan node ke cluster yang ada. Anda dapat menggunakan volume Amazon EBS gp2 atau gp3 sebagai volume root, dan menambahkan volume gp2 atau gp3 sebagai volume tambahan. Untuk informasi selengkapnya, lihat Menentukan volume penyimpanan EBS tambahan.
Tabel berikut mengidentifikasi jumlah default volume penyimpanan Amazon EBS gp2, ukuran, dan ukuran total per jenis instans. Untuk informasi tentang volume gp2 dibandingkan dengan gp3, lihat. Membandingkan tipe volume Amazon EBS gp2 dan gp3
| Ukuran instans | Jumlah volume | Ukuran volume (GiB) | Ukuran total (GiB) |
|---|---|---|---|
|
*.large |
1 |
32 |
32 |
|
*.xlarge |
2 |
32 |
64 |
|
*.2xlarge |
4 |
32 |
128 |
|
*.4xlarge |
4 |
64 |
256 |
|
*.8xlarge |
4 |
128 |
512 |
|
*.9xlarge |
4 |
144 |
576 |
|
*.10xlarge |
4 |
160 |
640 |
|
12xlarge |
4 |
192 |
768 |
|
*.16xlarge |
4 |
256 |
1024 |
|
*.18xlarge |
4 |
288 |
1152 |
|
*.24xlarge |
4 |
384 |
1536 |
Volume root Amazon EBS default untuk instans
Dengan Amazon EMR rilis 6.15 dan lebih tinggi, Amazon EMR secara otomatis melampirkan Amazon EBS General Purpose SSD (gp3) sebagai perangkat root untuk AMI untuk meningkatkan kinerja. Dengan rilis sebelumnya, Amazon EMR melampirkan EBS General Purpose SSD (gp2) sebagai perangkat root.
| 6.15 dan lebih tinggi | 6.14 dan lebih rendah | |
|---|---|---|
| Jenis volume root default |
|
|
| Ukuran default |
|
|
| IOPS standar |
|
|
| Throughput default |
|
Untuk informasi tentang cara menyesuaikan volume perangkat root Amazon EBS, lihatMenentukan volume penyimpanan EBS tambahan.
Menentukan volume penyimpanan EBS tambahan
Saat Anda mengonfigurasi tipe instans di Amazon EMR, Anda dapat menentukan volume EBS tambahan untuk menambah kapasitas di luar penyimpanan instans (jika ada) dan volume EBS default. Amazon EBS menyediakan jenis volume berikut: General Purpose (SSD), Provisioned IOPS (SSD), Throughput Optimized (HDD), Cold (HDD), dan Magnetic. Mereka berbeda dalam karakteristik kinerja dan harga, sehingga Anda dapat menyesuaikan penyimpanan Anda dengan kebutuhan analitik dan bisnis aplikasi Anda. Misalnya, beberapa aplikasi mungkin perlu tumpah ke disk sementara yang lain dapat bekerja dengan aman dalam memori atau dengan Amazon S3.
Anda hanya dapat melampirkan volume Amazon EBS ke instans pada waktu startup cluster dan saat menambahkan grup instance node tugas tambahan. Jika instance di cluster Amazon EMR gagal, maka instance dan volume Amazon EBS terlampir diganti dengan volume baru. Akibatnya, jika Anda melepaskan volume Amazon EBS secara manual, Amazon EMR memperlakukannya sebagai kegagalan dan menggantikan penyimpanan instans (jika ada) dan penyimpanan volume.
Amazon EMR tidak mengizinkan Anda memodifikasi jenis volume dari gp2 ke gp3 untuk cluster EMR yang ada. Untuk menggunakan gp3 untuk beban kerja Anda, luncurkan cluster EMR baru. Selain itu, kami tidak menyarankan Anda memperbarui throughput dan IOPS pada cluster yang sedang digunakan atau yang sedang disediakan, karena Amazon EMR menggunakan nilai throughput dan IOPS yang Anda tentukan pada waktu peluncuran cluster untuk setiap instance baru yang ditambahkan selama peningkatan skala cluster. Untuk informasi selengkapnya, lihat Membandingkan tipe volume Amazon EBS gp2 dan gp3 dan Memilih IOPS dan throughput saat bermigrasi ke tipe volume gp3 Amazon EBS.
penting
Untuk menggunakan volume gp3 dengan cluster EMR Anda, Anda harus meluncurkan cluster baru.
