Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu Amazon EMR Tanpa Server?

Amazon EMR Tanpa Server adalah opsi penerapan untuk Amazon EMR yang menyediakan lingkungan runtime tanpa server. Ini menyederhanakan pengoperasian aplikasi analitik yang menggunakan kerangka kerja open-source terbaru, seperti Apache Spark dan Apache Hive. Dengan EMR Tanpa Server, Anda tidak perlu mengonfigurasi, mengoptimalkan, mengamankan, atau mengoperasikan cluster untuk menjalankan aplikasi dengan kerangka kerja ini.

EMR Tanpa Server membantu Anda menghindari sumber daya yang berlebihan atau kurang penyediaan untuk pekerjaan pemrosesan data Anda. EMR Tanpa Server secara otomatis menentukan sumber daya yang dibutuhkan aplikasi, mendapatkan sumber daya ini untuk memproses pekerjaan Anda, dan melepaskan sumber daya saat pekerjaan selesai. Untuk kasus penggunaan di mana aplikasi memerlukan respons dalam hitungan detik, seperti analisis data interaktif, Anda dapat melakukan pra-inisialisasi sumber daya yang dibutuhkan aplikasi saat membuat aplikasi.

Dengan EMR Tanpa Server, Anda akan terus mendapatkan manfaat Amazon EMR, seperti kompatibilitas open source, konkurensi, dan kinerja runtime yang dioptimalkan untuk kerangka kerja populer.

EMR Serverless cocok untuk pelanggan yang menginginkan kemudahan dalam mengoperasikan aplikasi menggunakan kerangka kerja open source. Ini menawarkan startup pekerjaan cepat, manajemen kapasitas otomatis, dan kontrol biaya langsung.

Konsep

Pada bagian ini, kami membahas istilah dan konsep EMR Tanpa Server yang muncul di seluruh Panduan Pengguna EMR Tanpa Server kami.

Versi rilis

Rilis EMR Amazon adalah seperangkat aplikasi open-source dari ekosistem big data. Setiap rilis mencakup berbagai aplikasi big data, komponen, dan fitur yang Anda pilih untuk EMR Serverless untuk disebarkan dan dikonfigurasi sehingga mereka dapat menjalankan aplikasi Anda. Saat Anda membuat aplikasi, Anda harus menentukan versi rilisnya. Pilih versi rilis Amazon EMR dan versi kerangka kerja sumber terbuka yang ingin Anda gunakan dalam aplikasi Anda. Untuk mempelajari lebih lanjut tentang versi pra-rilis, lihatAmazon EMR Versi rilis tanpa server.

Aplikasi

Dengan EMR Tanpa Server, Anda dapat membuat satu atau lebih aplikasi EMR Tanpa Server yang menggunakan kerangka kerja analitik open source. Untuk membuat aplikasi, Anda harus menentukan atribut berikut:

Setelah Anda membuat aplikasi, Anda dapat mengirimkan pekerjaan pemrosesan data atau permintaan interaktif ke aplikasi Anda.

Setiap aplikasi EMR Tanpa Server berjalan pada Amazon Virtual Private Cloud (VPC) yang aman secara ketat terpisah dari aplikasi lain. Selain itu, Anda dapat menggunakan kebijakan AWS Identity and Access Management (IAM) untuk menentukan pengguna dan peran mana yang dapat mengakses aplikasi. Anda juga dapat menentukan batasan untuk mengontrol dan melacak biaya penggunaan yang dikeluarkan oleh aplikasi.

Pertimbangkan untuk membuat beberapa aplikasi saat Anda perlu melakukan hal berikut:

EMR Tanpa Server adalah layanan Regional yang menyederhanakan bagaimana beban kerja berjalan di beberapa Availability Zone di suatu Wilayah. Untuk mempelajari lebih lanjut tentang cara menggunakan aplikasi dengan EMR Tanpa Server, lihat. Berinteraksi dengan dan mengkonfigurasi aplikasi EMR Tanpa Server

Tugas berjalan

Job run adalah permintaan yang dikirimkan ke aplikasi EMR Tanpa Server yang dijalankan dan dilacak oleh aplikasi secara askron hingga selesai. Contoh pekerjaan termasuk kueri HiveQL yang Anda kirimkan ke aplikasi Apache Hive, atau PySpark skrip pemrosesan data yang Anda kirimkan ke aplikasi Apache Spark. Saat mengirimkan pekerjaan, Anda harus menentukan peran runtime, yang ditulis di IAM, yang digunakan pekerjaan untuk mengakses AWS sumber daya, seperti objek Amazon S3. Anda dapat mengirimkan beberapa permintaan job run ke aplikasi, dan setiap job run dapat menggunakan peran runtime yang berbeda untuk mengakses AWS sumber daya. Aplikasi EMR Tanpa Server mulai mengeksekusi pekerjaan segera setelah menerimanya dan menjalankan beberapa permintaan pekerjaan secara bersamaan. Untuk mempelajari lebih lanjut tentang cara EMR Serverless menjalankan pekerjaan, lihat. Menjalankan pekerjaan

Pekerja

Aplikasi EMR Tanpa Server secara internal menggunakan pekerja untuk mengeksekusi beban kerja Anda. Ukuran default pekerja ini didasarkan pada jenis aplikasi Anda dan versi rilis Amazon EMR. Saat Anda menjadwalkan pekerjaan, Anda dapat mengganti ukuran ini.

Saat Anda mengirimkan pekerjaan, EMR Serverless menghitung sumber daya yang dibutuhkan aplikasi untuk pekerjaan dan menjadwalkan pekerja. EMR Tanpa Server memecah beban kerja Anda menjadi tugas, mengunduh gambar, ketentuan, dan menyiapkan pekerja, dan menonaktifkannya saat pekerjaan selesai. EMR Tanpa Server secara otomatis menskalakan pekerja naik atau turun berdasarkan beban kerja dan paralelisme yang diperlukan pada setiap tahap pekerjaan. Penskalaan otomatis ini menghilangkan kebutuhan bagi Anda untuk memperkirakan jumlah pekerja yang dibutuhkan aplikasi untuk menjalankan beban kerja Anda.

Kapasitas pra-inisialisasi

EMR Tanpa Server menyediakan fitur kapasitas pra-inisialisasi yang membuat pekerja diinisialisasi dan siap merespons dalam hitungan detik. Kapasitas ini secara efektif menciptakan kumpulan pekerja yang hangat untuk suatu aplikasi. Untuk mengkonfigurasi fitur ini untuk setiap aplikasi, atur initial-capacity parameter aplikasi. Saat Anda mengonfigurasi kapasitas pra-inisialisasi, pekerjaan dapat segera dimulai sehingga Anda dapat menerapkan aplikasi berulang dan pekerjaan yang sensitif terhadap waktu. Untuk mempelajari lebih lanjut tentang pekerja pra-inisialisasi, lihat. Mengkonfigurasi aplikasi saat bekerja dengan Tanpa Server EMR

Studio EMR

EMR Studio adalah konsol pengguna yang dapat Anda gunakan untuk mengelola aplikasi EMR Tanpa Server Anda. Jika EMR Studio tidak ada di akun Anda saat Anda membuat aplikasi EMR Tanpa Server pertama Anda, kami secara otomatis membuatnya untuk Anda. Anda dapat mengakses EMR Studio baik dari konsol Amazon EMR, atau Anda dapat mengaktifkan akses federasi dari penyedia identitas (iDP) Anda melalui IAM atau IAM Identity Center. Saat Anda melakukan ini, pengguna dapat mengakses Studio dan mengelola aplikasi EMR Tanpa Server tanpa akses langsung ke konsol EMR Amazon. Untuk mempelajari lebih lanjut tentang cara kerja aplikasi EMR Tanpa Server dengan EMR Studio, lihat dan. Membuat aplikasi EMR Tanpa Server dari konsol Studio EMR Menjalankan pekerjaan dari konsol EMR Studio