Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon EMR di EKS menyediakan opsi penyebaran untuk Amazon EMR yang memungkinkan Anda untuk menjalankan kerangka kerja big data sumber terbuka di Amazon Elastic Kubernetes Service (Amazon EKS). Topik ini memberi Anda konteks tentang beberapa terminologi umum untuk itu, termasuk ruang nama, cluster virtual, dan menjalankan pekerjaan, yang merupakan unit pekerjaan yang Anda kirimkan untuk diproses.
Namespace Kubernetes
Amazon EKS menggunakan namespace Kubernetes untuk membagi sumber daya klaster antara beberapa pengguna dan aplikasi. Namespace ini adalah dasar untuk lingkungan multi-penyewa. Namespace Kubernetes dapat memiliki Amazon EC2 atau AWS Fargate sebagai penyedia komputasi. Fleksibilitas ini memberi Anda pilihan performa dan biaya yang berbeda untuk dijalankan pada tugas Anda.
Klaster virtual
Sebuah klaster virtual adalah namespace Kubernetes tempat Amazon EMR terdaftar. Amazon EMR menggunakan klaster virtual untuk menjalankan tugas dan meng-host titik akhir. Beberapa klaster virtual dapat didukung oleh klaster fisik yang sama. Namun, setiap klaster virtual memetakan ke satu namespace pada klaster EKS. Klaster virtual tidak membuat sumber daya aktif apa pun yang berkontribusi pada tagihan Anda atau yang memerlukan manajemen siklus hidup di luar layanan.
Tugas berjalan
Job run adalah unit kerja, seperti jar Spark, PySpark skrip, atau kueri SparkSQL, yang Anda kirimkan ke Amazon EMR di EKS. Satu tugas dapat memiliki beberapa tugas berjalan. Ketika Anda mengirimkan tugas berjalan, Anda menyertakan informasi berikut:
-
Sebuah klaster virtual di mana tugas harus berjalan.
-
Sebuah nama tugas untuk mengidentifikasi tugas.
-
Peran eksekusi — IAM role tercakup yang menjalankan tugas dan memungkinkan Anda untuk menentukan sumber daya mana yang dapat diakses oleh tugas.
-
Label rilis Amazon EMR yang menentukan versi aplikasi sumber terbuka untuk digunakan.
-
Artefak yang digunakan saat mengirimkan tugas Anda, seperti parameter spark-submit.
Secara default, log diunggah ke server Riwayat Spark dan dapat diakses dari AWS Management Console. Anda juga dapat mendorong log peristiwa, log eksekusi, dan metrik ke Amazon S3 dan Amazon. CloudWatch
Kontainer Amazon EMR
Kontainer Amazon EMR adalah Nama API untuk Amazon EMR di EKS. Prefiks emr-containers digunakan dalam skenario berikut:
-
Ini adalah prefiks dalam perintah CLI untuk Amazon EMR di EKS. Misalnya,
aws emr-containers start-job-run. -
Ini adalah prefiks sebelum tindakan kebijakan IAM untuk Amazon EMR di EKS. Misalnya,
"Action": [ "emr-containers:StartJobRun"]. Untuk informasi selengkapnya, lihat Tindakan kebijakan untuk Amazon EMR di EKS. -
Ini adalah prefiks yang digunakan di Amazon EMR pada titik akhir layanan EKS. Misalnya,
emr-containers.us-east-1.amazonaws.com. Untuk informasi selengkapnya, lihat Amazon EMR pada Titik Akhir Layanan EKS.
