Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memahami Amazon EMR tentang EKS konsep dan terminologi
Amazon EMR on EKS menyediakan opsi penerapan untuk Amazon EMR yang memungkinkan Anda menjalankan kerangka kerja big data sumber terbuka di Amazon Elastic Kubernetes Service (Amazon). EKS Topik ini memberi Anda konteks tentang beberapa terminologi umum untuk itu, termasuk ruang nama, cluster virtual, dan menjalankan pekerjaan, yang merupakan unit pekerjaan yang Anda kirimkan untuk diproses.
Namespace Kubernetes
Amazon EKS menggunakan ruang nama Kubernetes untuk membagi sumber daya klaster antara beberapa pengguna dan aplikasi. Namespace ini adalah dasar untuk lingkungan multi-penyewa. Namespace Kubernetes dapat memiliki Amazon EC2 atau AWS Fargate sebagai penyedia komputasi. Fleksibilitas ini memberi Anda pilihan performa dan biaya yang berbeda untuk dijalankan pada tugas Anda.
Klaster virtual
Cluster virtual adalah namespace Kubernetes tempat Amazon EMR terdaftar. Amazon EMR menggunakan klaster virtual untuk menjalankan pekerjaan dan meng-host titik akhir. Beberapa klaster virtual dapat didukung oleh klaster fisik yang sama. Namun, setiap cluster virtual memetakan ke satu namespace pada sebuah EKS cluster. Klaster virtual tidak membuat sumber daya aktif apa pun yang berkontribusi pada tagihan Anda atau yang memerlukan manajemen siklus hidup di luar layanan.
Tugas berjalan
Job run adalah unit kerja, seperti jar Spark, PySpark skrip, atau SQL kueri Spark, yang Anda kirimkan ke AmazonEMR. EKS Satu tugas dapat memiliki beberapa tugas berjalan. Ketika Anda mengirimkan tugas berjalan, Anda menyertakan informasi berikut:
-
Sebuah klaster virtual di mana tugas harus berjalan.
-
Sebuah nama tugas untuk mengidentifikasi tugas.
-
Peran eksekusi — IAM peran cakupan yang menjalankan pekerjaan dan memungkinkan Anda menentukan sumber daya mana yang dapat diakses oleh pekerjaan.
-
Label EMR rilis Amazon yang menentukan versi aplikasi sumber terbuka yang akan digunakan.
-
Artefak yang digunakan saat mengirimkan tugas Anda, seperti parameter spark-submit.
Secara default, log diunggah ke server Riwayat Spark dan dapat diakses dari AWS Management Console. Anda juga dapat mendorong log peristiwa, log eksekusi, dan metrik ke Amazon S3 dan Amazon. CloudWatch
EMRWadah Amazon
EMRWadah Amazon adalah APInama untuk Amazon EMR di EKS. Prefiks emr-containers digunakan dalam skenario berikut:
-
Ini adalah awalan dalam CLI perintah untuk Amazon EMR diEKS. Misalnya,
aws emr-containers start-job-run. -
Ini adalah awalan sebelum tindakan IAM kebijakan untuk EMR Amazon EKS aktif. Misalnya,
"Action": [ "emr-containers:StartJobRun"]. Untuk informasi selengkapnya, lihat Tindakan kebijakan untuk Amazon EMR di EKS. -
Ini adalah awalan yang digunakan di Amazon EMR pada titik akhir EKS layanan. Misalnya,
emr-containers.us-east-1.amazonaws.com. Untuk informasi selengkapnya, lihat Amazon EMR di Titik Akhir EKS Layanan.
