AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada dari AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

EmrCluster

Merupakan konfigurasi EMR cluster Amazon. Objek ini digunakan oleh EmrActivity dan HadoopActivity untuk meluncurkan sebuah klaster.

Penjadwal

Penjadwal menyediakan cara untuk menentukan alokasi sumber daya dan prioritas tugas dalam klaster Hadoop. Administrator atau pengguna dapat memilih penjadwal untuk berbagai kelas pengguna dan aplikasi. Penjadwal bisa menggunakan antrean untuk mengalokasikan sumber daya untuk pengguna dan aplikasi. Anda mengatur antrean tersebut ketika Anda membuat klaster. Anda kemudian dapat mengatur prioritas untuk jenis pekerjaan tertentu dan pengguna atas orang lain. Ini menyediakan untuk efisien penggunaan klaster sumber daya, sementara mengizinkan lebih dari satu pengguna untuk mengirimkan pekerjaan ke klaster. Ada tiga jenis penjadwal yang tersedia:

Versi EMR Rilis Amazon

EMRRilis Amazon adalah seperangkat aplikasi open-source dari ekosistem big data. Setiap rilis terdiri dari berbagai aplikasi, komponen, dan fitur big data yang Anda pilih untuk EMR menginstal dan mengonfigurasi Amazon saat Anda membuat klaster. Anda menentukan versi rilis menggunakan Label rilis. Label rilis ada dalam bentukemr-x.x.x. Misalnya, emr-5.30.0. Amazon EMR cluster berdasarkan label rilis emr-4.0.0 dan kemudian menggunakan releaseLabel properti untuk menentukan label rilis EmrCluster objek. Versi sebelumnya menggunakan properti amiVersion.

Pertimbangan dan batasan

Gunakan versi terbaru Task Runner

Jika Anda menggunakan objek EmrCluster yang dikelola sendiri dengan label rilis, gunakan Task Runner terbaru. Untuk informasi selengkapnya tentang Task Runner, lihat Bekerja dengan Runner Tugas. Anda dapat mengonfigurasi nilai properti untuk semua klasifikasi EMR konfigurasi Amazon. Untuk informasi selengkapnya, lihat Mengonfigurasi Aplikasi di Panduan EMR Rilis Amazon, referensiEmrConfiguration, dan Properti objek.

Support untuk IMDSv2

Sebelumnya, hanya AWS Data Pipeline didukungIMDSv1. Sekarang, AWS Data Pipeline mendukung IMDSv2 di Amazon EMR 5.23.1, 5.27.1, dan 5.32 atau lebih baru, dan Amazon 6.2 atau lebih baru. EMR IMDSv2menggunakan metode berorientasi sesi untuk menangani otentikasi dengan lebih baik saat mengambil informasi metadata dari instance. Anda harus mengonfigurasi instance Anda untuk melakukan IMDSv2 panggilan dengan membuat sumber daya yang dikelola pengguna menggunakan -2.0. TaskRunner

Amazon EMR 5.32 atau lebih baru dan Amazon EMR 6.x

Seri rilis Amazon EMR 5.32 atau yang lebih baru dan 6.x menggunakan Hadoop versi 3.x, yang memperkenalkan perubahan besar dalam cara classpath Hadoop dievaluasi dibandingkan dengan Hadoop versi 2.x. Perpustakaan umum seperti Joda-Time telah dihapus dari classpath.

Jika EmrActivity atau HadoopActivity menjalankan file Jar yang memiliki dependensi pada perpustakaan yang telah dihapus di Hadoop 3.x, langkah gagal dengan kesalahan java.lang.NoClassDefFoundError atau java.lang.ClassNotFoundException. Ini dapat terjadi untuk file Jar yang berjalan tanpa masalah menggunakan versi rilis Amazon EMR 5.x.

Untuk memperbaiki masalah ini, Anda harus menyalin file Jar dependensi ke classpath Hadoop pada objek EmrCluster sebelum memulai EmrActivity atau HadoopActivity. Kami menyediakan script bash untuk melakukan hal ini. Skrip bash tersedia di lokasi berikut, di mana MyRegion adalah AWS Wilayah tempat EmrCluster objek Anda berjalan, misalnyaus-west-2.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

Cara menjalankan skrip tergantung pada apakah EmrActivity atau HadoopActivity berjalan pada sumber daya yang dikelola oleh AWS Data Pipeline atau dijalankan pada sumber daya yang dikelola sendiri.

Jika Anda menggunakan sumber daya yang dikelola oleh AWS Data Pipeline, tambahkan a bootstrapAction ke EmrCluster objek. bootstrapAction menentukan script dan file Jar untuk menyalin sebagai argumen. Anda dapat menambahkan hingga 255 bidang bootstrapAction per objek EmrCluster, dan Anda dapat menambahkan bidang bootstrapAction ke objek EmrCluster yang sudah memiliki tindakan bootstrap.

Untuk menentukan skrip ini sebagai tindakan bootstrap, gunakan sintaks berikut, di mana JarFileRegion adalah Wilayah tempat file Jar disimpan, dan masing-masing MyJarFilen adalah jalur absolut di Amazon S3 dari file Jar untuk disalin ke classpath Hadoop. Jangan menentukan file Jar yang berada di classpath Hadoop secara default.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

Contoh berikut menentukan tindakan bootstrap yang menyalin dua file Jar di Amazon S3: my-jar-file.jar dan emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. Wilayah yang digunakan dalam contoh ini adalah us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

Anda harus menyimpan dan mengaktifkan alur untuk perubahan ke bootstrapAction untuk mengambil efek.

Jika Anda menggunakan sumber daya yang dikelola sendiri, Anda dapat mengunduh skrip ke instance cluster dan menjalankannya dari baris perintah menggunakanSSH. Script membuat direktori bernama /etc/hadoop/conf/shellprofile.d dan sebuah file bernama datapipeline-jars.sh dalam direktori itu. File jar disediakan sebagai argumen baris perintah disalin ke direktori yang script ciptakan yang bernama /home/hadoop/datapipeline_jars. Jika klaster Anda diatur berbeda, modifikasi script dengan tepat setelah mengunduhnya.

Sintaks untuk menjalankan script pada baris perintah sedikit berbeda dari menggunakan bootstrapAction yang ditunjukkan pada contoh sebelumnya. Gunakan spasi bukan koma antara argumen, seperti yang ditunjukkan dalam contoh berikut.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

EMRIzin Amazon

Saat Anda membuat IAM peran kustom, pertimbangkan dengan cermat izin minimum yang diperlukan agar klaster Anda dapat melakukan pekerjaannya. Pastikan untuk memberikan akses ke sumber daya yang diperlukan, seperti file di Amazon S3 atau data di AmazonRDS, Amazon Redshift, atau DynamoDB. Jika Anda ingin mengatur visibleToAllUsers ke SALAH, peran Anda harus memiliki izin yang tepat untuk melakukannya. Perhatikan bahwa DataPipelineDefaultRole tidak memiliki izin ini. Anda harus memberikan penyatuan peran DefaultDataPipelineResourceRole dan DataPipelineDefaultRole sebagai peran objek EmrCluster, atau membuat peran Anda sendiri untuk tujuan ini.

Sintaks

Lihat Juga