Tutorial: Memulai dengan Amazon EMR

Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

Pada halaman Buat Cluster, perhatikan nilai default untuk R ilis, Jenis Inst ans, Jumlah instance, dan Izin. Bidang-bidang ini secara otomatis diisi dengan nilai-nilai yang berfungsi untuk cluster tujuan umum.

Di bidang Nama cluster, masukkan nama cluster unik untuk membantu Anda mengidentifikasi cluster Anda, sepertiMy first cluster. Nama cluster Anda tidak dapat berisi karakter <, >, $, |, atau `(backtick).

Di bawah Aplikasi, pilih opsi Spark untuk menginstal Spark pada klaster Anda.

Di bawah log cluster, pilih kotak centang Publikasikan log khusus cluster ke Amazon S3. Ganti nilai lokasi Amazon S3 dengan bucket Amazon S3 yang Anda buat, diikuti oleh/logs. Misalnya, s3://amzn-s3-demo-bucket/logs. Men /logs ambahkan membuat folder baru bernama 'log' di bucket Anda, tempat Amazon EMR dapat menyalin file log cluster Anda.

Di bawah Konfigurasi dan izin keamanan, pilih pasangan kunci EC2 Anda. Di bagian yang sama, pilih Peran Layanan untuk menu dropdown Amazon EMR dan pilih EMR_. DefaultRole Kemudian, pilih peran IAM untuk menu dropdown profil contoh dan pilih EMR_EC2_. DefaultRole

Pilih Buat cluster untuk meluncurkan cluster dan membuka halaman detail cluster.

Temukan Status cluster di sebelah nama cluster. Status berubah dari Mulai Ber jalan menjadi Menun ggu saat Amazon EMR menyediakan cluster. Anda mungkin perlu memilih ikon refresh di sebelah kanan atau menyegarkan browser Anda untuk melihat pembaruan status.

Buat peran default IAM yang kemudian dapat Anda gunakan untuk membuat cluster Anda dengan menggunakan perintah berikut.

aws emr create-default-roles

Untuk informasi selengkapnyacreate-default-roles, lihat Referensi AWS CLI Perintah.

Buat klaster Spark Anda dengan perintah berikut. Masukkan nama klaster Anda dengan opsi --name, dan tentukan nama pasangan kunci EC2 Anda dengan opsi --ec2-attributes.

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

Perhatikan nilai lain yang diperlukan untuk --instance-type, --instance-count, dan --use-default-roles. Nilai-nilai ini telah dipilih untuk klaster tujuan umum. Untuk informasi selengkapnyacreate-cluster, lihat Referensi AWS CLI Perintah.

Anda akan melihat output seperti berikut. Output menunjukkan ClusterId dan ClusterArn cluster baru Anda. Perhatikan AndaClusterId. Anda menggunakan ClusterId untuk memeriksa status cluster dan untuk mengirimkan pekerjaan.

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

Periksa status klaster Anda dengan perintah berikut.

aws emr describe-cluster --cluster-id <myClusterId>						

Anda akan melihat output seperti berikut dengan Status objek untuk cluster baru Anda.

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

StateNilai berubah dari STARTING RUNNING menjadi WAITING saat Amazon EMR menyediakan cluster.

Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih cluster tempat Anda ingin mengirimkan pekerjaan. Status cluster harus menunggu.

Pilih tab Langkah, lalu pilih Tam bah langkah.

Konfigurasikan langkah sesuai dengan pedoman berikut:

Pilih Tambahkan untuk mengirimkan langkah. Langkah akan ditampilkan di konsol dengan status Tertunda.

Pantau status langkah. Itu harus berubah dari Ter tunda ke Ber jalan ke Selesai. Untuk menyegarkan status di konsol, pilih ikon refresh di sebelah kanan Filter. Skrip membutuhkan waktu sekitar satu menit untuk dijalankan. Ketika status berubah menjadi Sel esai, langkah telah berhasil diselesaikan.

Pastikan Anda memiliki ClusterId dari klaster yang Anda luncurkan di Meluncurkan klaster Amazon EMR. Anda juga dapat mengambil ID klaster dengan perintah berikut.

aws emr list-clusters --cluster-states WAITING							

Kirim health_violations.py sebagai langkah dengan add-steps perintah dan AndaClusterId.

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

Untuk informasi selengkapnya tentang mengirimkan langkah-langkah menggunakan CLI, lihat Referensi Perintah AWS CLI.

Setelah Anda mengirimkan langkah, Anda akan melihat output seperti berikut dengan daftarStepIds. Karena Anda mengirimkan satu langkah, Anda hanya akan melihat satu ID dalam daftar. Salin ID langkah Anda. Anda menggunakan ID langkah Anda untuk memeriksa status langkah.

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

Kueri status langkah Anda dengan describe-step perintah.

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

Anda akan melihat output seperti berikut dengan informasi tentang langkah Anda.

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

State dari langkah berubah dari PENDING ke RUNNING ke COMPLETED selagi langkah berjalan. Langkah ini membutuhkan waktu sekitar satu menit untuk dijalankan, jadi Anda mungkin perlu memeriksa statusnya beberapa kali.

Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

Pilih Cluster, lalu pilih cluster yang ingin Anda akhiri.

Di bawah menu tar ik -turun Tindakan, pilih H entikan cluster.

Pilih Akh iri di kotak dialog. Tergantung pada konfigurasi cluster, penghentian mungkin memakan waktu 5 hingga 10 menit. Untuk informasi selengkapnya tentang cara membuat cluster Amazon EMR, lihatMenghentikan cluster Amazon EMR di status awal, berjalan, atau menunggu.

Memulai proses terminasi cluster dengan perintah berikut. Ganti <myClusterId> dengan ID cluster sampel Anda. Perintah tidak mengembalikan output.

aws emr terminate-clusters --cluster-ids <myClusterId>

Untuk memeriksa apakah proses penghentian cluster sedang berlangsung, periksa status cluster dengan perintah berikut.

aws emr describe-cluster --cluster-id <myClusterId>									

Berikut ini adalah contoh output dalam format JSON. Klaster Status akan berubah dari TERMINATING ke TERMINATED. Pengakhiran mungkin memakan waktu 5 hingga 10 menit tergantung pada konfigurasi cluster Anda. Untuk informasi selengkapnya tentang mengakhiri cluster Amazon EMR, lihat. Menghentikan cluster Amazon EMR di status awal, berjalan, atau menunggu

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}