Memulai dengan EMR Tanpa Server dari konsol

Untuk menjalankan pekerjaan Spark

1. Unggah skrip sampel wordcount.py ke bucket baru Anda dengan perintah berikut.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. Menyelesaikan Langkah 1: Buat aplikasi EMR Tanpa Server membawa Anda ke halaman detail Aplikasi di EMR Studio. Di sana, pilih opsi Kirim pekerjaan.

3. Pada halaman Kirim pekerjaan, lengkapi yang berikut ini.

   • Di bidang Nama, masukkan nama yang ingin Anda panggil job run.

   • Di bidang peran Runtime, masukkan nama peran yang Anda buat. Buat peran runtime pekerjaan

   • Di bidang Lokasi skrip, masukkan s3://amzn-s3-demo-bucket/scripts/wordcount.py sebagai S3URI.

   • Di bidang argumen Script, masukkan["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"].

   • Di bagian properti Spark, pilih Edit sebagai teks dan masukkan konfigurasi berikut.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. Untuk memulai pekerjaan, pilih Kirim pekerjaan.

5. Di tab Job runs, Anda akan melihat pekerjaan baru Anda berjalan dengan status Running.

Untuk menjalankan pekerjaan Hive

1. Buat file bernama hive-query.ql yang berisi semua kueri yang ingin Anda jalankan dalam pekerjaan Hive Anda.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. Unggah hive-query.ql ke bucket S3 Anda dengan perintah berikut.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. Menyelesaikan Langkah 1: Buat aplikasi EMR Tanpa Server membawa Anda ke halaman detail Aplikasi di EMR Studio. Di sana, pilih opsi Kirim pekerjaan.

4. Pada halaman Kirim pekerjaan, lengkapi yang berikut ini.

   • Di bidang Nama, masukkan nama yang ingin Anda panggil job run.

   • Di bidang peran Runtime, masukkan nama peran yang Anda buat. Buat peran runtime pekerjaan

   • Di bidang Lokasi skrip, masukkan s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql sebagai S3URI.

   • Di bagian Properti sarang, pilih Edit sebagai teks, dan masukkan konfigurasi berikut.

     --hiveconf hive.log.explain.output=false

   • Di bagian konfigurasi Job, pilih Edit sebagai JSON, dan masukkan yang berikut iniJSON.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. Untuk memulai pekerjaan, pilih Kirim pekerjaan.

6. Di tab Job runs, Anda akan melihat pekerjaan baru Anda berjalan dengan status Running.

1. Arahkan ke tab Workspaces di EMR Studio. Jika Anda masih perlu mengonfigurasi lokasi penyimpanan Amazon S3 dan peran layanan EMR Studio, pilih tombol Configure studio di spanduk di bagian atas layar.

2. Untuk mengakses buku catatan, pilih Workspace atau buat Workspace baru. Gunakan Quick launch untuk membuka Workspace Anda di tab baru.

3. Buka tab yang baru dibuka. Pilih ikon Compute dari navigasi kiri. Pilih EMR Tanpa Server sebagai tipe Compute.

4. Pilih aplikasi berkemampuan interaktif yang Anda buat di bagian sebelumnya.

5. Di bidang peran Runtime, masukkan nama IAM peran yang dapat diasumsikan oleh aplikasi EMR Tanpa Server Anda untuk menjalankan pekerjaan. Untuk mempelajari lebih lanjut tentang peran runtime, lihat Peran runtime Job di Panduan Pengguna Tanpa EMR Server Amazon.

6. Pilih Lampirkan. Ini mungkin memakan waktu hingga satu menit. Halaman akan disegarkan saat dilampirkan.

7. Pilih kernel dan mulai notebook. Anda juga dapat menelusuri contoh buku catatan di EMR Tanpa Server dan menyalinnya ke Workspace Anda. Untuk mengakses contoh buku catatan, navigasikan ke {...}menu di navigasi kiri dan telusuri buku catatan yang ada serverless di nama file notebook.

8. Di buku catatan, Anda dapat mengakses tautan log driver dan tautan ke Apache Spark UI, antarmuka waktu nyata yang menyediakan metrik untuk memantau pekerjaan Anda. Untuk informasi selengkapnya, lihat Memantau aplikasi dan pekerjaan EMR Tanpa Server di Panduan Pengguna Tanpa EMRServer Amazon.