View a markdown version of this page

Contoh perintah terprogram untuk Notebook EMR - Amazon EMR
Gambaran umumIzinBatasanContoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh perintah terprogram untuk Notebook EMR

Gambaran umum

Anda dapat mengeksekusi buku catatan EMR dengan API eksekusi dari skrip atau dari baris perintah. Saat Anda memulai, menghentikan, membuat daftar, dan menjelaskan eksekusi notebook EMR di luar AWS konsol, Anda dapat mengontrol notebook EMR secara terprogram. Anda dapat meneruskan nilai parameter yang berbeda ke notebook dengan sel notebook berparameter. Ini menghilangkan kebutuhan untuk membuat salinan notebook untuk setiap set nilai parameter baru. Untuk informasi selengkapnya, lihat tindakan https://docs.aws.amazon.com/emr/latest/APIReference/API_Operations.html Amazon EMR API.

Anda dapat menjadwalkan atau melakukan batch eksekusi notebook EMR dengan CloudWatch acara Amazon dan. AWS Lambda Untuk informasi selengkapnya, lihat Menggunakan AWS Lambda dengan Amazon Ev CloudWatch ents.

catatan

Notebook EMR tersedia sebagai Ruang Kerja EMR Studio di konsol. Tom bol Buat Ruang Kerja di konsol memungkinkan Anda membuat buku catatan baru. Untuk mengakses atau membuat Ruang Kerja, pengguna Buku Catatan EMR memerlukan izin peran IAM tambahan. Untuk informasi selengkapnya, lihat Notebook Amazon EMR adalah Ruang Kerja Amazon EMR Studio di konsol dan konsol Amazon EMR.

Izin peran untuk eksekusi terprogram

Untuk menggunakan eksekusi terprogram dengan Buku Catatan EMR, Anda harus mengonfigurasi izin pengguna dengan kebijakan berikut:

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Sid": "AllowExecutionActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:StartNotebookExecution",
        "elasticmapreduce:DescribeNotebookExecution",
        "elasticmapreduce:ListNotebookExecutions"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "AllowPassingServiceRole",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::123456789012:role/EMR_Notebooks_DefaultRole"
      ]
    }
  ]
}

Saat Anda menjalankan Notebook EMR secara terprogram pada cluster Notebook EMR, Anda harus menambahkan izin tambahan ini:

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Sid": "AllowRetrievingManagedEndpointCredentials",
      "Effect": "Allow",
      "Action": [
        "emr-containers:GetManagedEndpointSessionCredentials"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ],
      "Condition": {
        "StringEquals": {
          "emr-containers:ExecutionRoleArn": [
            "arn:aws:iam::123456789012:role/emr-on-eks-execution-role"
          ]
        }
      }
    },
    {
      "Sid": "AllowDescribingManagedEndpoint",
      "Effect": "Allow",
      "Action": [
        "emr-containers:DescribeManagedEndpoint"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ]
    }
  ]
}

Keterbatasan dengan eksekusi terprogram

  • Maksimal 100 eksekusi bersamaan didukung Wilayah AWS per akun.

  • Eksekusi dihentikan jika berjalan lebih dari 30 hari.

  • Eksekusi notebook secara terprogram tidak didukung dengan aplikasi interaktif Amazon EMR Serverless.

Contoh eksekusi notebook EMR terprogram

Bagian berikut memberikan beberapa contoh eksekusi notebook EMR terprogram dengan AWS CLI, Boto3 SDK (Python), dan Ruby:

Anda juga dapat menjalankan notebook berparameter sebagai bagian dari alur kerja terjadwal dengan alat orkestrasi seperti Apache Airflow atau Amazon Managed Workflow untuk Apache Airflow (MWAA). Untuk informasi selengkapnya, lihat Mengatur pekerjaan analitik pada Notebook EMR menggunakan MWAA di Blog Data AWS Besar.