Contoh perintah terprogram untuk Notebook EMR - Amazon EMR
Gambaran UmumIzinBatasanContoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh perintah terprogram untuk Notebook EMR

Gambaran Umum

Anda dapat menjalankan EMR notebook dengan eksekusi APIs dari skrip atau dari baris perintah. Saat memulai, menghentikan, membuat daftar, dan menjelaskan eksekusi EMR notebook di luar AWS konsol, Anda dapat mengontrol buku catatan secara terprogram. EMR Anda dapat meneruskan nilai parameter yang berbeda ke notebook dengan sel notebook berparameter. Ini menghilangkan kebutuhan untuk membuat salinan notebook untuk setiap set nilai parameter baru. Untuk informasi selengkapnya, lihat EMRAPITindakan Amazon.

Anda dapat menjadwalkan atau mengelompokkan eksekusi EMR notebook dengan CloudWatch acara Amazon dan AWS Lambda. Untuk informasi selengkapnya, lihat Menggunakan AWS Lambda dengan CloudWatch Acara Amazon.

catatan

EMRNotebook tersedia sebagai Ruang Kerja EMR Studio di konsol. Tombol Create Workspace di konsol memungkinkan Anda membuat notebook baru. Untuk mengakses atau membuat Ruang Kerja, pengguna EMR Notebook memerlukan izin IAM peran tambahan. Untuk informasi selengkapnya, lihat EMRNotebook Amazon adalah Amazon EMR Studio Workspaces di konsol dan konsol Amazon EMR.

Izin peran untuk eksekusi terprogram

Untuk menggunakan eksekusi terprogram dengan EMR Notebook, Anda harus mengonfigurasi izin pengguna dengan kebijakan berikut:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Saat menjalankan EMR Notebook secara terprogram di klaster EMR Notebook, Anda harus menambahkan izin tambahan ini:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Keterbatasan dengan eksekusi terprogram

  • Maksimal 100 eksekusi bersamaan didukung Wilayah AWS per akun.

  • Eksekusi dihentikan jika berjalan selama lebih dari 30 hari.

  • Eksekusi terprogram notebook tidak didukung dengan aplikasi interaktif Amazon EMR Serverless.

Contoh eksekusi EMR notebook terprogram

Bagian berikut memberikan beberapa contoh eksekusi EMR notebook terprogram dengan AWS CLI, Boto3 (SDKPython), dan Ruby:

Anda juga dapat menjalankan notebook berparameter sebagai bagian dari alur kerja terjadwal dengan alat orkestrasi seperti Apache Airflow atau Amazon Managed Workflows for Apache Airflow (). MWAA Untuk informasi selengkapnya, lihat Mengatur pekerjaan analitik di EMR Notebook yang digunakan MWAA di Blog Big Data.AWS