Prasyarat crawler

Mode fokus

Prasyarat crawler - AWS Glue

Crawler mengasumsikan izin peran AWS Identity and Access Management (IAM) yang Anda tentukan saat Anda mendefinisikannya. IAM role ini harus memiliki izin untuk mengekstrak data dari penyimpanan data Anda dan menuliskannya ke Katalog Data. Bagian AWS Glue konsol hanya mencantumkan peran IAM yang telah melampirkan kebijakan kepercayaan untuk AWS Glue layanan utama. Dari konsol tersebut, Anda juga dapat membuat IAM role dengan kebijakan IAM untuk mengakses penyimpanan data Amazon S3 yang diakses oleh crawler. Untuk informasi lebih lanjut tentang menyediakan peran untuk AWS Glue, lihat Kebijakan berbasis identitas untuk Glue AWS.

catatan

Saat merayapi penyimpanan data Delta Lake, Anda harus memiliki izin Baca/Tulis ke lokasi Amazon S3.

Untuk crawler Anda, Anda dapat membuat sebuah peran dan melampirkan kebijakan berikut:

Kebijakan AWSGlueServiceRole AWS terkelola, yang memberikan izin yang diperlukan pada Katalog Data
Sebuah kebijakan inline yang memberikan izin pada sumber data.
Kebijakan inline yang memberikan iam:PassRole izin pada peran tersebut.

Pendekatan yang lebih cepat adalah membiarkan AWS Glue wizard perayap konsol membuat peran untuk Anda. Peran yang dibuatnya khusus untuk crawler, dan menyertakan kebijakan AWSGlueServiceRole AWS terkelola ditambah kebijakan sebaris yang diperlukan untuk sumber data yang ditentukan.

Jika Anda menentukan peran yang ada untuk sebuah crawler, pastikan bahwa crawler tersebut menyertakan kebijakan AWSGlueServiceRole atau kebijakan yang setara (atau versi lingkup diperkecil dari kebijakan ini), ditambah kebijakan inline yang diperlukan. Sebagai contoh, untuk penyimpanan data Amazon S3, kebijakan inline minimal harus berupa kebijakan berikut:


{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

Untuk penyimpanan data Amazon DynamoDB, kebijakan minimalnya harus berupa kebijakan berikut:


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

Selain itu, jika crawler membaca AWS Key Management Service (AWS KMS) data Amazon S3 yang dienkripsi, maka peran IAM harus memiliki izin dekripsi pada kunci. AWS KMS Untuk informasi selengkapnya, lihat Langkah 2: Buat peran IAM untuk AWS Glue.