Überprüfen Sie die für ETL Jobs erforderlichen IAM Berechtigungen - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überprüfen Sie die für ETL Jobs erforderlichen IAM Berechtigungen

Wenn Sie einen Job mit erstellenAWS Glue Studio, übernimmt der Job die Berechtigungen der IAM Rolle, die Sie bei der Erstellung angeben. Diese IAM Rolle muss über die Berechtigung verfügen, Daten aus Ihrer Datenquelle zu extrahieren, Daten in Ihr Ziel zu schreiben und auf AWS Glue Ressourcen zuzugreifen.

Der Name der Rolle, die Sie für den Auftrag erstellen, muss mit der Zeichenfolge AWSGlueServiceRole beginnen, damit sie korrekt von AWS Glue Studio genutzt werden kann. Sie können beispielsweise Ihre Rolle AWSGlueServiceRole-FlightDataJob nennen.

Datenquellen- und Datenzielberechtigungen

Ein AWS Glue Studio-Auftrag muss Zugriff auf Amazon S3 haben – für alle Quellen, Ziele, Skripts und temporären Verzeichnisse, die Sie im Auftrag verwenden. Sie können eine Richtlinie erstellen, die einen differenzierten Zugriff auf bestimmte Amazon-S3-Ressourcen ermöglicht.

  • Datenquellen erfordern die Berechtigungen s3:ListBucket und s3:GetObject.

  • Für Datenziele sind die Berechtigungen s3:ListBucket, s3:PutObject und s3:DeleteObject erforderlich.

Anmerkung

Ihre IAM Richtlinie muss die spezifischen Buckets berücksichtigen, die s3:GetObject für das Hosten von AWS Glue Transformationen verwendet werden.

Die folgenden Buckets gehören dem AWS Dienstkonto und sind weltweit lesbar. Diese Buckets dienen als Repository für den Quellcode einer Teilmenge von Transformationen, auf die über den visuellen Editor zugegriffen werden kann. AWS Glue Studio Die Berechtigungen für den Bucket sind so eingerichtet, dass jede andere API Aktion im Bucket verweigert wird. Jeder kann die Skripte lesen, die wir für die Transformationen bereitstellen, aber niemand außerhalb unseres Serviceteams kann etwas in sie „einbauen“. Wenn Ihr AWS Glue Job ausgeführt wird, wird diese Datei als lokaler Import abgerufen, sodass die Datei in den lokalen Container heruntergeladen wird. Danach findet keine weitere Kommunikation mit diesem Konto statt.

Region: Bucket-Name

  • af-south-1: aws-glue-studio-transforms -762339736633- -1 prod-af-south

  • ap-east-1: aws-glue-studio-transforms -125979764932- -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: aws-glue-studio-transforms -584702181950- -1 prod-ap-south

  • ap-south-2: aws-glue-studio-transforms -380279651983- -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: aws-glue-studio-transforms -622716468547- -1 prod-ca-central

  • ca-west-1: aws-glue-studio-transforms -915795495192- -1 prod-ca-west

  • eu-central-1: aws-glue-studio-transforms -560373232017- -1 prod-eu-central

  • eu-central-2: aws-glue-studio-transforms -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497 aws-glue-studio-transforms - -1 prod-eu-north

  • eu-south-1: aws-glue-studio-transforms -939684186351- -1 prod-eu-south

  • eu-south-2: aws-glue-studio-transforms -239737454084- -2 prod-eu-south

  • eu-west-1: aws-glue-studio-transforms -244479516193- -1 prod-eu-west

  • eu-west-2: aws-glue-studio-transforms -804222392271- -2 prod-eu-west

  • eu-west-3: aws-glue-studio-transforms -371299348807- -3 prod-eu-west

  • il-central-1: aws-glue-studio-transforms -806964611811- -1 prod-il-central

  • me-central-1: aws-glue-studio-transforms -733304270342- -1 prod-me-central

  • me-south-1: -112120182341 aws-glue-studio-transforms - -1 prod-me-south

  • sa-east-1: aws-glue-studio-transforms -881619130292- -1 prod-sa-east

  • us-east-1: aws-glue-studio-transforms -510798373988- -1 prod-us-east

  • us-east-2: aws-glue-studio-transforms -251189692203- -2 prod-us-east

  • us-west-1: aws-glue-studio-transforms -593230150239- -1 prod-us-west

  • us-west-2: aws-glue-studio-transforms -818035625594- -2 prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

Wenn Sie Amazon Redshift als Datenquelle wählen, können Sie eine Rolle für Clusterberechtigungen angeben. Jobs, die für einen Amazon Redshift Cluster ausgeführt werden, geben Befehle aus, die mithilfe temporärer Anmeldeinformationen auf Amazon S3 für temporären Speicher zugreifen. Wenn Ihr Auftrag länger als eine Stunde ausgeführt wird, laufen diese Anmeldeinformationen ab, wodurch der Auftrag fehlschlägt. Um dieses Problem zu vermeiden, können Sie dem Amazon Redshift -Cluster selbst eine Rolle zuweisen, die ihm die erforderlichen Berechtigungen für Aufträge mit temporären Anmeldeinformationen erteilt. Weitere Informationen finden Sie unter Verschieben von Daten von und nach Amazon Redshift im AWS Glue -Entwicklerhandbuch.

Wenn der Job andere Datenquellen oder Ziele als Amazon S3 verwendet, müssen Sie der IAM Rolle, die der Job für den Zugriff auf diese Datenquellen und Ziele verwendet, die erforderlichen Berechtigungen zuweisen. Weitere Informationen finden Sie unter Einrichten der Umgebung, um auf Datenspeicher zuzugreifen im AWS Glue -Entwicklerhandbuch.

Wenn Sie Konnektoren und Verbindungen für Ihren Datenspeicher verwenden, benötigen Sie zusätzliche Berechtigungen, wie unter Erforderliche Berechtigungen zur Verwendung von Konnektoren beschrieben.

Erforderliche Berechtigungen zum Löschen von Aufträgen

In AWS Glue Studio können Sie mehrere Aufträge zum Löschen in der Konsole auswählen. Um diese Aktion ausführen zu können, müssen Sie über die Berechtigung glue:BatchDeleteJob verfügen. Das ist nicht dieselbe wie von der AWS Glue-Konsole, für die die Berechtigung glue:DeleteJob zum Löschen von Aufträgen nötig ist.

AWS Key Management Service Berechtigungen

Wenn Sie planen, auf Amazon S3 S3-Quellen und -Ziele zuzugreifen, die serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) verwenden, fügen Sie der vom Job verwendeten AWS Glue Studio Rolle eine Richtlinie hinzu, die es dem Job ermöglicht, die Daten zu entschlüsseln. Die Auftragsrolle benötigt die Berechtigungen kms:ReEncrypt, kms:GenerateDataKey und kms:DescribeKey. Darüber hinaus benötigt die Jobrolle die kms:Decrypt Erlaubnis, ein Amazon S3 S3-Objekt hoch- oder herunterzuladen, das mit einem AWS KMS Kundenhauptschlüssel (CMK) verschlüsselt ist.

Für die Nutzung fallen zusätzliche Gebühren an AWS KMS CMKs. Weitere Informationen finden Sie im AWS Key Management Service Entwicklerhandbuch unter AWS Key Management Service Konzepte — Kundenhauptschlüssel (CMKs) und AWS Key Management Service Preise.

Erforderliche Berechtigungen zur Verwendung von Konnektoren

Wenn Sie einen AWS Glue benutzerdefinierten Connector und eine Verbindung für den Zugriff auf einen Datenspeicher verwenden, müssen der Rolle, die zur Ausführung des AWS Glue ETL Jobs verwendet wird, zusätzliche Berechtigungen zugewiesen werden:

  • Die AWS verwaltete Richtlinie AmazonEC2ContainerRegistryReadOnly für den Zugriff auf Connectors, bei denen Sie erworben wurden AWS Marketplace.

  • Die Berechtigungen glue:GetJob und glue:GetJobs.

  • AWS Secrets Manager Berechtigungen für den Zugriff auf geheime Daten, die für Verbindungen verwendet werden. Weitere Informationen finden Sie unter Beispiel: Berechtigung zum Abrufen geheimer Werte, z. B. IAM Richtlinien.

Wenn Ihr AWS Glue ETL Job in einem VPC laufenden Amazon ausgeführt wirdVPC, VPC muss der wie unter beschrieben konfiguriert werdenKonfigurieren Sie eine VPC für Ihren ETL-Auftrag.