Erforderliche IAM-Berechtigungen für ETL-Aufträge überprüfen - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erforderliche IAM-Berechtigungen für ETL-Aufträge überprüfen

Wenn Sie einen Job erstellen mit AWS Glue Studio, nimmt der Job die Berechtigungen der IAM-Rolle an, die Sie bei der Erstellung angeben. Diese IAM-Rolle muss berechtigt sein, Daten aus Ihrer Datenquelle zu extrahieren, Daten in Ihr Ziel zu schreiben und auf Ressourcen zuzugreifen AWS Glue .

Der Name der Rolle, die Sie für den Job erstellen, muss mit der Zeichenfolge AWSGlueServiceRole beginnen, damit er korrekt verwendet werden kann AWS Glue Studio. Sie könnten beispielsweise Ihre Rolle benennenAWSGlueServiceRole-FlightDataJob.

Datenquellen- und Datenzielberechtigungen

Importieren in &S3; AWS Glue Studio Der Job muss Zugriff auf Amazon S3 für alle Quellen, Ziele, Skripten und temporären Verzeichnisse haben, die Sie in Ihrem Job verwenden. Sie können eine Richtlinie erstellen, die einen differenzierten Zugriff auf bestimmte Amazon-S3-Ressourcen ermöglicht.

  • Datenquellen erfordern die Berechtigungen s3:ListBucket und s3:GetObject.

  • Für Datenziele sind die Berechtigungen s3:ListBucket, s3:PutObject und s3:DeleteObject erforderlich.

Anmerkung

Ihre IAM-Richtlinie muss die spezifischen Buckets berücksichtigen, die s3:GetObject für das Hosten AWS Glue von Transformationen verwendet werden.

Die folgenden Buckets gehören dem AWS Dienstkonto und sind weltweit lesbar. Diese Buckets dienen als Repository für den Quellcode einer Teilmenge von Transformationen, auf die über den visuellen Editor zugegriffen werden kann. AWS Glue Studio Die Berechtigungen für den Bucket sind so eingerichtet, dass jede andere API-Aktion für den Bucket verweigert wird. Jeder kann die Skripte lesen, die wir für die Transformationen bereitstellen, aber niemand außerhalb unseres Serviceteams kann etwas in sie „einbauen“. Wenn Ihr AWS Glue Job ausgeführt wird, wird diese Datei als lokaler Import abgerufen, sodass die Datei in den lokalen Container heruntergeladen wird. Danach findet keine weitere Kommunikation mit diesem Konto statt.

Region: Bucket-Name

  • af-south-1: aws-glue-studio-transforms -762339736633- -1 prod-af-south

  • ap-east-1: aws-glue-studio-transforms -125979764932- -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: aws-glue-studio-transforms -584702181950- -1 prod-ap-south

  • ap-south-2: aws-glue-studio-transforms -380279651983- -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: aws-glue-studio-transforms -622716468547- -1 prod-ca-central

  • ca-west-1: aws-glue-studio-transforms -915795495192- -1 prod-ca-west

  • eu-central-1: aws-glue-studio-transforms -560373232017- -1 prod-eu-central

  • eu-central-2: aws-glue-studio-transforms -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497 aws-glue-studio-transforms - -1 prod-eu-north

  • eu-south-1: aws-glue-studio-transforms -939684186351- -1 prod-eu-south

  • eu-south-2: aws-glue-studio-transforms -239737454084- -2 prod-eu-south

  • eu-west-1: aws-glue-studio-transforms -244479516193- -1 prod-eu-west

  • eu-west-2: aws-glue-studio-transforms -804222392271- -2 prod-eu-west

  • eu-west-3: aws-glue-studio-transforms -371299348807- -3 prod-eu-west

  • il-central-1: aws-glue-studio-transforms -806964611811- -1 prod-il-central

  • me-central-1: aws-glue-studio-transforms -733304270342- -1 prod-me-central

  • me-south-1: -112120182341 aws-glue-studio-transforms - -1 prod-me-south

  • sa-east-1: aws-glue-studio-transforms -881619130292- -1 prod-sa-east

  • us-east-1: aws-glue-studio-transforms -510798373988- -1 prod-us-east

  • us-east-2: aws-glue-studio-transforms -251189692203- -2 prod-us-east

  • us-west-1: aws-glue-studio-transforms -593230150239- -1 prod-us-west

  • us-west-2: aws-glue-studio-transforms -818035625594- -2 prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • aws-glue-studio-transformscn-north-1: -071033555442- -1 prod-cn-north

  • cn-northwest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Wenn Sie Amazon Redshift als Datenquelle wählen, können Sie eine Rolle für Clusterberechtigungen angeben. Jobs, die für einen Amazon Redshift Cluster ausgeführt werden, geben Befehle aus, die mithilfe temporärer Anmeldeinformationen auf Amazon S3 für temporären Speicher zugreifen. Wenn Ihr Auftrag länger als eine Stunde ausgeführt wird, laufen diese Anmeldeinformationen ab, wodurch der Auftrag fehlschlägt. Um dieses Problem zu vermeiden, können Sie dem Amazon Redshift -Cluster selbst eine Rolle zuweisen, die ihm die erforderlichen Berechtigungen für Aufträge mit temporären Anmeldeinformationen erteilt. Weitere Informationen finden Sie unter Verschieben von Daten von und nach Amazon Redshift im AWS Glue -Entwicklerhandbuch.

Wenn der Auftrag andere Datenquellen oder Ziele als Amazon S3 verwendet, müssen Sie der IAM-Rolle, die der Auftrag verwendet, die erforderlichen Berechtigungen erteilen, damit sie auf diese Datenquellen und Ziele zuzugreifen kann. Weitere Informationen finden Sie unter Einrichten der Umgebung, um auf Datenspeicher zuzugreifen im AWS Glue -Entwicklerhandbuch.

Wenn Sie Konnektoren und Verbindungen für Ihren Datenspeicher verwenden, benötigen Sie zusätzliche Berechtigungen, wie unter Erforderliche Berechtigungen zur Verwendung von Konnektoren beschrieben.

Erforderliche Berechtigungen zum Löschen von Aufträgen

In AWS Glue Studio Sie können in der Konsole mehrere Jobs zum Löschen auswählen. Um diese Aktion ausführen zu können, müssen Sie über die Berechtigung glue:BatchDeleteJob verfügen. Das unterscheidet sich von AWS Glue Konsole, für die die glue:DeleteJob Erlaubnis zum Löschen von Jobs erforderlich ist.

AWS Key Management Service Berechtigungen

Wenn Sie vorhaben, auf Amazon S3 S3-Quellen und -Ziele zuzugreifen, die serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) verwenden, fügen Sie eine Richtlinie an AWS Glue Studio Die vom Job verwendete Rolle, die es dem Job ermöglicht, die Daten zu entschlüsseln. Die Auftragsrolle benötigt die Berechtigungen kms:ReEncrypt, kms:GenerateDataKey und kms:DescribeKey. Darüber hinaus benötigt die Jobrolle die kms:Decrypt Erlaubnis, ein Amazon S3 S3-Objekt hoch- oder herunterzuladen, das mit einem AWS KMS Kundenhauptschlüssel (CMK) verschlüsselt ist.

Für die Nutzung AWS KMS CMKs fallen zusätzliche Gebühren an. Weitere Informationen finden Sie im AWS Key Management Service Entwicklerhandbuch unter AWS Key Management Service Konzepte — Kundenhauptschlüssel (CMKs) und AWS Key Management Service Preise.

Erforderliche Berechtigungen zur Verwendung von Konnektoren

Wenn Sie eine verwenden AWS Glue Benutzerdefinierter Connector und Verbindung für den Zugriff auf einen Datenspeicher, die Rolle, mit der der AWS Glue Für den ETL-Job sind zusätzliche Berechtigungen erforderlich:

  • Die von AWS verwaltete Richtlinie AmazonEC2ContainerRegistryReadOnly für den Zugriff auf Connectors, bei denen gekauft wurde AWS Marketplace.

  • Die Berechtigungen glue:GetJob und glue:GetJobs.

  • AWS Secrets Manager Berechtigungen für den Zugriff auf geheime Daten, die bei Verbindungen verwendet werden. Informationen zu IAM-Richtlinien erhalten Sie unter Beispiel: Berechtigung zum Abrufen von Secret-Werten.

Wenn Ihre AWS Glue Der ETL-Job wird in einer VPC ausgeführt, auf der Amazon VPC ausgeführt wird. Anschließend muss die VPC wie unter beschrieben konfiguriert werden. Konfigurieren Sie eine VPC für Ihren ETL-Auftrag