Bekannte Probleme für AWS Glue - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bekannte Probleme für AWS Glue

Beachten Sie die folgenden bekannten Probleme für AWS Glue.

Verhindern des auftragsübergreifenden Datenzugriffs

Betrachten Sie die Situation, in der Sie zwei AWS Glue-Spark-Aufträge in einem einzigen AWS-Konto haben, die jeweils in einem separaten AWS Glue-Spark-Cluster ausgeführt werden. Die Aufträge verwenden AWS Glue-Verbindungen für den Zugriff auf Ressourcen in derselben Virtual Private Cloud (VPC). In diesem Fall kann ein Auftrag, der in einem Cluster ausgeführt wird, auf die Daten des Auftrags zugreifen, der in dem anderen Cluster ausgeführt wird.

Das folgende Diagramm veranschaulicht ein Beispiel für diese Situation.

Der AWS Glue-Auftrag Job-1 in Cluster-1 und Job-2 in Cluster-2 kommunizieren mit einer Amazon-Redshift-Instance in Subnet-1 innerhalb einer VPC. Die Daten werden von Amazon-S3-Bucket-1 und -Bucket-2 auf Amazon Redshift übertragen.

Im Diagramm wird AWS Glue-Job-1 in Cluster-1 und Job-2 in Cluster-2 ausgeführt. Beide Aufträge arbeiten mit derselben Instance von Amazon Redshift, die sich in Subnet-1 einer VPC befindet. Subnet-1 kann ein öffentliches oder privates Subnetz sein.

Job-1 transformiert Daten aus Amazon Simple Storage Service (Amazon S3) Bucket-1 und schreibt die Daten in Amazon Redshift. Job-2 macht dasselbe mit Daten in Bucket-2. Job-1 verwendet die AWS Identity and Access Management (IAM)-Rolle Role-1 (nicht gezeigt), die Zugriff auf Bucket-1 gewährt. Job-2 verwendet Role-2 (nicht gezeigt), die Zugriff auf Bucket-2 gewährt.

Diese Aufträge verfügen über Netzwerkpfade, die es ihnen ermöglichen, mit den Clustern des anderen zu kommunizieren und somit auf die Daten des anderen zuzugreifen. Beispielsweise könnte Job-2 auf Daten in Bucket-1 zugreifen. Im Diagramm wird dies als der Pfad in rot dargestellt.

Um diese Situation zu vermeiden, empfehlen wir, dass Sie verschiedene Sicherheitskonfigurationen an Job-1 und Job-2 anfügen. Durch Anfügen der Sicherheitskonfigurationen wird der auftragsübergreifende Zugriff auf Daten aufgrund von Zertifikaten, die AWS Glue erstellt, blockiert. Die Sicherheitskonfigurationen können Dummy-Konfigurationen sein. Das heißt, Sie können die Sicherheitskonfigurationen erstellen, ohne die Verschlüsselung von Amazon-S3-Daten, Amazon-CloudWatch-Daten oder Auftragslesezeichen zu aktivieren. Alle drei Verschlüsselungsoptionen können deaktiviert werden.

Weitere Informationen zu den Sicherheitskonfigurationen finden Sie unter Verschlüsseln von Daten, die von AWS Glue geschrieben werden.

So fügen Sie eine Sicherheitskonfiguration an einen Auftrag an
  1. Öffnen Sie die AWS Glue-Konsole unter https://console.aws.amazon.com/glue/.

  2. Erweitern Sie auf der Seite Configure the job properties (Auftragseigenschaften konfigurieren) für den Auftrag den Abschnitt Security configuration, script libraries and job parameters (Sicherheitskonfiguration, Skriptbibliotheken und Auftragsparameter).

  3. Wählen Sie eine Sicherheitskonfiguration in der Liste aus.