Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überlegungen und Einschränkungen bei der Verwendung des Spark-Connectors
Der Spark-Konnektor unterstützt eine Vielzahl von Möglichkeiten zur Verwaltung von Anmeldeinformationen, zur Konfiguration der Sicherheit und zur Verbindung mit anderen AWS Diensten. Machen Sie sich mit den Empfehlungen in dieser Liste vertraut, um eine funktionale und belastbare Verbindung zu konfigurieren.
-
Wir empfehlen die Aktivierung SSL für die JDBC Verbindung von Spark auf Amazon EMR zu Amazon Redshift.
-
Als bewährte Methode empfehlen wir Ihnen, die Anmeldeinformationen für den Amazon-Redshift-Cluster in AWS Secrets Manager zu verwalten. Ein Beispiel finden Sie unter Verwenden AWS Secrets Manager zum Abrufen von Anmeldeinformationen für die Verbindung mit Amazon Redshift.
-
Wir empfehlen, dass Sie eine IAM Rolle mit dem Parameter
aws_iam_rolefür den Amazon Redshift Redshift-Authentifizierungsparameter übergeben. -
Derzeit wird das Parquet-Format vom Parameter
tempformatnicht unterstützt. -
Das
tempdirURI zeigt auf einen Amazon S3 S3-Standort. Dieses temporäre Verzeichnis wird nicht automatisch bereinigt und kann zusätzliche Kosten verursachen. -
Beachten Sie die folgenden Empfehlungen für Amazon Redshift:
-
Wir empfehlen, den öffentlichen Zugriff auf den Amazon-Redshift-Cluster zu blockieren.
-
Wir empfehlen, die Amazon-Redshift-Auditprotokollierung zu aktivieren.
-
Wir empfehlen, die Amazon-Redshift-Verschlüsselung im Ruhezustand zu aktivieren.
-
-
Beachten Sie die folgenden Empfehlungen für Amazon S3:
-
Wir empfehlen, den öffentlichen Zugriff auf Amazon-S3-Buckets zu blockieren.
-
Wir empfehlen die Verwendung der serverseitigen Amazon-S3-Verschlüsselung, um die verwendeten S3-Buckets zu verschlüsseln.
-
Wir empfehlen, die Lebenszyklusrichtlinien für Amazon S3 zu verwenden, um die Aufbewahrungsregeln für den S3-Bucket zu definieren.
-
Amazon überprüft EMR immer Code, der aus Open Source in das Bild importiert wurde. Aus Sicherheitsgründen unterstützen wir die Verschlüsselung von AWS Zugriffsschlüsseln in der
tempdirURI Authentifizierungsmethode von Spark zu Amazon S3 nicht.
-
Weitere Informationen zum Verwenden des Konnektors und seiner unterstützten Parameter finden Sie in den folgenden Ressourcen:
-
Amazon-Redshift-Integration für Apache Spark im Amazon-Redshift-Verwaltungshandbuch
-
Das
spark-redshift-Community-Repositoryauf Github
