Oozie mit einer Remote-Datenbank in Amazon RDS verwenden

Fokusmodus

Oozie mit einer Remote-Datenbank in Amazon RDS verwenden - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Standardmäßig werden Benutzerinformationen und Abfrageverläufe von Oozie in einer lokalen MySQL-Datenbank auf dem Master-Knoten gespeichert. Sie können alternativ einen oder mehrere Oozie-fähige Cluster mithilfe einer in Amazon S3 gespeicherten Konfiguration und einer MySQL-Datenbank in Amazon Relational Database Service(Amazon RDS) erstellen. So können Sie Benutzerdaten und Abfrageverläufe, die von Oozie erstellt wurden, dauerhaft speichern, ohne dass der Amazon-EMR-Cluster weiter ausgeführt wird. Wir empfehlen die Verwendung der serverseitigen Amazon-S3-Verschlüsselung zum Speichern der Konfigurationsdatei.

Erstellen Sie zunächst die Remote-Datenbank für Oozie.

So erstellen Sie die externe MySQL-Datenbank

Öffnen Sie die Amazon RDS-Konsole unter https://console.aws.amazon.com/rds/.
Klicken Sie auf Launch a DB Instance (DB-Instance starten).
Wählen Sie „MySQL“ und danach Select (Auswählen) aus.
Übernehmen Sie die Standardauswahl von Multi-AZ Deployment and Provisioned IOPS Storage (Multi-AZ-Bereitstellung und bereitgestellte IOPS-Speicherung) und wählen Sie Next (Weiter) aus.
Übernehmen Sie die Standardwerte für die Instance-Spezifikationen, geben Sie Einstellungen an und wählen Sie Next (Weiter).
Wählen Sie auf der Seite „Configure Advanced Settings (Erweiterte Einstellungen konfigurieren)“ geeignete Sicherheitsgruppen- und Datenbanknamen aus. Die Sicherheitsgruppe, die Sie verwenden, muss mindestens eingehenden TCP-Zugriff für Port 3306 über den Master-Knoten Ihres Clusters zulassen. Wenn Sie zu diesem Zeitpunkt noch keinen Cluster erstellt haben, können Sie für alle Hosts eine Verbindung mit Port 3306 zulassen und die Sicherheitsgruppe anpassen, nachdem Sie den Cluster gestartet haben. Klicken Sie auf DB-Instance starten.
Wählen Sie im RDS-Dashboard Instances und die Instance aus, die Sie soeben erstellt haben. Wenn Ihre Datenbank verfügbar ist, notieren Sie dbname, Benutzername, Kennwort und RDS-Instance. Diese Informationen benötigen Sie zum Erstellen und Konfigurieren Ihres Clusters.

Um eine externe MySQL-Datenbank für Oozie anzugeben, wenn Sie einen Cluster starten mit dem AWS CLI

Um eine externe MySQL-Datenbank für Oozie beim Start eines Clusters mithilfe der AWS CLI anzugeben, verwenden Sie die Informationen, die Sie beim Erstellen Ihrer RDS-Instance für die Konfiguration von oozie-site mit einem Konfigurationsobjekt notiert haben.

Anmerkung

Sie können mehrere Cluster mit derselben externen Datenbank erstellen, aber jeder Cluster gibt Abfrageverläufe und Benutzerdaten frei.

Erstellen Sie mit dem einen Cluster AWS CLI, auf dem Oozie installiert ist, verwenden Sie die externe Datenbank, die Sie erstellt haben, und verweisen Sie auf eine Konfigurationsdatei mit einer Konfigurationsklassifizierung für Oozie, die die Datenbankeigenschaften spezifiziert. Im folgenden Beispiel wird ein Cluster mit installiertem Oozie erstellt, der auf die Konfigurationsdatei myConfig.json in Amazon S3 verweist, die die Datenbankkonfiguration angibt.

Anmerkung
Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).
```
aws emr create-cluster --release-label emr-7.8.0 --applications Name=Oozie Name=Spark Name=Hive \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json --use-default-roles
```
Beispielinhalte der myConfig.json-Datei werden unten angezeigt. Ersetzen Sie JDBC URLusername, und password durch die JDBC-URL, den Benutzernamen und das Passwort Ihrer RDS-Instanz.

Wichtig
Die JDBC-URL muss den Datenbanknamen als Suffix enthalten. Zum Beispiel jdbc:mysql://.xxxxxxxxxx.us-east-1.rds.amazonaws.com:3306/ dbname. oozie-external-db
```
[{
  "Classification": "oozie-site",
    "Properties": {
        "oozie.service.JPAService.jdbc.driver": "org.mariadb.jdbc.Driver",
        "oozie.service.JPAService.jdbc.url": "JDBC URL",                               
        "oozie.service.JPAService.jdbc.username": "username",
        "oozie.service.JPAService.jdbc.password": "password"
    },
    "Configurations": []
}]
```