Starten des Spark History-Servers

Wählen Sie eine der Schaltflächen Launch Stack (Stack starten) in der folgenden Tabelle aus. Hierdurch wird der Stack in der AWS CloudFormation-Konsole gestartet.

Region	Starten
US East (Ohio)
USA Ost (Nord-Virginia)
USA West (Nordkalifornien)
USA West (Oregon)
Africa (Cape Town)
Asia Pacific (Hong Kong)
Asia Pacific (Mumbai)
Asia Pacific (Osaka)
Asia Pacific (Seoul)
Asien-Pazifik (Singapur)
Asien-Pazifik (Sydney)
Asien-Pazifik (Tokio)
Canada (Central)
Europe (Frankfurt)
Europa (Irland)
Europe (London)
Europa (Mailand)
Europe (Paris)
Europe (Stockholm)
Middle East (Bahrain)
Südamerika (São Paulo)

Wählen Sie auf der Seite Specify template (Vorlage angeben) die Option Next (Weiter) aus.

Geben Sie auf der Seite Specify stack details (Stack-Details angeben) den Wert für Stack name (Stack-Name) ein. Geben Sie zusätzliche Informationen unter Parameter ein.

1. Konfiguration der Spark-Benutzeroberfläche

   Geben Sie die folgenden Informationen ein:

   • IP-Adressbereich – Der IP-Adressbereich, der zum Anzeigen der Spark-Benutzeroberfläche verwendet werden kann. Wenn Sie den Zugriff in Bezug auf einen bestimmten IP-Adressbereich einschränken möchten, sollten Sie einen benutzerdefinierten Wert verwenden.

   • History-Server-Port – Der Port für die Spark-Benutzeroberfläche. Sie können den Standardwert verwenden.

   • Ereignisprotokollverzeichnis – Wählen Sie den Speicherort, an dem die Spark-Ereignisprotokolle gespeichert werden, aus den AWS Glue-Job- oder Entwicklungsendpunkten. Für das Pfadschema der Ereignisprotokolle müssen Sie s3a:// verwenden.

   • Spark-Package-Standort – Sie können den Standardwert verwenden.

   • KeyStore-Pfad – SSL/TLS-KeyStore-Pfad für HTTPS. Wenn Sie eine benutzerdefinierte Schlüsselspeicherdatei verwenden möchten, können Sie den S3-Pfad s3://path_to_your_keystore_file hier angeben. Wenn Sie diesen Parameter leer lassen, wird ein selbstsignierter, zertifikatbasierter Schlüsselspeicher generiert und verwendet.

   • KeyStore-Passwort – Geben Sie SSL/TLS-KeyStore-Passwort für HTTPS ein.

2. Konfigurieren der EC2-Instance

   Geben Sie die folgenden Informationen ein:

   • Instance-Typ – Der Typ der Amazon-EC2-Instance, der den Spark-History-Server hostet. Da diese Vorlage die Amazon-EC2-Instance in Ihrem Konto startet, werden Amazon-EC2-Kosten Ihrem Konto separat in Rechnung gestellt.

   • Neueste AMI-ID – Die AMI-ID von Amazon Linux 2 für die Spark-Verlaufsserver-Instance. Sie können den Standardwert verwenden.

   • VPC ID – Die Virtual Private Cloud (VPC)-ID für die Spark-History-Server-Instance. Sie können jede der in Ihrem Konto verfügbaren VPCs verwenden. Es wird jedoch nicht empfohlen, eine Standard-VPC mit einer Standard-Netzwerk-ACL zu verwenden. Weitere Informationen finden Sie unter Default VPC and Default Subnets (Standard-VPC und Standard-Subnetze) und unter Creating a VPC (Erstellen einer VPC) im Amazon-VPC-Benutzerhandbuch.

   • Subnetz-ID – Die ID für die Spark-Verlaufsserver-Instance. Sie können jedes Subnetz in Ihrer VPC verwenden. Sie müssen das Subnetz von Ihrem Client aus erreichen können. Wenn Sie über das Internet auf das Subnetz zugreifen möchten, müssen Sie ein öffentliches Subnetz mit dem Internet-Gateway in der Routing-Tabelle verwenden.

3. Wählen Sie Weiter aus.

Auf der Seite Konfigurieren von Stack-Optionen wählen Sie Weiter aus, um die aktuellen Benutzeranmeldeinformationen zu verwenden, um zu bestimmen, wie CloudFormation Ressourcen im Stack erstellen, ändern oder löschen kann. Sie können im Abschnitt Berechtigungen auch eine Rolle angeben, die anstelle der aktuellen Benutzerberechtigungen verwendet werden soll, und dann Weiter wählen.

Überprüfen Sie die Vorlage auf der Seite Review (Prüfen).

Wählen Sie I acknowledge that AWS CloudFormation might create IAM resources (Ich bestätige, dass CFN IAM-Ressourcen erstellen kann) und dann Create stack (Stack erstellen) aus.

Warten Sie, bis der Stack erstellt wurde.

Öffnen Sie die Registerkarte Outputs (Ausgaben).

1. Kopieren Sie die URL von SparkUiPublicUrl wenn Sie ein öffentliches Subnetz verwenden.

2. Kopieren Sie die URL von SparkUiPrivateUrl wenn Sie ein privates Subnetz verwenden.

Öffnen Sie einen Webbrowser und fügen Sie die URL ein. Auf diese Weise können Sie über HTTPS auf dem angegebenen Port auf den Server zugreifen. Ihr Browser erkennt möglicherweise nicht das Zertifikat des Servers. In diesem Fall müssen Sie den Schutz des Servers außer Kraft setzen und trotzdem fortfahren.

Laden Sie Dateien von GitHub herunter.

Laden Sie die Dockerfile und pom.xml aus den AWS Glue-Codebeispielen herunter.

Bestimmen Sie, ob Sie Ihre Benutzeranmeldeinformationen oder Verbundbenutzeranmeldeinformationen für den Zugriff auf AWS verwenden möchten.

Bestimmen Sie den Speicherort Ihres Ereignisprotokollverzeichnisses für die Verwendung im docker run-Befehl.

Erstellen Sie das Docker-Image mit den Dateien im lokalen Verzeichnis unter Verwendung des Namens glue/sparkui, und das Taglatestaus.

$ docker build -t glue/sparkui:latest . 

Erstellen und starten Sie den Docker-Container.

Verwenden Sie in den folgenden Befehlen die zuvor in den Schritten 2 und 3 beschafften Werte.

1. Verwenden Sie einen Befehl wie den folgenden, um den Docker-Container mit Ihren Benutzeranmeldeinformationen zu erstellen

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

2. Um den Docker-Container mit temporären Anmeldeinformationen zu erstellen, verwenden Sie org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider als Anbieter und geben Sie die in Schritt 2 beschafften Anmeldeinformationen an. Weitere Informationen finden Sie unter Verwenden von Sitzungsanmeldeinformationen mit TemporaryAWSCredentialsProvider in der Hadoop: Integration mit Amazon Web Services-Dokumentation.

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY
    -Dspark.hadoop.fs.s3a.session.token=AWS_SESSION_TOKEN
    -Dspark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

Öffnen Sie http://localhost:18080 in Ihrem Browser, um die Spark-Benutzeroberfläche lokal anzuzeigen.