Lancement du serveur d'historique Spark

Choisissez l'un des boutons Launch Stack (Lancer la pile) du tableau suivant. Cela permet de lancer la pile sur la console AWS CloudFormation.

Région	Lancer
USA Est (Ohio)
USA Est (Virginie du Nord)
USA Ouest (Californie du Nord)
USA Ouest (Oregon)
Africa (Cape Town)
Asie-Pacifique (Hong Kong)
Asia Pacific (Mumbai)
Asia Pacific (Osaka)
Asia Pacific (Seoul)
Asie-Pacifique (Singapour)
Asie-Pacifique (Sydney)
Asie-Pacifique (Tokyo)
Canada (Centre)
Europe (Francfort)
Europe (Irlande)
Europe (Londres)
Europe (Milan)
Europe (Paris)
Europe (Stockholm)
Moyen-Orient (Bahreïn)
Amérique du Sud (Sao Paulo)

Sur la page Specify template (Spécifier un modèle), choisissez Next (Suivant).

Sur la page Specify stack details (Spécifier les détails de la pile), entrez le nom de la pile (Stack name). Saisissez des informations supplémentaires sous Paramètres.

1. Configuration de l'interface utilisateur Spark

   Saisissez les informations suivantes :

   • IP address range (Plage d'adresses IP) – Plage d'adresses IP pouvant être utilisée pour afficher l'interface utilisateur Spark. Pour limiter l'accès à partir d'une plage d'adresses IP spécifique, vous devez utiliser une valeur personnalisée.

   • History server port (Historique du serveur) – Port de l'interface utilisateur Spark. Vous pouvez utiliser la valeur par défaut.

   • Event log directory (Répertoire des journaux d'événements) – Choisissez l'emplacement où les journaux d'événements Spark sont stockés en provenance de la tâche AWS Glue ou des points finaux de développement. Vous devez utiliser s3a:// pour le schéma de chemin des journaux d'événements.

   • Spark package location (Emplacement du package Spark) – Vous pouvez utiliser la valeur par défaut.

   • Keystore path (Chemin du KeyStore) – Chemin d'accès du magasin de clés SSL/TLS pour HTTPS. Si vous souhaitez utiliser un fichier de magasin de clés personnalisé, vous pouvez spécifier le chemin S3 s3://path_to_your_keystore_file ici. Si vous laissez ce paramètre vide, un magasin de clés auto-signé basé sur un certificat est généré et utilisé.

   • Mot de passe KeyStore — Saisissez le mot de passe du magasin de clés SSL/TLS pour HTTPS.

2. Configuration des instances EC2

   Saisissez les informations suivantes :

   • Instance type (Type d'instance) – Type d'instance Amazon EC2 qui héberge le serveur d'historique Spark. Étant donné que ce modèle lance une instance Amazon EC2 dans votre compte, le coût d'Amazon EC2 sera facturé séparément dans votre compte.

   • Latest AMI ID (Dernier ID AMI) – ID AMI d'Amazon Linux 2 pour l'instance du serveur d'historique Spark. Vous pouvez utiliser la valeur par défaut.

   • VPC ID (ID VPC) – ID du cloud privé virtuel (VPC) pour l'instance du serveur d'historique Spark. Vous pouvez utiliser n'importe quel VPC disponible dans votre compte. L'utilisation d'un VPC par défaut avec une liste ACL réseau par défaut n'est pas recommandée. Pour plus d'informations, veuillez consulter les rubriques VPC par défaut et sous-réseaux par défaut et Créer un VPC dans le Guide de l'utilisateur Amazon VPC.

   • Subnet ID (ID de sous-réseau) – ID de l'instance du serveur d'historique Spark. Vous pouvez utiliser n'importe quel sous-réseau de votre VPC. Vous devez être en mesure d'atteindre le réseau depuis votre client vers le sous-réseau. Pour y accéder via Internet, vous devez utiliser un sous-réseau public dont la table de routage comporte la passerelle Internet.

3. Choisissez Next (Suivant).

Sur la page Configure stack options (Configurer des options de piles), pour utiliser les informations d'identification utilisateur actuelles afin de déterminer comment CloudFormation peut créer, modifier ou supprimer des ressources dans la pile, choisissez Next (Suivant). Vous pouvez également spécifier un rôle dans la section Autorisations à utiliser au lieu des autorisations utilisateur actuelles, puis choisissez Suivant.

Sur la page Review (Révision), vérifiez le modèle.

Sélectionnez Je comprends qu'AWS CloudFormation peut créer des ressources IAM, puis choisissez Créer une pile.

Attendez que la pile soit créée.

Ouvrez l'onglet Sorties.

1. Copiez l'URL de SparkUiPublicUrl si vous utilisez un sous-réseau public.

2. Copiez l'URL de SparkUiPrivateUrl si vous utilisez un sous-réseau privé.

Ouvrez un navigateur web et collez-y l'URL. Cela vous permet d'accéder au serveur à l'aide de HTTPS sur le port spécifié. Votre navigateur peut ne pas reconnaître le certificat du serveur ; dans ce cas, vous devez outrepasser sa protection et continuer tout de même.

Téléchargez des fichiers depuis GitHub.

Téléchargez les fichiers Dockerfile et pom.xml à partir des exemples de code AWS Glue.

Déterminez si vous souhaitez utiliser vos informations d'identification utilisateur ou vos informations d'identification utilisateur fédéré pour accéder à AWS.

Déterminez l'emplacement de votre répertoire de journaux d'événements, à utiliser dans la commande docker run.

Créez l'image Docker à l'aide des fichiers du répertoire local, en utilisant le nom glue/sparkui et l'identification latest.

$ docker build -t glue/sparkui:latest . 

Créez et démarrez le conteneur Docker.

Dans les commandes suivantes, utilisez les valeurs obtenues précédemment aux étapes 2 et 3.

1. Pour créer le conteneur Docker à l'aide de vos informations d'identification utilisateur, utilisez une commande similaire à ce qui suit :

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

2. Pour créer le conteneur Docker à l'aide d'informations d'identification temporaires, utilisez org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider en tant que fournisseur, et fournissez les valeurs d'identification obtenues à l'étape 2. Pour de plus amples informations, veuillez consulter Utilisation des informations d'identification de séance avec TemporaryAWSCredentialsProvider dans la documentation Hadoop : Intégration à Amazon Web Services.

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY
    -Dspark.hadoop.fs.s3a.session.token=AWS_SESSION_TOKEN
    -Dspark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

Ouvrez http://localhost:18080 dans votre navigateur pour afficher localement l'interface utilisateur Spark.