Avvio del server della cronologia di Spark

Scegli uno dei pulsanti Launch Stack (Avvia stack) nella tabella seguente. Questo avvia lo stack nella console AWS CloudFormation.

Regione	Avvia
Stati Uniti orientali (Ohio)
Stati Uniti orientali (Virginia settentrionale)
Stati Uniti occidentali (California settentrionale)
Stati Uniti occidentali (Oregon)
Africa (Città del Capo)
Asia Pacific (Hong Kong)
Asia Pacific (Mumbai)
Asia Pacific (Osaka)
Asia Pacific (Seul)
Asia Pacifico (Singapore)
Asia Pacifico (Sydney)
Asia Pacifico (Tokyo)
Canada (Centrale)
Europa (Francoforte)
Europa (Irlanda)
Europa (Londra)
Europa (Milano)
Europa (Parigi)
Europa (Stoccolma)
Medio Oriente (Bahrein)
Sud America (San Paolo)

Nella pagina Specify template (Specifica modello), scegli Next (Avanti).

Nella pagina Specify stack details (Specifica dettagli stack), immetti Stack name (Nome stack). Inserisci informazioni aggiuntive sotto Parameters (Parametri).

1. Configurazione dell'interfaccia utente di Spark

   Inserisci le informazioni che seguono:

   • Intervallo di indirizzi IP: l'intervallo di indirizzi IP che può essere utilizzato per visualizzare l'interfaccia utente di Spark. Se desideri limitare l'accesso da un intervallo di indirizzi IP specifico, devi utilizzare un valore personalizzato.

   • Porta del server di cronologia: la porta per l'interfaccia utente di Spark. Puoi usare il valore predefinito.

   • Directory del log di eventi: scegli la posizione in cui sono archiviati i log di eventi Spark dagli endpoint di sviluppo o dal processo AWS Glue. È necessario utilizzare s3a:// per lo schema di percorso dei log di eventi.

   • Posizione del pacchetto Spark: puoi usare il valore di default.

   • Percorso keystore: percorso keystore SSL/TLS per HTTPS. Se desideri utilizzare un file keystore personalizzato, puoi specificare il percorso S3 s3://path_to_your_keystore_file qui. Se lasci questo parametro vuoto, viene generato e utilizzato un keystore basato su certificato autofirmato.

   • Keystore password (Password keystore): inserisci una password del keystore SSL/TLS per HTTPS.

2. Configurazione di un'istanza EC2

   Inserisci le informazioni che seguono:

   • Tipo di istanza: il tipo di istanza Amazon EC2 che ospita il server della cronologia di Spark. Poiché questo modello avvia un'istanza Amazon EC2 nel tuo account, il costo di Amazon EC2 verrà addebitato separatamente nel tuo account.

   • ID AMI più recente: l'ID AMI di Amazon Linux 2 per l'istanza del server della cronologia di Spark. Puoi usare il valore predefinito.

   • ID VPC: l'ID del cloud privato virtuale (VPC) per l'istanza del server della cronologia di Spark. Puoi utilizzare uno qualsiasi dei VPC disponibili nell'account. L'uso di un VPC predefinito con una lista di controllo degli accessi di rete predefinita non è consigliato. Per ulteriori informazioni, consulta VPC predefinito e sottoreti predefinite e Creazione di un VPC nella Guida per l'utente di Amazon VPC.

   • ID sottorete: l'ID dell'istanza del server della cronologia di Spark. Puoi utilizzare una qualsiasi delle sottoreti nel VPC. Devi essere in grado di raggiungere la rete dal client alla sottorete. Se desideri accedere tramite Internet, devi utilizzare una sottorete pubblica che dispone dell'Internet gateway nella tabella di routing.

3. Seleziona Successivo.

Sulla pagina Configure stack options (Impostazione di opzioni della pila), per utilizzare le credenziali utente correnti per determinare in che modo CloudFormation può creare, modificare o eliminare risorse nella pila, scegli Next (Successivo). Inoltre, nella sezione Autorizzazioni, è possibile specificare un ruolo da utilizzare al posto delle autorizzazioni utente correnti, dopodiché occorre scegliere Successivo.

Nella pagina Review (Revisione), rivedi il modello.

Scegli I acknowledge that AWS CloudFormation might create IAM resources (Acconsento alla creazione di risorse IAM da parte di AWS CloudFormation), quindi seleziona Create stack (Crea stack).

Attendi la creazione dello stack.

Apri la scheda Outputs (Output).

1. Copia l'URL di SparkUiPublicUrl se utilizzi una sottorete pubblica.

2. Copia l'URL di SparkUiPrivateUrl se utilizzi una sottorete privata.

Apri un browser Web e incolla l'URL. Ciò consente di accedere al server tramite HTTPS sulla porta specificata. Il tuo browser potrebbe non riconoscere il certificato del server. Se ciò accade, ignora la protezione e procedi comunque.

Scarica i file da GitHub.

Scarica il Dockerfile e pom.xml dagli esempi di codice di AWS Glue.

Stabilisci se desideri utilizzare le credenziali utente o le credenziali dell'utente federato per accedere a AWS.

Determina la posizione della directory del log di eventi da utilizzare nel comando docker run.

Crea l'immagine Docker utilizzando i file nella directory locale, utilizzando il nome glue/sparkui e il tag latest.

$ docker build -t glue/sparkui:latest . 

Crea e avvia il container docker.

Nei comandi seguenti, utilizza i valori ottenuti in precedenza nei passaggi 2 e 3.

1. Per creare il container docker utilizzando le credenziali utente, utilizza un comando simile al seguente

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

2. Per creare il container docker utilizzando credenziali temporanee, utilizzare org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider come provider e fornisci i valori delle credenziali ottenuti nel passaggio 2. Per ulteriori informazioni, consult aUtilizzo delle credenziali di sessione con TemporaryAWS CredentialsProvider nella documentazione Hadoop: integrazione con Amazon Web Services.

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY
    -Dspark.hadoop.fs.s3a.session.token=AWS_SESSION_TOKEN
    -Dspark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

Apri http://localhost:18080 nel browser per visualizzare l'interfaccia utente di Spark in locale.