Visualizza le interfacce utente persistenti delle applicazioni in Amazon EMR - Amazon EMR
Raccolta di log File di log degli eventi Spark di grandi dimensioniConsiderazioni e limitazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Visualizza le interfacce utente persistenti delle applicazioni in Amazon EMR

A partire da Amazon EMR versione 5.25.0, è possibile connettersi ai dettagli dell'applicazione Spark History Server persistente ospitata fuori cluster utilizzando la pagina Summary (Riepilogo) o la scheda Application user interfaces (Interfacce utente applicazioni) nella console. Le interfacce utente delle applicazioni persistenti Timeline Server di YARN e Tez sono disponibili a partire dalla versione Amazon EMR 5.30.1. L'accesso al collegamento con un clic alla cronologia delle applicazioni persistenti offre i seguenti vantaggi:

  • È possibile analizzare e risolvere rapidamente i processi attivi e la cronologia dei processi senza configurare un proxy Web tramite una connessione SSH.

  • È possibile accedere alla cronologia delle applicazioni e ai file di log pertinenti per cluster attivi e chiusi. I log sono disponibili per 30 giorni dopo la fine dell'applicazione.

Accedi ai dettagli del cluster nella console e seleziona la scheda Applicazioni. Seleziona l'interfaccia utente dell'applicazione che desideri dopo l'avvio del cluster. L'interfaccia utente dell'applicazione si apre in una nuova scheda del browser. Per ulteriori informazioni, consulta Monitoraggio e strumentazione.

È possibile visualizzare i log dei container YARN tramite i collegamenti sul server cronologia Spark, sul server della timeline YARN e sull'interfaccia utente Tez.

Nota

Per accedere ai log del container YARN da Spark History Server e dall'interfaccia utente Tez è necessario abilitare la registrazione ad Amazon S3 per il cluster. Se la registrazione non è abilitata, i collegamenti ai log del container YARN non funzioneranno.

Raccolta di log

Per abilitare l'accesso con un solo clic alle interfacce utente delle applicazioni persistenti, Amazon EMR raccoglie due tipi di log:

  • Ilog di eventi dell'applicazione vengono raccolti in un bucket di sistema EMR. I log di eventi vengono crittografati mentre sono inattivi utilizzando la crittografia lato server con chiavi gestite da Amazon S3 (SSE-S3). Se utilizzi una sottorete privata per il tuo cluster, assicurati di includere il bucket di sistema corretto ARNs nell'elenco delle risorse della politica di Amazon S3 per la sottorete privata. Per ulteriori informazioni, consulta Policy Amazon S3 minima per sottorete privata.

  • I log del container YARN vengono raccolti in un bucket Amazon S3 di proprietà. È necessario abilitare la registrazione per il cluster per accedere ai log del container YARN. Per ulteriori informazioni, consulta Configurazione della registrazione e del debug di cluster.

Se è necessario disabilitare questa caratteristica per motivi di privacy, è possibile arrestare il daemon utilizzando uno script bootstrap quando si crea un cluster, come illustrato nell'esempio seguente.

aws emr create-cluster --name "Stop Application UI Support" --release-label emr-7.6.0 \
--applications Name=Hadoop Name=Spark --ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=TASK,InstanceCount=1,InstanceType=m3.xlarge \
--use-default-roles --bootstrap-actions Path=s3://region.elasticmapreduce/bootstrap-actions/run-if,Args=["instance.isMaster=true","echo Stop Application UI | sudo tee /etc/apppusher/run-apppusher; sudo systemctl stop apppusher || exit 0"]

Dopo aver eseguito questo script bootstrap, Amazon EMR non raccoglierà i log di eventi di Spark History Server o del Timeline Server di YARN nel bucket di sistema EMR. Nessuna informazione sulla cronologia delle applicazioni sarà disponibile nella scheda Interfacce utente applicazione e si perderà l'accesso a tutte le interfacce utente dell'applicazione dalla console.

File di log degli eventi Spark di grandi dimensioni

In alcuni casi, i job Spark a esecuzione prolungata, come lo streaming Spark, e i job di grandi dimensioni, come le query SQL Spark, possono generare registri di eventi di grandi dimensioni. Con i registri degli eventi di grandi dimensioni, puoi utilizzare rapidamente lo spazio su disco sulle istanze di calcolo e riscontrare errori durante il caricamento di Persistent. OutOfMemory UIs Per evitare questi problemi, si consiglia di abilitare la caratteristica di rolling e compattazione del log eventi Spark. Questa caratteristica è disponibile solo nella versione Amazon EMR mr-6.1.0 e successive. Per ulteriori dettagli su rolling e compattazione, consulta Applicazione della compattazione ai file di log degli eventi nella documentazione di Spark.

Per attivare la funzione di rolling e compattazione del log degli eventi di Spark, attiva le seguenti impostazioni di configurazione di Spark.

  • spark.eventLog.rolling.enabled— Attiva la rolling del log degli eventi in base alle dimensioni. Questa impostazione è disattivata per impostazione predefinita.

  • spark.eventLog.rolling.maxFileSize— Quando la rolling è attivata, specifica la dimensione massima del file di log degli eventi prima che venga eseguito il rollover. Il valore predefinito è 128 MB.

  • spark.history.fs.eventLog.rolling.maxFilesToRetain— Specifica il numero massimo di file di log eventi non compatti da mantenere. Per impostazione predefinita, tutti i file di log degli eventi vengono mantenuti. Imposta un numero inferiore per compattare i registri degli eventi più vecchi. Il valore più basso è 1.

Nota che la compattazione tenta di escludere eventi con file di log eventi obsoleti, come i seguenti. Se elimina gli eventi, non li vedrai più nell'interfaccia utente di Spark History Server.

  • Eventi per i lavori terminati e relativi eventi relativi alla fase o all'attività.

  • Eventi per esecutori licenziati.

  • Eventi per le interrogazioni SQL completate e i relativi eventi relativi a job, stage e attività.

Per avviare un cluster con funzionalità di rolling e compattazione abilitate

  1. Creare un file spark-configuration.json con la seguente configurazione.

    [
   {
     "Classification": "spark-defaults",
        "Properties": {
           "spark.eventLog.rolling.enabled": true,
           "spark.history.fs.eventLog.rolling.maxFilesToRetain": 1
        }
   }
]

  2. Crea un cluster con la configurazione Spark Rolling Compaction come segue.

    aws emr create-cluster \
--release-label emr-6.6.0 \
--instance-type m4.large \
--instance-count 2 \
--use-default-roles \
--configurations file://spark-configuration.json

Considerazioni e limitazioni

L'accesso con un solo clic alle interfacce utente dell'applicazione persistente presenta attualmente le seguenti limitazioni.

  • Ci sarà un ritardo di almeno due minuti quando i dettagli dell'applicazione vengono visualizzati nell'interfaccia utente di Spark History Server.

  • Questa caratteristica è attiva solo quando la directory dei log di eventi per l'applicazione si trova in HDFS. Per impostazione predefinita, Amazon EMR archivia i log di eventi in una directory di HDFS. Se si modifica la directory predefinita in un file system diverso, ad esempio Amazon S3, questa funzionalità non sarà attiva.

  • Al momento, questa caratteristica non è disponibile per i cluster EMR con più nodi principali o per i cluster EMR integrati con AWS Lake Formation.

  • Per abilitare l'accesso con un solo clic alle interfacce utente dell'applicazione persistente, è necessario disporre dell'autorizzazione per l'operazione DescribeCluster per Amazon EMR. Se si nega l'autorizzazione di un principal IAM a questa operazione, occorrono circa cinque minuti per la propagazione della modifica dell'autorizzazione.

  • Se si riconfigurano le applicazioni in un cluster in esecuzione, la cronologia delle applicazioni non sarà disponibile tramite l'interfaccia utente dell'applicazione.

  • Per ciascuna di esse Account AWS, il limite predefinito per l'applicazione UIs attiva è 200.

  • Di seguito Regioni AWS, puoi accedere all'applicazione UIs dalla console con Amazon EMR 6.14.0 e versioni successive:

    • Asia Pacific (Giacarta) (ap-southeast-3)

    • Europa (Spagna) (eu-south-2)

    • Asia Pacifico (Melbourne) (ap-southeast-4)

    • Israele (Tel Aviv) (il-central-1)

    • Medio Oriente (EAU) (me-central-1)

  • Di seguito Regioni AWS, puoi accedere all'applicazione UIs dalla console con Amazon EMR 5.25.0 e versioni successive:

    • Stati Uniti orientali (Virginia settentrionale) (us-east-1)

    • Stati Uniti occidentali (Oregon) (us-west-2)

    • Asia Pacifico (Mumbai) (ap-south-1)

    • Asia Pacifico (Seoul) (ap-northeast-2)

    • Asia Pacifico (Singapore) (ap-southeast-1)

    • Asia Pacifico (Sydney) (ap-southeast-2)

    • Asia Pacifico (Tokyo) (ap-northeast-1)

    • Canada (Centrale) (ca-central-1)

    • Sud America (San Paolo) (sa-east-1)

    • Europa (Francoforte) (eu-central-1)

    • Europa (Irlanda) (eu-west-1)

    • Europa (Londra) (eu-west-2)

    • Europe (Parigi) (eu-west-3)

    • Europa (Stoccolma) (eu-north-1)

    • Cina (Pechino) cn-north-1

    • Cina (Ningxia) cn-nordovest-1