Gestione dei EMR cluster Amazon con la console - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestione dei EMR cluster Amazon con la console

La console offre un'interfaccia aggiornata che offre un modo intuitivo per gestire EMR l'ambiente Amazon e offre un comodo accesso alla documentazione, alle informazioni sui prodotti e ad altre risorse.

Funzionalità della console

La EMR console Amazon è disponibile ai seguenti indirizziURL:

La tabella seguente elenca lo stato dei principali componenti EMR della console Amazon.

Componente EMR della console Amazon Console

EMRStudio

Creazione e gestione dei cluster

Blocco dell'accesso pubblico

Monitora CloudWatch gli eventi Amazon

Configurazioni di sicurezza

Cluster virtuali (Amazon EMR onEKS)

Visualizza e gestisci le sottoreti Amazon Virtual Private Cloud 1

Notebook 2

1 Nella console, puoi visualizzare e gestire le VPC sottoreti Amazon nella sezione Networking quando crei un cluster.

2 EMR notebook sono disponibili come spazi di lavoro EMR Studio nella console. Il pulsante Crea area di lavoro nella console consente di creare nuovi notebook. Per accedere o creare aree di lavoro, gli utenti di EMR Notebooks necessitano di autorizzazioni di ruolo aggiuntive. IAM Per ulteriori informazioni, consulta Amazon EMR Notebooks are Amazon EMR Studio Workspace nella console e nella console Amazon. EMR

Riepilogo delle differenze

Questa sezione descrive le funzionalità dell'esperienza della EMR console Amazon. Queste funzionalità rientrano nelle seguenti categorie:

Compatibilità dei cluster nella console

In alcuni casi, un cluster creato potrebbe non essere compatibile con la console. L'elenco seguente descrive i requisiti di compatibilità per la EMR console Amazon.

  • La console supporta i cluster creati nelle EMR versioni di Amazon 5.20.1 e successive.

  • Puoi clonare i cluster che utilizzano il ridimensionamento automatico nella console, ma puoi creare nuovi cluster solo se desideri ridimensionarli manualmente o utilizzare la scalabilità gestita.

Per creare e utilizzare i cluster della versione 5.20.1 e precedenti, è possibile utilizzare AWS Command Line Interface (AWS CLI) o il AWS SDK.

Creazione di cluster

Funzionalità Console

Terminologia: tipi di nodi EMR del cluster Amazon

Primario (primary), core (core), attività (task)

Amazon EMR ha supportato le versioni 1

Amazon EMR versione 5.20.1 e successive

Avvio rapido di un cluster

Utilizza il pulsante Crea cluster nel pannello Riepilogo. Il nome del cluster non può contenere i caratteri <, >, $, | o `(backtick).

Configurazione di un timeout di provisioning Spot

Definire un periodo di timeout per il provisioning delle istanze per ogni parco del cluster.

Ruoli di servizio e ruolo del profilo di EC2 istanza Amazon

La console non crea ruoli predefiniti; devi creare ruoli con la IAMconsole o selezionare un ruolo già IAM creato

Visibilità del cluster

Dall'interno della EMR console Amazon, non puoi rendere visibile un cluster a tutti gli utenti; la tua IAM policy determina l'accesso al cluster

Reti: configurazione di sottoreti private

È necessario configurare gli endpoint e i NAT gateway Amazon S3 dalle rispettive console Amazon S3 e Amazon S3. VPC

EMRVisualizzazione coerente del file system (CV) EMRFS

Con il rilascio di Amazon S3 Strong read-after-write Consistency il 1° dicembre 2020, non è necessario utilizzare EMRFS CV con i cluster. EMR

Debug

È possibile eseguire il debug dei processi utilizzando l'interfaccia utente dell'applicazione nella pagina dei dettagli del cluster

1 Non puoi creare o modificare cluster utilizzando versioni precedenti ad Amazon EMR 5.20.1 nella console, ma tutti i cluster esistenti creati utilizzando versioni precedenti alla 5.20.1 continueranno a funzionare. Per creare e modificare cluster con EMR versioni di Amazon precedenti alla 5.20.1, usa o. API CLI Puoi visualizzare tutti i cluster utilizzando la console, ma le console create prima della 5.20.1 potrebbero non essere compatibili con le nuove funzionalità.

Visualizzazione e ricerca di cluster

La tabella seguente illustra come utilizzare la EMR console Amazon per visualizzare, visualizzare e cercare cluster.

Nota

L'applicazione di un filtro dati all'elenco dei cluster interroga l'intero database. Tuttavia, quando si inserisce una stringa di testo nella casella di ricerca, la ricerca si applica solo ai risultati che l'elenco ha caricato su lato client.

Funzionalità Console

Visualizzazione dei dettagli del cluster

È possibile selezionare l'ID del cluster per visualizzare dettagli completi del cluster come opzioni di configurazioneUIs, applicazione persistente e registri.

Ricerca di cluster

Utilizza un unico campo di ricerca per inserire query di ricerca di testo e per creare e applicare filtri di dati come "Status = Any active status" (Stato = Qualsiasi stato attivo).

Individuazione di cluster falliti

Per cercare i cluster con errori, applica il filtro Status (Stato) = Terminated with errors (Terminato con errori).

Visualizzazione o modifica dei dettagli del cluster

Funzionalità Console

Visualizzazione delle istanze presenti nei gruppi di istanze e nei parchi istanze, oltre alle opzioni di dimensionamento, provisioning, ridimensionamento e terminazione

Visualizza le opzioni e i dettagli delle istanze nella scheda Istanze. Visualizza le opzioni di terminazione nella scheda Proprietà.

Visualizzazione di appUIs, registri e configurazioni

(Interfaccia utente Apache Spark, servizio Spark History, interfaccia utente Apache Tez, server di cronologia) YARN

Visualizza le configurazioni del cluster nella scheda Configurazioni. Avvia un'interfaccia utente di applicazione attiva e persistente per visualizzare i log di un'applicazione dalla scheda Applicazioni.

Esportazione di un cluster in CLI

Opzione disponibile nei menu dei dettagli del cluster e di visualizzazione dell'elenco delle operazioni come "View command for cloning cluster" (Visualizza comando per la clonazione del cluster)

Differenze nell'utilizzo delle configurazioni di sicurezza

Funzionalità Console

Configurazioni di sicurezza della clonazione

Governance federata con Trino e Apache Ranger

Utilizzo di un ruolo di runtime per inviare il lavoro a un cluster1

Autorizzazione dell'accesso ai EMR dati del File System (EMRFS)

Punti di accesso Amazon S3

AWS Lake Formation controlli di accesso

Ruoli di runtime

1 Per assegnare un ruolo durante l'invio delle fasi, il tuo cluster deve utilizzare una configurazione di sicurezza con una politica di IAM autorizzazioni allegata in modo che l'utente possa assegnare solo i ruoli approvati e che i tuoi lavori possano accedere alle risorse AmazonEMR. Per ulteriori informazioni, consulta Ruoli di runtime per Amazon EMR Steps.