Tutorial: Come iniziare a usare Amazon EMR

Accedi a e apri AWS Management Console la EMR console Amazon all'indirizzo https://console.aws.amazon.com/emr.

EC2Nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster. EMR

Nella pagina Crea Cluster, prendi nota dei valori predefiniti per Versione, Tipo di istanza, Numero di istanze e Autorizzazioni. Questi campi si compilano in automatico con i valori che funzionano per i cluster per uso generico.

Nel campo Nome cluster, inserisci un nome di cluster univoco per aiutarti a identificare il cluster, ad esempio My first cluster. Il nome del cluster non può contenere i caratteri <, >, $, | o `(backtick).

In Applicazioni, seleziona l'opzione Spark per installare Spark nel cluster.

In Registri del cluster, seleziona la casella di spunta Pubblica log specifici del cluster su Amazon S3. Sostituisci il valore di Posizione di Amazon S3 con il bucket Amazon S3 che hai creato seguito da /logs. Ad esempio s3://amzn-s3-demo-bucket/logs. L'aggiunta /logs crea una nuova cartella denominata «logs» nel bucket, in cui Amazon EMR può copiare i file di registro del cluster.

In Configurazione e autorizzazioni di sicurezza, scegli la tua EC2key pair. Nella stessa sezione, seleziona il menu a EMR discesa Service role for Amazon e scegli EMR_ DefaultRole. Quindi, seleziona il menu a discesa del IAMruolo, ad esempio il profilo e scegli EMR_ _ EC2. DefaultRole

Scegli Crea cluster per avviare il cluster e apri la pagina dei dettagli del cluster.

Cerca l'indicazione Stato accanto al nome del cluster. Lo stato cambia da Starting a Running a Waiting man mano che Amazon EMR effettua il provisioning del cluster. Potrebbe essere necessario scegliere l'icona di aggiornamento a destra o aggiornare il browser per visualizzare gli aggiornamenti di stato.

Crea ruoli IAM predefiniti che puoi poi utilizzare per creare il tuo cluster utilizzando il seguente comando.

aws emr create-default-roles

Per ulteriori informazioni su come create-default-roles, consulta la Guida di riferimento ai comandi della AWS CLI.

Crea un cluster Spark con il comando seguente. Inserisci un nome per il tuo cluster con l'--nameopzione e specifica il nome della tua EC2 key pair con l'--ec2-attributesopzione.

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

Prendi nota degli altri valori richiesti per --instance-type, --instance-count e --use-default-roles. Questi valori sono stati scelti per i cluster generici. Per ulteriori informazioni su come create-cluster, consulta la Guida di riferimento ai comandi della AWS CLI.

L'output restituito dovrebbe essere simile al seguente. L'output mostra il ClusterId e ClusterArn del nuovo cluster. Nota il tuo ClusterId. Utilizza il ClusterId per verificare lo stato del cluster e inviare il lavoro.

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

Verifica lo stato del cluster con il comando seguente.

aws emr describe-cluster --cluster-id <myClusterId>						

Verrà visualizzato un output come il seguente con l'oggetto Status per il nuovo cluster.

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

Il State valore cambia da STARTING RUNNING a WAITING quando Amazon effettua il EMR provisioning del cluster.

Accedi a e apri AWS Management Console la EMR console Amazon all'indirizzo https://console.aws.amazon.com/emr.

EC2Nel riquadro di navigazione a sinistra, scegli Cluster, quindi seleziona il cluster a cui desideri inviare il lavoro. EMR Lo stato del cluster deve essere In attesa.

Scegli la scheda Steps (Fasi), quindi scegli Add step (Aggiungi fase).

Configura la fase in base alle seguenti linee guida:

Seleziona Aggiungi per inviare la fase. La fase viene visualizzata nella console con lo stato In attesa.

Monitora lo stato della fase. Dovrebbe passare da Pending (In attesa) a Running (In esecuzione) a Completed (Completata). Per aggiornare lo stato nella console, scegli l'icona di aggiornamento a destra di Filter (Filtro). Lo script richiede circa un minuto per l'esecuzione. Quando lo stato diventa Completed (Completata), significa che la fase è stata completata correttamente.

Accertati di disporre del ClusterId del cluster che hai avviato in Avvia un EMR cluster Amazon. In alternativa, puoi recuperare l'ID del cluster con il comando seguente.

aws emr list-clusters --cluster-states WAITING							

Invia health_violations.py come fase con il comando add-steps e il ClusterId.

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

Per ulteriori informazioni sull'invio dei passaggi utilizzando ilCLI, consulta il Command Reference.AWS CLI

Dopo aver inviato la fase, dovresti visualizzare l'output simile al seguente con un elenco di StepIds. Dal momento che hai inviato una sola fase, vedrai un solo ID nell'elenco. Copia il tuo ID della fase. Utilizzare l'ID della fase per verificare lo stato della fase.

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

Esegui una query sullo stato della fase con il comando describe-step.

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

L'output restituito dovrebbe essere simile al seguente con le informazioni sul fase.

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

Lo State della fase cambia da PENDING a RUNNING a COMPLETED durante la sua esecuzione. La fase richiede circa un minuto per essere eseguita, quindi potrebbe essere necessario controllarne lo stato più volte.

Accedi a e apri AWS Management Console la EMR console Amazon all'indirizzo https://console.aws.amazon.com/emr.

Seleziona Cluster, quindi scegli il cluster da terminare.

Nel menu a discesa Operazioni, scegli Termina cluster.

Nella finestra di dialogo, scegli Termina. A seconda della configurazione del cluster, la terminazione potrebbe richiedere da 5 a 10 minuti. Per ulteriori informazioni su come utilizzare EMR i cluster Amazon, consultaTermina un EMR cluster Amazon nello stato di avvio, in esecuzione o in attesa.

Avvia il processo di terminazione del cluster con il comando seguente. Replace (Sostituisci) <myClusterId> con l'ID del cluster di esempio. Il comando non restituisce output.

aws emr terminate-clusters --cluster-ids <myClusterId>

Per verificare che il processo di terminazione del cluster è in corso di esecuzione, controlla lo stato del cluster con il comando seguente.

aws emr describe-cluster --cluster-id <myClusterId>									

Di seguito è riportato un esempio di output in JSON formato. Lo Status del cluster dovrebbe passare da TERMINATING a TERMINATED. La terminazione potrebbe richiedere da 5 a 10 minuti a seconda della configurazione del cluster. Per ulteriori informazioni sulla chiusura di un EMR cluster Amazon, consultaTermina un EMR cluster Amazon nello stato di avvio, in esecuzione o in attesa.

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}