Avvia un job Spark in un cluster EMR transitorio utilizzando una funzione Lambda

Creato da Dhrubajyoti Mukherjee (AWS)

Riepilogo

Questo modello utilizza l'azione dell' RunJobFlow API Amazon EMR per avviare un cluster transitorio per eseguire un job Spark da una funzione Lambda. Un cluster EMR temporaneo è progettato per terminare non appena il processo è completo o se si verifica un errore. Un cluster transitorio offre risparmi sui costi perché funziona solo durante il periodo di calcolo e offre scalabilità e flessibilità in un ambiente cloud.

Il cluster EMR transitorio viene avviato utilizzando l'API Boto3 e il linguaggio di programmazione Python in una funzione Lambda. La funzione Lambda, scritta in Python, offre la flessibilità aggiuntiva di avviare il cluster quando è necessario.

Per dimostrare il calcolo e l'output di un batch di esempio, questo modello avvierà un job Spark in un cluster EMR da una funzione Lambda ed eseguirà un calcolo in batch con i dati di vendita di esempio di un'azienda fittizia. L'output del job Spark sarà un file con valori separati da virgole (CSV) in Amazon Simple Storage Service (Amazon S3). Il file di dati di input, il file Spark .jar, uno snippet di codice e un CloudFormation modello AWS per un cloud privato virtuale (VPC) e i ruoli AWS Identity and Access Management (IAM) per eseguire il calcolo sono forniti come allegato.

Prerequisiti e limitazioni

Prerequisiti

Limitazioni

Versioni del prodotto

Architettura

Stack tecnologico Target

Architettura di destinazione

Automazione e scalabilità

Per automatizzare il calcolo in batch Spark-EMR, puoi utilizzare una delle seguenti opzioni.

Strumenti

Servizi AWS

Altri strumenti

Epiche

Risorse correlate

Informazioni aggiuntive

Codice

"""
Copy paste the following code in your Lambda function. Make sure to change the following key parameters for the API as per your account

-Name (Name of Spark cluster)
-LogUri (S3 bucket to store EMR logs)
-Ec2SubnetId (The subnet to launch the cluster into)
-JobFlowRole (Service role for EC2)
-ServiceRole (Service role for Amazon EMR)

The following parameters are additional parameters for the Spark job itself. Change the bucket name and prefix for the Spark job (located at the bottom).

-s3://your-bucket-name/prefix/lambda-emr/SparkProfitCalc.jar (Spark jar file)
-s3://your-bucket-name/prefix/fake_sales_data.csv (Input data file in S3)
-s3://your-bucket-name/prefix/outputs/report_1/ (Output location in S3)
"""
import boto3

client = boto3.client('emr')


def lambda_handler(event, context):
    response = client.run_job_flow(
        Name='spark_job_cluster',
        LogUri='s3://your-bucket-name/prefix/logs',
        ReleaseLabel='emr-6.0.0',
        Instances={
            'MasterInstanceType': 'm5.xlarge',
            'SlaveInstanceType': 'm5.large',
            'InstanceCount': 1,
            'KeepJobFlowAliveWhenNoSteps': False,
            'TerminationProtected': False,
            'Ec2SubnetId': 'subnet-XXXXXXXXXXXXXX'
        },
        Applications=[{'Name': 'Spark'}],
        Configurations=[
            {'Classification': 'spark-hive-site',
             'Properties': {
                 'hive.metastore.client.factory.class': 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory'}
             }
        ],
        VisibleToAllUsers=True,
        JobFlowRole='EMRLambda-EMREC2InstanceProfile-XXXXXXXXX',
        ServiceRole='EMRLambda-EMRRole-XXXXXXXXX',
        Steps=[
            {
                'Name': 'flow-log-analysis',
                'ActionOnFailure': 'TERMINATE_CLUSTER',
                'HadoopJarStep': {
                    'Jar': 'command-runner.jar',
                    'Args': [
                        'spark-submit',
                        '--deploy-mode', 'cluster',
                        '--executor-memory', '6G',
                        '--num-executors', '1',
                        '--executor-cores', '2',
                        '--class', 'com.aws.emr.ProfitCalc',
                        's3://your-bucket-name/prefix/lambda-emr/SparkProfitCalc.jar',
                        's3://your-bucket-name/prefix/fake_sales_data.csv',
                        's3://your-bucket-name/prefix/outputs/report_1/'
                    ]
                }
            }
        ]
    )

Ruoli IAM e creazione di VPC

Per avviare il cluster EMR in una funzione Lambda, sono necessari ruoli VPC e IAM. Puoi configurare i ruoli VPC e IAM utilizzando il CloudFormation modello AWS nella sezione Attachments di questo modello oppure puoi crearli manualmente utilizzando i seguenti link. 

I seguenti ruoli IAM sono necessari per eseguire Lambda e Amazon EMR. 

Ruolo di esecuzione Lambda

Il ruolo di esecuzione di una funzione Lambda le concede l'autorizzazione ad accedere ai servizi e alle risorse AWS.

Ruolo di servizio per Amazon EMR

Il ruolo Amazon EMR definisce le azioni consentite per Amazon EMR durante il provisioning di risorse e l'esecuzione di attività a livello di servizio che non vengono eseguite nel contesto di un'istanza Amazon Elastic Compute Cloud (Amazon EC2) in esecuzione all'interno di un cluster. Ad esempio, il ruolo del servizio viene utilizzato per effettuare il provisioning di istanze EC2 quando viene avviato un cluster.

Ruolo di servizio per le istanze EC2

Il ruolo di servizio per le istanze EC2 del cluster (chiamato anche profilo di istanza EC2 per Amazon EMR) è un tipo speciale di ruolo di servizio che viene assegnato a ogni istanza EC2 in un cluster Amazon EMR all'avvio dell'istanza. I processi applicativi eseguiti su Apache Hadoop assumono questo ruolo per le autorizzazioni di interazione con altri servizi AWS.

Creazione di VPC e sottoreti

Puoi creare un VPC dalla console VPC. 

Allegati

Per accedere a contenuti aggiuntivi associati a questo documento, decomprimi il seguente file: attachment.zip