使用 Lambda 函數在暫時性EMR叢集中啟動 Spark 任務

由 Dhrubajyoti Mukherjee 建立 （AWS）

Summary

此模式使用 Amazon EMR RunJobFlow API動作啟動暫時性叢集，從 Lambda 函數執行 Spark 任務。暫時性EMR叢集的設計是要在任務完成後或發生任何錯誤時立即終止。暫時性叢集可節省成本，因為它只在運算時間內執行，並在雲端環境中提供可擴展性和靈活性。

暫時性EMR叢集是使用 Lambda 函數中的 Boto3 API和 Python 程式設計語言啟動。Lambda 函數以 Python 編寫，提供在需要時啟動叢集的額外彈性。

為了示範範例批次運算和輸出，此模式會從 Lambda 函數在EMR叢集中啟動 Spark 任務，並根據虛構公司的銷售資料範例執行批次運算。Spark 任務的輸出將是 Amazon Simple Storage Service （Amazon S3CSV） 中的逗號分隔值 （） 檔案。輸入資料檔案、Spark .jar 檔案、程式碼片段，以及虛擬私有雲端 （VPC） 和 AWS Identity and Access Management （IAM） 角色的AWS CloudFormation 範本，以附件的形式提供。

先決條件和限制

先決條件

限制

產品版本

架構

目標技術堆疊

目標架構

自動化和擴展

若要自動化 Spark EMR批次運算，您可以使用下列任一選項。

工具

AWS 服務

其他工具

史詩

相關資源

其他資訊

Code

"""
Copy paste the following code in your Lambda function. Make sure to change the following key parameters for the API as per your account

-Name (Name of Spark cluster)
-LogUri (S3 bucket to store EMR logs)
-Ec2SubnetId (The subnet to launch the cluster into)
-JobFlowRole (Service role for EC2)
-ServiceRole (Service role for Amazon EMR)

The following parameters are additional parameters for the Spark job itself. Change the bucket name and prefix for the Spark job (located at the bottom).

-s3://your-bucket-name/prefix/lambda-emr/SparkProfitCalc.jar (Spark jar file)
-s3://your-bucket-name/prefix/fake_sales_data.csv (Input data file in S3)
-s3://your-bucket-name/prefix/outputs/report_1/ (Output location in S3)
"""
import boto3

client = boto3.client('emr')


def lambda_handler(event, context):
    response = client.run_job_flow(
        Name='spark_job_cluster',
        LogUri='s3://your-bucket-name/prefix/logs',
        ReleaseLabel='emr-6.0.0',
        Instances={
            'MasterInstanceType': 'm5.xlarge',
            'SlaveInstanceType': 'm5.large',
            'InstanceCount': 1,
            'KeepJobFlowAliveWhenNoSteps': False,
            'TerminationProtected': False,
            'Ec2SubnetId': 'subnet-XXXXXXXXXXXXXX'
        },
        Applications=[{'Name': 'Spark'}],
        Configurations=[
            {'Classification': 'spark-hive-site',
             'Properties': {
                 'hive.metastore.client.factory.class': 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory'}
             }
        ],
        VisibleToAllUsers=True,
        JobFlowRole='EMRLambda-EMREC2InstanceProfile-XXXXXXXXX',
        ServiceRole='EMRLambda-EMRRole-XXXXXXXXX',
        Steps=[
            {
                'Name': 'flow-log-analysis',
                'ActionOnFailure': 'TERMINATE_CLUSTER',
                'HadoopJarStep': {
                    'Jar': 'command-runner.jar',
                    'Args': [
                        'spark-submit',
                        '--deploy-mode', 'cluster',
                        '--executor-memory', '6G',
                        '--num-executors', '1',
                        '--executor-cores', '2',
                        '--class', 'com.aws.emr.ProfitCalc',
                        's3://your-bucket-name/prefix/lambda-emr/SparkProfitCalc.jar',
                        's3://your-bucket-name/prefix/fake_sales_data.csv',
                        's3://your-bucket-name/prefix/outputs/report_1/'
                    ]
                }
            }
        ]
    )

IAM 角色和VPC建立

若要在 Lambda 函數中啟動EMR叢集，需要 VPC和 IAM角色。您可以使用此模式的附件區段中的AWS CloudFormation 範本來設定 VPC和 IAM角色，也可以使用以下連結手動建立這些角色。 

執行 Lambda 和 Amazon 需要下列IAM角色EMR。 

Lambda 執行角色

Lambda 函數的執行角色會授予存取 AWS 服務和資源的許可。

Amazon 的服務角色 EMR

Amazon EMR角色會定義在佈建資源和執行服務層級任務EMR時，Amazon 的允許動作，這些任務未在叢集內執行的 Amazon Elastic Compute Cloud （AmazonEC2） 執行個體環境中執行。例如，服務角色用於在叢集啟動時佈建EC2執行個體。

EC2執行個體的服務角色

叢集EC2執行個體的服務角色 （也稱為 Amazon 的EC2執行個體設定檔EMR） 是特殊類型的服務角色，會在EC2執行個體啟動時指派給 Amazon EMR叢集中的每個執行個體。在 Apache Hadoop 上執行的應用程式程序會擔任此角色，以允許 與其他 AWS 服務互動。

VPC 和子網路建立

您可以從VPC主控台建立 VPC。 

附件

若要存取與本文件相關聯的其他內容，請解壓縮下列檔案： attachment.zip