Step Functions를 사용하여 Amazon EMR 직접 호출

Step Functions는 Amazon States Language (ASL) 에서 직접 특정 AWS 서비스를 제어할 수 있습니다. 자세한 내용은 다른 서비스와 함께 사용 및 파라미터를 서비스 API에 전달 섹션을 참조하세요.

Amazon AWS Step Functions EMR과 통합하려면 제공된 Amazon EMR 서비스 통합 API를 사용합니다. 서비스 통합 API는 해당 Amazon EMR API와 유사하지만 전달되는 필드와 반환되는 응답에 약간의 차이가 있습니다.

Step Functions는 실행이 중지된 경우 Amazon EMR 클러스터를 자동으로 종료하지 않습니다. Amazon EMR 클러스터가 종료되기 전에 상태 시스템이 중지하면 클러스터가 무기한 계속 실행될 수 있으므로 추가 요금이 발생할 수 있습니다. 이를 방지하려면 생성된 모든 Amazon EMR 클러스터를 올바르게 종료해야 합니다. 자세한 내용은 다음을 참조하세요.

Amazon EMR 서비스 통합 가용성은 Amazon EMR API 가용성에 따라 달라질 수 있습니다. 특별 리전에서 제한 사항은 Amazon EMR 설명서를 확인하세요.

다음 표에서는 각 서비스 통합 API와 해당 Amazon EMR API 간의 차이점을 설명합니다.

{
  "ClusterId": "string"
}

{
  "JobFlowId": "string"
}

{
  "ClusterId": "string"
}

{
  "JobFlowIds": ["string"]
}

{
  "ClusterId": "string"
}

{
  "JobFlowIds": ["string"]
}

{
  "Step": <"StepConfig object">
}

{
  "Steps": [<StepConfig objects>]
}

{
  "StepId": "string"
}

{
  "StepIds": [<strings>]
}

{
  "StepId": "string"
}

{
  "StepIds": [<strings>]
}

{
  "CancelStepsInfo": <CancelStepsInfo object>
}

{
  "CancelStepsInfoList": [<CancelStepsInfo objects>]
}

{
  "ClusterId": "string",
  "InstanceGroup": <InstanceGroupModifyConfig object>
}

{
  "ClusterId": ["string"],
  "InstanceGroups": [<InstanceGroupModifyConfig objects>]
}

다음은 클러스터를 생성하는 Task 상태를 포함합니다.

"Create_Cluster": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:createCluster.sync",
    "Parameters": {
        "Name": "MyWorkflowCluster",
        "VisibleToAllUsers": true,
        "ReleaseLabel": "emr-5.28.0",
        "Applications": [
            {
                "Name": "Hive"
            }
        ],
        "ServiceRole": "EMR_DefaultRole",
        "JobFlowRole": "EMR_EC2_DefaultRole",
        "LogUri": "s3n://aws-logs-123456789012-us-east-1/elasticmapreduce/",
        "Instances": {
            "KeepJobFlowAliveWhenNoSteps": true,
            "InstanceFleets": [
                {
                    "InstanceFleetType": "MASTER",
                    "Name": "MASTER",   
                    "TargetOnDemandCapacity": 1,
                    "InstanceTypeConfigs": [
                        {
                            "InstanceType": "m4.xlarge"
                        }
                    ]
                },
                {
                    "InstanceFleetType": "CORE",
                    "Name": "CORE",
                    "TargetOnDemandCapacity": 1,
                    "InstanceTypeConfigs": [
                        {
                            "InstanceType": "m4.xlarge"
                        }
                    ]
                }
            ]
        }
    },
    "End": true
}

다음은 종료 보호를 활성화하는 Task 상태를 포함합니다.

"Enable_Termination_Protection": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:setClusterTerminationProtection",
    "Parameters": {
        "ClusterId.$": "$.ClusterId",
        "TerminationProtected": true
    },
    "End": true
}

다음은 클러스터에 단계를 제출하는 Task 상태를 포함합니다.

"Step_One": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:addStep.sync",
    "Parameters": {
        "ClusterId.$": "$.ClusterId",
        "ExecutionRoleArn": "arn:aws:iam::123456789012:role/myEMR-execution-role",
        "Step": {
            "Name": "The first step",
            "ActionOnFailure": "CONTINUE",
            "HadoopJarStep": {
                "Jar": "command-runner.jar",
                "Args": [
                    "hive-script",
                    "--run-hive-script",
                    "--args",
                    "-f",
                    "s3://<region>.elasticmapreduce.samples/cloudfront/code/Hive_CloudFront.q",
                    "-d",
                    "INPUT=s3://<region>.elasticmapreduce.samples",
                    "-d",
                    "OUTPUT=s3://<mybucket>/MyHiveQueryResults/"
                ]
            }
        }
    },
    "End": true
}

다음은 단계를 취소하는 Task 상태를 포함합니다.

"Cancel_Step_One": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:cancelStep",
    "Parameters": {
        "ClusterId.$": "$.ClusterId",
        "StepId.$": "$.AddStepsResult.StepId"
    },
    "End": true
}

다음은 클러스터를 종료하는 Task 상태를 포함합니다.

"Terminate_Cluster": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:terminateCluster.sync",
    "Parameters": {
        "ClusterId.$": "$.ClusterId"
    },
    "End": true
}

다음은 인스턴스 그룹에 대해 클러스터를 확장 또는 축소하는 Task 상태를 포함합니다.

"ModifyInstanceGroupByName": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:modifyInstanceGroupByName",
    "Parameters": {
        "ClusterId": "j-1234567890123",
        "InstanceGroupName": "MyCoreGroup",
        "InstanceGroup": {
            "InstanceCount": 8
        }
    },
    "End": true
}

다음은 인스턴스 플릿에 대해 클러스터를 확장 또는 축소하는 Task 상태를 포함합니다.

"ModifyInstanceFleetByName": {
    "Type": "Task",
    "Resource": "arn:aws:states:::elasticmapreduce:modifyInstanceFleetByName",
    "Parameters": {
        "ClusterId": "j-1234567890123",
        "InstanceFleetName": "MyCoreFleet",
        "InstanceFleet": {
            "TargetOnDemandCapacity": 8,
            "TargetSpotCapacity": 0
        }
    },
    "End": true
}

다른 AWS 서비스와 Step Functions 함께 사용할 때 IAM 권한을 구성하는 방법에 대한 자세한 내용은 을 참조하십시오통합 서비스용 IAM 정책.