Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conexión a los flujos de trabajo de Apache Oozie con AWS Schema Conversion Tool

Puede utilizar la interfaz de línea de AWS SCT comandos (CLI) para convertir los flujos de trabajo de Apache Oozie a. AWS Step Functions Tras migrar las cargas de trabajo de Apache Hadoop a AmazonEMR, puede utilizar un servicio nativo Nube de AWS para organizar sus trabajos. Para obtener más información, consulte Conexión a Apache Hadoop.

AWS SCT convierte tus flujos de trabajo de Oozie en funciones que no son AWS Step Functions compatibles y AWS Lambda las utiliza para emularlas. AWS Step Functions Además, AWS SCT convierte las propiedades de tu trabajo en Oozie en. AWS Systems Manager

Para convertir los flujos de trabajo de Apache Oozie, asegúrate de usar la AWS SCT versión 1.0.671 o superior. Además, familiarícese con la interfaz de la línea de comandos de AWS SCT. Para obtener más información, consulte CLIReferencia para AWS Schema Conversion Tool.

Requisitos previos para utilizar Apache Oozie como origen

Se requieren los siguientes requisitos previos para conectarse a Apache Oozie con el. AWS SCT CLI

Para trabajar con los flujos de trabajo de Apache Oozie de origen, se AWS SCT requiere la estructura específica de los archivos de origen. Cada una de las carpetas de la aplicación debe incluir el archivo job.properties. Este archivo incluye pares clave-valor de las propiedades del trabajo. Además, cada una de las carpetas de la aplicación debe incluir el archivo workflow.xml. Este archivo describe los nodos de acción y los nodos de flujo de control del flujo de trabajo.

Conexión a Apache Oozie como origen

Utilice el siguiente procedimiento para conectarse a los archivos de origen de Apache Oozie.

Permisos para usar AWS Lambda las funciones del paquete de extensiones

Para las funciones de código fuente que AWS Step Functions no son compatibles, AWS SCT crea un paquete de extensiones. Este paquete de extensiones incluye AWS Lambda funciones que emulan las funciones de origen.

Para usar este paquete de extensiones, cree un rol AWS Identity and Access Management (IAM) con los siguientes permisos.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "lambda",
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:498160209112:function:LoadParameterInitialState:*",
                "arn:aws:lambda:*:498160209112:function:EvaluateJSPELExpressions:*"
            ]
        },
        {
            "Sid": "emr",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeStep",
                "elasticmapreduce:AddJobFlowSteps"
            ],
            "Resource": [
                "arn:aws:elasticmapreduce:*:498160209112:cluster/*"
            ]
        },
        {
            "Sid": "s3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*"
            ]
        }
    ]
}

Para aplicar el paquete de extensiones, se AWS SCT necesita un IAM rol con los siguientes permisos.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:GetRole",
                "iam:ListRolePolicies",
                "iam:CreateRole",
                "iam:TagRole",
                "iam:PutRolePolicy",
                "iam:DeleteRolePolicy",
                "iam:DeleteRole",
                "iam:PassRole"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNT_NUMBER:role/sct/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:GetRole",
                "iam:ListRolePolicies"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNT_NUMBER:role/lambda_LoadParameterInitialStateRole",
                "arn:aws:iam::ACCOUNT_NUMBER:role/lambda_EvaluateJSPELExpressionsRole",
                "arn:aws:iam::ACCOUNT_NUMBER:role/stepFunctions_MigratedOozieWorkflowRole"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lambda:GetFunction",
                "lambda:CreateFunction",
                "lambda:UpdateFunctionCode",
                "lambda:DeleteFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:ACCOUNT_NUMBER:function:LoadParameterInitialState",
                "arn:aws:lambda:*:ACCOUNT_NUMBER:function:EvaluateJSPELExpressions"
            ]
        }
    ]
}

Conectarse a AWS Step Functions como objetivo

Utilice el siguiente procedimiento para conectarse AWS Step Functions como objetivo.