Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Herstellen einer Verbindung zu Apache Oozie-Workflows mit dem AWS Schema Conversion Tool

Sie können die AWS SCT Befehlszeilenschnittstelle (CLI) verwenden, um Apache Oozie-Workflows in zu konvertieren. AWS Step Functions Nachdem Sie Ihre Apache Hadoop-Workloads zu Amazon migriert habenEMR, können Sie einen nativen Service in der verwenden, um Ihre Jobs AWS Cloud zu orchestrieren. Weitere Informationen finden Sie unter Verbindung zu Apache Hadoop herstellen.

AWS SCT konvertiert Ihre Oozie-Workflows in Funktionen, die nicht unterstützt werden, AWS Step Functions und verwendet AWS Lambda diese, um sie zu emulieren. AWS Step Functions AWS SCT Konvertiert außerdem Ihre Oozie-Jobeigenschaften in. AWS Systems Manager

Um Apache Oozie-Workflows zu konvertieren, stellen Sie sicher, dass Sie AWS SCT Version 1.0.671 oder höher verwenden. Machen Sie sich auch mit der Befehlszeilenschnittstelle von vertraut. AWS SCT Weitere Informationen finden Sie unter CLIReferenz für AWS Schema Conversion Tool.

Voraussetzungen für die Verwendung von Apache Oozie als Quelle

Die folgenden Voraussetzungen sind erforderlich, um mit dem eine Verbindung zu Apache Oozie herzustellen. AWS SCT CLI

Um mit Ihren Apache Oozie-Quell-Workflows arbeiten zu können, AWS SCT ist die spezifische Struktur Ihrer Quelldateien erforderlich. Jeder Ihrer Anwendungsordner muss die job.properties Datei enthalten. Diese Datei enthält Schlüssel-Wert-Paare Ihrer Jobeigenschaften. Außerdem muss jeder Ihrer Bewerbungsordner die workflow.xml Datei enthalten. In dieser Datei werden die Aktionsknoten und Kontrollflussknoten Ihres Workflows beschrieben.

Verbindung zu Apache Oozie als Quelle herstellen

Verwenden Sie das folgende Verfahren, um eine Verbindung zu Ihren Apache Oozie-Quelldateien herzustellen.

Berechtigungen für die Verwendung von AWS Lambda Funktionen im Erweiterungspaket

Für die Quellfunktionen, die AWS Step Functions nicht unterstützt werden, AWS SCT erstellt ein Erweiterungspaket. Dieses Erweiterungspaket enthält AWS Lambda Funktionen, die Ihre Quellfunktionen emulieren.

Um dieses Erweiterungspaket zu verwenden, erstellen Sie eine AWS Identity and Access Management (IAM) -Rolle mit den folgenden Berechtigungen.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "lambda",
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:498160209112:function:LoadParameterInitialState:*",
                "arn:aws:lambda:*:498160209112:function:EvaluateJSPELExpressions:*"
            ]
        },
        {
            "Sid": "emr",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeStep",
                "elasticmapreduce:AddJobFlowSteps"
            ],
            "Resource": [
                "arn:aws:elasticmapreduce:*:498160209112:cluster/*"
            ]
        },
        {
            "Sid": "s3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*"
            ]
        }
    ]
}

Um das Erweiterungspaket anzuwenden, AWS SCT ist eine IAM Rolle mit den folgenden Berechtigungen erforderlich.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:GetRole",
                "iam:ListRolePolicies",
                "iam:CreateRole",
                "iam:TagRole",
                "iam:PutRolePolicy",
                "iam:DeleteRolePolicy",
                "iam:DeleteRole",
                "iam:PassRole"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNT_NUMBER:role/sct/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:GetRole",
                "iam:ListRolePolicies"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNT_NUMBER:role/lambda_LoadParameterInitialStateRole",
                "arn:aws:iam::ACCOUNT_NUMBER:role/lambda_EvaluateJSPELExpressionsRole",
                "arn:aws:iam::ACCOUNT_NUMBER:role/stepFunctions_MigratedOozieWorkflowRole"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lambda:GetFunction",
                "lambda:CreateFunction",
                "lambda:UpdateFunctionCode",
                "lambda:DeleteFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:ACCOUNT_NUMBER:function:LoadParameterInitialState",
                "arn:aws:lambda:*:ACCOUNT_NUMBER:function:EvaluateJSPELExpressions"
            ]
        }
    ]
}

AWS Step Functions Als Ziel wird eine Verbindung hergestellt

Gehen Sie wie folgt vor, um eine Verbindung zu AWS Step Functions als Ziel herzustellen.