Convertire i file mainframe dal EBCDIC formato al formato delimitato da caratteri in ASCII Amazon S3 utilizzando Lambda AWS

Crea le variabili d'ambiente.

Copiate le seguenti variabili di ambiente <placeholder>in un editor di testo, quindi sostituite i valori dell'esempio seguente con i valori delle risorse:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Nota: creerai riferimenti al tuo bucket S3, all'AWSaccount e alla AWS regione in un secondo momento.

Per definire le variabili di ambiente, apri la CloudShell console, quindi copia e incolla le variabili di ambiente aggiornate nella riga di comando.

Nota: è necessario ripetere questo passaggio ogni volta che la CloudShell sessione viene riavviata.

Crea una cartella di lavoro.

Per semplificare il processo di pulizia delle risorse in un secondo momento, crea una cartella di lavoro CloudShell eseguendo il seguente comando:

mkdir workdir; cd workdir

Nota: è necessario modificare la directory nella directory di lavoro (workdir) ogni volta che si perde la connessione alla CloudShell sessione.

Crea una politica di fiducia per la funzione Lambda.

Il EBCDIC convertitore funziona con una funzione Lambda. La funzione deve avere un IAM ruolo. Prima di creare il IAM ruolo, è necessario definire un documento sulla politica di fiducia che consenta alle risorse di assumere tale politica.

Dalla cartella CloudShell di lavoro, create un documento di policy eseguendo il comando seguente:

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Crea il IAM ruolo per la conversione Lambda.

Per creare un IAM ruolo, esegui il seguente AWS CLI comando dalla cartella di CloudShell lavoro:

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Crea il documento IAM di policy per la funzione Lambda.

La funzione Lambda deve disporre dell'accesso in lettura/scrittura al bucket S3 e delle autorizzazioni di scrittura per Amazon Logs. CloudWatch

Per creare una IAM policy, esegui il seguente comando dalla cartella di lavoro: CloudShell

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Allega il documento di IAM policy al IAM ruolo.

Per allegare la IAM policy al IAM ruolo, esegui il seguente comando dalla tua cartella CloudShell di lavoro:

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Scarica il codice sorgente della EBCDIC conversione.

Dalla cartella CloudShell di lavoro, esegui il seguente comando per scaricare il codice mainframe-data-utilities sorgente da GitHub:

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Crea il ZIP pacchetto.

Dalla cartella di CloudShell lavoro, esegui il comando seguente per creare il ZIP pacchetto che crea la funzione Lambda per EBCDIC la conversione:

cd mdu; zip ../mdu.zip *.py; cd ..

Creazione della funzione Lambda

Dalla cartella di CloudShell lavoro, esegui il seguente comando per creare la funzione Lambda per EBCDIC la conversione:

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Nota: il layout della variabile di ambiente indica alla funzione Lambda dove risiedono i JSON metadati.

Crea la politica basata sulle risorse per la funzione Lambda.

Dalla cartella di CloudShell lavoro, esegui il comando seguente per consentire alla notifica degli eventi di Amazon S3 di attivare la funzione Lambda per la conversione: EBCDIC

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Crea il documento di configurazione per la notifica degli eventi di Amazon S3.

La notifica degli eventi di Amazon S3 avvia la funzione di conversione EBCDIC Lambda quando i file vengono inseriti nella cartella di input.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per creare il JSON documento per la notifica degli eventi di Amazon S3:

{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Crea la notifica degli eventi di Amazon S3.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per creare la notifica degli eventi di Amazon S3:

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Analizza il COBOL quaderno.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per analizzare un COBOL quaderno di esempio in un JSON file (che definisce come leggere e suddividere correttamente il file di dati):

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Aggiungi la regola di trasformazione.

Il file di dati di esempio e il COBOL quaderno corrispondente sono un file a più layout. Ciò significa che la conversione deve suddividere i dati in base a determinate regole. In questo caso, i byte nelle posizioni 3 e 4 in ogni riga definiscono il layout.

Dalla cartella CloudShell di lavoro, modificate il CLIENT.json file e modificate il contenuto nel "transf-rule": [], modo seguente:

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Carica i JSON metadati nel bucket S3.

Dalla cartella di CloudShell lavoro, esegui il seguente AWS CLI comando per caricare i JSON metadati nel tuo bucket S3:

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Invia il EBCDIC file al bucket S3.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per inviare il EBCDIC file al bucket S3:

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Nota: ti consigliamo di impostare cartelle diverse per i file di input (EBCDIC) e output (ASCII) per evitare di richiamare nuovamente la funzione di conversione Lambda quando il ASCII file viene caricato nel bucket S3.

Controlla l'output.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per verificare se il ASCII file è generato nel tuo bucket S3:

awss3 ls s3://$bucket/

Nota: la conversione dei dati può richiedere diversi secondi. Ti consigliamo di controllare il ASCII file alcune volte.

Una volta che il ASCII file è disponibile, esegui il seguente comando per scaricare il file dal bucket S3 nella cartella corrente:

aws s3 cp s3://$bucket/CLIENT.ASCII.txt .

Controlla il contenuto del ASCII file:

head CLIENT.ASCII.txt

(Facoltativo) Prepara le variabili e la cartella.

Se perdete la connessione con CloudShell, riconnettetevi ed eseguite il seguente comando per spostare la directory nella cartella di lavoro:

cd workdir

Assicuratevi che le variabili di ambiente siano definite:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Rimuovi la configurazione di notifica per il bucket.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per rimuovere la configurazione di notifica degli eventi di Amazon S3:

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Elimina la funzione Lambda.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per eliminare la funzione Lambda per il EBCDIC convertitore:

awslambdadelete-function--function-nameE2A

Eliminare il IAM ruolo e la politica.

Dalla cartella di CloudShell lavoro, esegui il comando seguente per rimuovere il ruolo e la politica del EBCDIC convertitore:

aws iam delete-role-policy --role-name
E2AConvLambdaRole --policy-name
E2AConvLambdaPolicy

aws iam delete-role --role-name
E2AConvLambdaRole

Elimina i file generati nel bucket S3.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per eliminare i file generati nel bucket S3:

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Eliminare la cartella di lavoro.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per rimuovere workdir e rimuovere il relativo contenuto:

cd ..; rm -Rf workdir