使用 AWS Lambda 在 Amazon S3 中將大型主機檔案從 EBCDIC 格式轉換為以字元分隔的 ASCII 格式

建立環境變數。

將下列環境變數複製到文字編輯器，然後將<placeholder>下列範例中的值取代為您的資源值：

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

注意：稍後您將建立 S3 儲存貯體、AWS 帳戶和 AWS 區域的參考。

若要定義環境變數，請開啟CloudShell 主控台，然後將更新的環境變數複製並貼到命令列上。

注意：每次 CloudShell 工作階段重新啟動時，您都必須重複此步驟。

建立工作資料夾。

若要簡化稍後的資源清理程序，請執行下列指令 CloudShell 來在中建立工作資料夾：

mkdir workdir; cd workdir

附註：每次失去工作 CloudShell 階段的連線時，都必須將目錄變更為工作目錄 (workdir)。

為 Lambda 函數建立信任政策。

EBCDIC 轉換器在一個 Lambda 函數中運行。該函數必須具有 IAM 角色。在建立 IAM 角色之前，您必須定義可讓資源採用該政策的信任政策文件。

從 CloudShell 工作資料夾中，執行以下指令來建立原則文件：

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

建立用於 Lambda 轉換的 IAM 角色。

若要建立 IAM 角色，請從 CloudShell 工作資料夾執行以下 AWS CLI 命令：

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

為 Lambda 函數建立 IAM 政策文件。

Lambda 函數必須具有 S3 儲存貯體的讀寫存取權限，以及 Amazon CloudWatch 日誌的寫入許可。

若要建立 IAM 政策，請從 CloudShell 工作資料夾執行下列命令：

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

將 IAM 政策文件附加到 IAM 角色。

若要將 IAM 政策附加到 IAM 角色，請從 CloudShell 工作資料夾執行下列命令：

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

下載 EBCDIC 轉換源代碼。

從 CloudShell 工作資料夾中，執行下列指令以從中下載 mainframe-data-utilities 原始程式碼 GitHub：

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

建立 ZIP 封裝。

從 CloudShell 工作資料夾中，執行下列命令以建立用於 EBCDIC 轉換的 Lambda 函數的 ZIP 套件：

cd mdu; zip ../mdu.zip *.py; cd ..

建立 Lambda 函數。

從 CloudShell 工作資料夾中，執行下列命令以建立用於 EBCDIC 轉換的 Lambda 函數：

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

附註：環境變數配置會告知 Lambda 函數 JSON 中繼資料所在的位置。

為 Lambda 函數建立以資源為基礎的政策。

從 CloudShell 工作資料夾執行下列命令，以允許 Amazon S3 事件通知觸發 Lambda 函數進行 EBCDIC 轉換：

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

建立 Amazon S3 事件通知的組態文件。

當檔案放置在輸入資料夾中時，Amazon S3 事件通知會啟動 EBCDIC 轉換 Lambda 函數。

在工 CloudShell 作資料夾中，執行下列命令，為 Amazon S3 事件通知建立 JSON 文件：

{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

建立 Amazon S3 事件通知。

從 CloudShell 工作資料夾執行下列命令以建立 Amazon S3 事件通知：

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

解析 COBOL 字帖。

從 CloudShell 工作資料夾執行下列命令，將 COBOL 範例字稿剖析為 JSON 檔案 (定義如何正確讀取和分割資料檔案)：

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

新增轉換規則。

樣本數據文件及其相應的 COBOL 字帖是一個多佈局文件。這意味著轉換必須根據特定規則切片數據。在這種情況下，每行中位置 3 和 4 上的字節定義佈局。

從 CloudShell 工作資料夾中，編輯CLIENT.json檔案並將內容從變更"transf-rule": [],為以下內容：

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

將 JSON 中繼資料上傳至 S3 儲存貯體。

從 CloudShell 工作資料夾執行下列 AWS CLI 命令，將 JSON 中繼資料上傳到 S3 儲存貯體：

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

將 EBCDIC 檔案傳送到 S3 儲存貯體。

從 CloudShell 工作資料夾執行下列命令，將 EBCDIC 檔案傳送至 S3 儲存貯體：

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

備註：建議您為輸入 (EBCDIC) 和輸出 (ASCII) 檔案設定不同的資料夾，以避免在 ASCII 檔案上傳至 S3 儲存貯體時再次呼叫 Lambda 轉換函數。

檢查輸出。

從 CloudShell 工作資料夾中，執行下列命令以檢查是否在 S3 儲存貯體中產生 ASCII 檔案：

awss3 ls s3://$bucket/

備註：數據轉換可能需要幾秒鐘的時間才能發生。我們建議您多次檢查 ASCII 檔案。

ASCII 檔案可用之後，執行下列命令，將檔案從 S3 儲存貯體下載到目前的資料夾：

aws s3 cp s3://$bucket/CLIENT.ASCII.txt .

檢查 ASCII 文件內容：

head CLIENT.ASCII.txt

(選擇性) 準備變數和資料夾。

如果失去與的連線 CloudShell，請重新連線，然後執行以下指令，將目錄變更為工作資料夾：

cd workdir

請確定已定義環境變數：

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

移除值區的通知設定。

從 CloudShell 工作資料夾執行下列命令以移除 Amazon S3 事件通知組態：

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

刪除 Lambda 函數。

從 CloudShell 工作資料夾中，執行下列命令以刪除 EBCDIC 轉換器的 Lambda 函數：

awslambdadelete-function--function-nameE2A

刪除 IAM 角色和政策。

從 CloudShell 工作資料夾中，執行下列命令以移除 EBCDIC 轉換器角色和原則：

aws iam delete-role-policy --role-name
E2AConvLambdaRole --policy-name
E2AConvLambdaPolicy

aws iam delete-role --role-name
E2AConvLambdaRole

刪除 S3 儲存貯體中產生的檔案。

從 CloudShell 工作資料夾中，執行下列命令以刪除 S3 儲存貯體中產生的檔案：

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

刪除工作資料夾。

從 CloudShell 工作資料夾中，執行以下指令以移除workdir及其內容：

cd ..; rm -Rf workdir