使用 Lambda 在 ASCII Amazon S3 中将大型机文件从EBCDIC格式转换为以字符分隔的格式 AWS

创建环境变量。

将以下环境变量复制至文本编辑器，然后将<placeholder>以下示例中的值替换为您的资源值：

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

注意：稍后您将创建对您的 S3 存储桶、AWS账户和AWS区域的引用。

要定义环境变量，请打开CloudShell 控制台，然后将更新的环境变量复制并粘贴到命令行中。

注意：每次 CloudShell 会话重新启动时都必须重复此步骤。

创建工作文件夹。

要简化以后的资源清理过程，请运行以下命令在中 CloudShell 创建一个工作文件夹：

mkdir workdir; cd workdir

注意：每次断开与 CloudShell 会话的连接时，都必须将目录更改为工作目录 (workdir)。

创建 Lambda 函数的信任策略。

EBCDIC转换器在 Lambda 函数中运行。该函数必须有IAM角色。在创建IAM角色之前，必须定义一个信任策略文档，使资源能够承担该策略。

在 CloudShell 工作文件夹中，通过运行以下命令创建策略文档：

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

创建用于 Lambda 转换的IAM角色。

要创建IAM角色，请在 CloudShell 工作文件夹中运行以下AWSCLI命令：

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

为 Lambda 函数创建IAM策略文档。

Lambda 函数必须具有对 S3 存储桶的读写访问权限以及对 Amazon 日志的写入权限。 CloudWatch

要创建IAM策略，请在 CloudShell 工作文件夹中运行以下命令：

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

将IAM策略文档附加到该IAM角色。

要将IAM策略附加到IAM角色，请从您的 CloudShell 工作文件夹中运行以下命令：

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

下载EBCDIC转换源代码。

在 CloudShell 工作文件夹中，运行以下命令从中下载 mainframe-data-utilities源代码 GitHub：

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

创建ZIP软件包。

在 CloudShell 工作文件夹中，运行以下命令来创建用于转换的 Lambda 函数的ZIPEBCDIC包：

cd mdu; zip ../mdu.zip *.py; cd ..

创建 Lambda 函数。

在 CloudShell 工作文件夹中，运行以下命令来创建用于EBCDIC转换的 Lambda 函数：

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

注意：环境变量布局告知 Lambda 函数JSON元数据所在的位置。

为 Lamba 函数创建基于资源的策略。

在 CloudShell 工作文件夹中，运行以下命令以允许您的 Amazon S3 事件通知触发 Lambda 函数进行EBCDIC转换：

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

为 Amazon S3 的事件通知创建配置文档。

当文件放入输入文件夹时，Amazon S3 事件通知会启动EBCDIC转换 Lambda 函数。

在 CloudShell 工作文件夹中，运行以下命令为 Amazon S3 事件通知创建JSON文档：

{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

创建 Amazon S3 事件通知。

在 CloudShell 工作文件夹中，运行以下命令来创建 Amazon S3 事件通知：

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

解析字COBOL帖。

在 CloudShell 工作文件夹中，运行以下命令将示例COBOL抄写本解析为JSON文件（该文件定义了如何正确读取和切片数据文件）：

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

添加转换规则。

样本数据文件及其对应的COBOL副本是一个多布局文件。这意味着转换必须按某些规则对数据进行切片。在这种情况下，每行位置 3 和 4 的字节定义了布局。

在 CloudShell 工作文件夹中，编辑CLIENT.json文件并将内容从更改"transf-rule": [],为以下内容：

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

将JSON元数据上传到 S3 存储桶。

在 CloudShell 工作文件夹中，运行以下AWSCLI命令将JSON元数据上传到您的 S3 存储桶：

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

将EBCDIC文件发送到 S3 存储桶。

在 CloudShell 工作文件夹中，运行以下命令将EBCDIC文件发送到 S3 存储桶：

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

注意：我们建议您为输入 (EBCDIC) 和输出 (ASCII) 文件设置不同的文件夹，以免在ASCII文件上传到 S3 存储桶时再次调用 Lambda 转换函数。

检查输出情况。

在 CloudShell 工作文件夹中，运行以下命令以检查ASCII文件是否在您的 S3 存储桶中生成：

awss3 ls s3://$bucket/

注意：数据转换可能需要几秒钟才能完成。我们建议您多次检查该ASCII文件。

ASCII文件可用后，运行以下命令将文件从 S3 存储桶下载到当前文件夹：

aws s3 cp s3://$bucket/CLIENT.ASCII.txt .

检查ASCII文件内容：

head CLIENT.ASCII.txt

（可选）准备变量与文件夹。

如果与断开连接 CloudShell，请重新连接，然后运行以下命令将目录更改为工作文件夹：

cd workdir

确保您已定义环境变量：

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

移除存储桶的通知配置。

在 CloudShell 工作文件夹中，运行以下命令以删除 Amazon S3 事件通知配置：

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

删除 Lambda 函数。

在 CloudShell 工作文件夹中，运行以下命令删除转换器的 Lambda 函数：EBCDIC

awslambdadelete-function--function-nameE2A

删除IAM角色和策略。

在 CloudShell 工作文件夹中，运行以下命令以删除EBCDIC转换器角色和策略：

aws iam delete-role-policy --role-name
E2AConvLambdaRole --policy-name
E2AConvLambdaPolicy

aws iam delete-role --role-name
E2AConvLambdaRole

删除 S3 存储桶内生成的文件。

在 CloudShell 工作文件夹中，运行以下命令删除 S3 存储桶中生成的文件：

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

删除工作文件夹。

在 CloudShell 工作文件夹中，运行以下命令以删除workdir及其内容：

cd ..; rm -Rf workdir