使用AWS大型机现代化和 Amazon Q 生成数据见解 QuickSight - AWS Prescriptive Guidance

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用AWS大型机现代化和 Amazon Q 生成数据见解 QuickSight

由 Shubham Roy (AWS)、Roshna Razack () 和 Santosh Kumar Sin AWS gh () 创作 AWS

环境:PoC 或试点

技术:大型机;分析;迁移;现代化;机器学习和人工智能

工作量:IBM

AWS服务:AWSLambda;AWS大型机现代化;亚马逊;亚马逊 S3 QuickSight

Summary

如果您的组织在大型机环境中托管关键业务数据,那么从这些数据中获取见解对于推动增长和创新至关重要。通过解锁大型机数据,您可以构建更快、更安全、更可扩展的商业智能,从而加快 Amazon Web Services ()AWS云中数据驱动的决策、增长和创新。

这种模式提供了一种解决方案,用于通过使用AWS Mainframe Modernization 文件传输和 BMC A ma zon Q in 生成业务见解并根据大型机数据创建可共享的叙述。 QuickSight使用大型机现代化文件传输功能将大型机数据集传输到亚马逊简单存储服务 (Amazon S3) Simple Storag AWS e Service。BMC AWS Lambda 函数格式化并准备大型机数据文件以加载到 Amazon QuickSight。

在亚马逊提供数据后 QuickSight,您可以使用带有 Amazon Q 的自然语言提示 QuickSight 来创建数据摘要、提问和生成数据故事。您无需编写SQL查询或学习商业智能 (BI) 工具。

业务背景

这种模式为大型机数据分析和数据洞察用例提供了解决方案。使用该模式,您可以为公司的数据构建可视化仪表板。为了演示解决方案,这种模式使用了一家医疗保健公司,该公司为其在美国的成员提供医疗、牙科和视力计划。在此示例中,成员人口统计和计划信息存储在大型机数据集中。可视化仪表板显示以下内容:

  • 按地区划分的成员分布

  • 按性别分列的成员分布

  • 按年龄划分的会员分布

  • 按计划类型划分的成员分布

  • 尚未完成预防性免疫的会员

创建仪表板后,您将生成一个数据故事,解释先前分析的见解。数据故事为增加完成预防性免疫接种的成员人数提供了建议。

先决条件和限制

先决条件

  • 活跃的 AWS 账户

  • 包含业务数据的大型机数据集

  • 有权在大型机上安装文件传输代理

限制

  • 您的大型机数据文件应采用 Amazon QuickSight 支持的文件格式之一。有关支持的文件格式列表,请参阅 Amazon QuickSight 文档

    此模式使用 Lambda 函数将大型机文件转换为 Amazon 支持的格式。 QuickSight

架构

下图显示了通过使用 AWS Mainframe Modernization 文件传输BMC和 Amazon Q 从大型机数据生成业务见解的架构。 QuickSight

架构图说明紧随其后。

图表显示了以下工作流:

  1. 使用 AWS Mainframe Modernization 文件传输将包含业务数据的大型机数据集传输到 Amazon S3。BMC

  2. Lambda 函数将文件传输目标 S3 存储桶中的文件转换为逗号分隔值 () 格式。CSV

  3. Lambda 函数将转换后的文件发送到源数据集 S3 存储桶。

  4. 文件中的数据由 Amazon QuickSight 提取。

  5. 用户在 Amazon 中访问数据 QuickSight。您可以使用 Amazon Q 通过自然语言提示与数据进行交互。 QuickSight

工具

AWS服务

  • AWS Lambda 是一项计算服务,可帮助您运行代码,无需预置或管理服务器。它仅在需要时运行您的代码,并且能自动扩缩,因此您只需为使用的计算时间付费。

  • AWS Mainframe Modernization 文件传输功能用于BMC转换大型机数据集并将其传输到 Amazon S3,用于大型机现代化、迁移和增强用例。

  • Amazon QuickSight 是一项云规模的 BI 服务,可帮助您在单个控制面板中可视化、分析和报告数据。这种模式使用了 Amazon Q 中的生成式商业智能功能 QuickSight。

  • Amazon Simple Storage Service (Amazon S3) 是一项基于云的对象存储服务,可帮助您存储、保护和检索任意数量的数据。

最佳实践

  • 使用BMC和 Lambda 函数为 AWS Mainframe Modernization 文件传输创建 AWS Identity and Access Management (IAM) 角色时,请遵循最低权限原则。

  • 确保您的源数据集支持 Amazon 的数据类型 QuickSight。如果您的源数据集包含不支持的数据类型,请将其转换为支持的数据类型。有关不支持的大型机数据类型以及如何将其转换为 Amazon Q 支持的数据类型的信息 QuickSight,请参阅相关资源部分

操作说明

任务描述所需技能

安装文件传输代理。

要在大型机上安装 AWS Mainframe Modernization 文件传输代理,请按照AWS 文档中的说明进行操作。

大型机系统管理员

为大型机文件传输创建 S3 存储桶。

创建 S3 存储桶以存储 AWS Mainframe Modernization 文件传输的输出文件BMC。在架构图中,这是文件传输目标存储桶。

迁移工程师

创建数据传输端点。

  1. 创建 S3 存储桶,用于暂存用于文件传输的输入大型机 AWS Mainframe Modernization 文件。BMC

  2. 要创建大型机数据传输端点,请按照AWS 文档中的说明进行操作。

AWS大型机现代化专家
任务描述所需技能

创建 S3 存储桶。

为 Lambda 函数创建 S3 存储桶,将转换后的大型机文件从源存储桶复制到最终目标存储桶。

迁移工程师

创建一个 Lambda 函数。

要创建用于更改文件扩展名并将大型机文件复制到目标存储桶的 Lambda 函数,请执行以下操作:

  1. 登录并导航到 AWS Lambda 控制台。 AWS Management Console

  2. 选择 “创建函数”,然后选择 “从头开始创作”。

  3. 函数名称中,输入函数的名称。

  4. 在 “运行时间” 下拉列表中,选择 Python.3.X

  5. 展开 “更改默认执行角色”,然后选择 “使用基本 Lambda 权限创建新角色”。

  6. 选择 Create function (创建函数)

  7. 选择 “代码” 选项卡,然后粘贴 “其他信息” 部分中提供的 S3CopyLambda.py Python 代码。Python 代码是在微软 Visual Studio 集成开发环境中使用 Amazon Q Developer 生成的 (IDE)。

  8. 编辑为您之前创建的 S3 存储桶的名称和change destination_file_key大型机文件名。destination_bucket_name

  9. 部署 Lambda 函数。

迁移工程师

创建 Amazon S3 触发器来调用 Lambda 函数。

要配置调用 Lambda 函数的触发器,请执行以下操作:

  1. 在 Lambda 控制台上,打开函数页面

  2. 选择 Lambda 函数。

  3. 函数概述中,选择添加触发器

  4. 在 “触发器配置” 下拉列表中,选择 S3

  5. Bucket 字段中,输入您的源存储桶的名称。

  6. 在 “事件类型” 下拉列表中,选择 “所有对象创建事件”。

  7. 选中 “我确认不建议对输入和输出使用相同的 S3 存储桶” 复选框,然后选择 “添加”。

有关更多信息,请参见教程:使用 Amazon S3 触发器调用 Lambda函数

迁移主管

为 Lambda 函数提供IAM权限。

IAMLambda 函数需要权限才能访问文件传输目标和源数据集 S3 存储桶。通过允许文件传输目标 S3 存储桶s3:GetObjects3:PutObject访问源数据集 S3 存储桶s3:DeleteObject权限来更新与 Lambda 函数执行角色相关的策略。

有关更多信息,请参阅教程:使用 Amazon S3 触发器调用 Lambda 函数中的创建权限策略部分。

迁移主管
任务描述所需技能

创建传输任务以将大型机文件复制到 S3 存储桶。

要创建大型机文件传输任务,请按照AWS Mainframe Modernization 文档中的说明进行操作。

注意:源代码页编码指定为 IBM1047,将目标代码页编码指定为 UTF- 8。

迁移工程师

验证转移任务。

要验证数据传输是否成功,请按照AWS Mainframe Modernization 文档中的说明进行操作。确认大型机文件位于文件传输目标 S3 存储桶中。

迁移主管

验证 Lambda 复制函数。

验证 Lambda 函数是否已启动,并且文件已使用.csv 扩展名复制到源数据集 S3 存储桶。

Lambda 函数创建的.csv 文件是亚马逊的输入数据文件。 QuickSight有关示例数据,请参阅 “附件” 部分中的Sample-data-member-healthcare-APG文件。

迁移主管
任务描述所需技能

设置亚马逊 QuickSight。

要设置 Amazon QuickSight,请按照AWS 文档中的说明进行操作。

迁移主管

为 Amazon 创建数据集 QuickSight。

要为 Amazon 创建数据集 QuickSight,请按照AWS 文档中的说明进行操作。输入数据文件是在定义大型机数据传输任务时创建的转换后的大型机文件。

迁移主管
任务描述所需技能

在中设置 Amazon Q QuickSight。

此功能需要企业版。要在中设置 Amazon Q QuickSight,请执行以下操作:

  1. 要获取 Amazon Q 附加组件,请按照AWS 文档中的步骤 1:获取 Q 附加组件的说明进行操作。

  2. 要使用 Amazon Q 中的生成式 BI 功能,请升级您的用户账户。按照AWS 文档中的说明进行操作。

  3. 使用您之前创建的数据集创建 Amazon Q 主题。按照AWS 文档中的说明进行操作。

  4. 要配置主题元数据使其适合自然语言,请按照文档中的说明进行操作。AWS

迁移主管

分析大型机数据并构建可视化仪表板。

要在 Amazon 中分析和可视化您的数据 QuickSight,请执行以下操作:

  1. 要创建大型机数据分析,请按照AWS 文档中的说明进行操作。对于数据集,请选择在上一步中创建的数据集。

  2. 在分析页面上,选择生成视觉对象

  3. 创建分析主题窗口中,选择更新现有主题

  4. 选择主题下拉列表中,选择您之前创建的主题。

  5. 选择主题链接

  6. 链接主题后,选择 “构建视觉对象” 以打开 Amazon Q “构建可视化” 窗口。

  7. 在提示栏中。写下你的分析问题。用于此模式的示例问题如下:

    • 按地区显示成员分布

    • 显示按年龄划分的成员分布

    • 按性别显示成员分布

    • 按计划类型显示成员分布

    • 显示成员未完成预防性免疫接种

    输入问题后,选择 “构建”。Amazon Q in QuickSight 创建了视觉效果。

  8. 要将视觉效果添加到您的可视化仪表板,ADD请ANALYSIS选择 TO。

完成后,您可以发布仪表板以与组织中的其他人共享。有关示例,请参阅 “其他信息” 部分中的大型机可视化仪表板

迁移工程师
任务描述所需技能

创建数据故事。

创建数据故事以解释先前分析的见解,并提出建议,以增加成员的预防性免疫接种:

  1. 要创建数据故事,请按照AWS 文档中的说明进行操作。

  2. 对于数据故事提示,请使用以下内容:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    您还可以创建自己的提示,为其他业务见解生成数据故事。

  3. 选择 “添加视觉对象”,然后添加与数据故事相关的视觉对象。对于这种模式,请使用您之前创建的视觉效果。

  4. 选择构建

  5. 有关数据故事输出的示例,请参阅 “其他信息” 部分中的数据故事输出

迁移工程师

查看生成的数据故事。

要查看生成的数据故事,请按照AWS 文档中的说明进行操作。

迁移主管

编辑生成的数据故事。

要更改数据故事中的格式、布局或视觉效果,请按照AWS 文档中的说明进行操作。

迁移主管

分享数据故事。

要共享数据故事,请按照AWS 文档中的说明进行操作。

迁移工程师

故障排除

问题解决方案

无法发现在 “文件传输” 中的 “创建传输任务的数据集搜索条件中输入的大型机 AWS Mainframe Modernization 文件或数据集。BMC

  1. 首先,在 “使用BMC控制台传输” 上选择 “ AWS Mainframe Modernization 数据传输端点”,检查连接。如果上次心跳时间超过两分钟,则文件传输连接尚未建立。如果在大型机上运行的代理的最后一次心跳时间少于 2 分钟,则代理连接成功。继续执行步骤 2。

  2. 检查 AWS Secrets Manager 设置。必须在 Secrets Manager 中将密配置为密钥userId(大写字母 I),其为大型机的用户 ID,密钥password的值为大型机密码的userIdpassword密钥区分大小写,必须按原样输入。

相关资源

要将大型机数据类型(例如 PACKED-DECIMAL (COMP-3)BINARY(COMP或 COMP -4)转换为 Amazon 支持的数据类型 QuickSight,请参阅以下模式:

其他信息

S3 CopyLambda .py

以下 Python 代码是通过在 Amazon Q Developer 中使用提示生成的IDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

大型机可视化仪表板

以下数据视觉对象是由 Amazon Q QuickSight 为分析问题创建的show member distribution by region

该图表显示了西南部、中西部、东北部和东南部的成员人数。

以下数据视觉效果由 Amazon Q QuickSight 为该问题创建show member distribution by Region who have not completed preventive immunization, in pie chart

Pie chart showing preventive immunization completion by region: Southeast 40%, Southwest 33%, Midwest 27%.

数据故事输出

以下屏幕截图显示了 Amazon Q QuickSight 为提示创建的数据故事的各个部分 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

在导言中,数据故事建议选择成员最多的区域,以便从免疫工作中获得最大的影响。

以免疫完成率为重点的数据故事的介绍页面。

该数据报道分析了排名前三个地区的成员人数,并将西南地区列为专注于免疫工作的领先地区。

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.

注意:西南和东北地区各有八个成员。但是,西南地区有更多成员没有完全接种疫苗,因此它更有可能从提高免疫率的举措中受益。

附件

要访问与此文档相关联的其他内容,请解压以下文件:attachment.zip