本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用AWS大型机现代化和 Amazon Q 生成数据见解 QuickSight
由 Shubham Roy (AWS)、Roshna Razack () 和 Santosh Kumar Sin AWS gh () 创作 AWS
环境:PoC 或试点 | 技术:大型机;分析;迁移;现代化;机器学习和人工智能 | 工作量:IBM |
AWS服务:AWSLambda;AWS大型机现代化;亚马逊;亚马逊 S3 QuickSight |
Summary
如果您的组织在大型机环境中托管关键业务数据,那么从这些数据中获取见解对于推动增长和创新至关重要。通过解锁大型机数据,您可以构建更快、更安全、更可扩展的商业智能,从而加快 Amazon Web Services ()AWS云中数据驱动的决策、增长和创新。
这种模式提供了一种解决方案,用于通过使用AWS Mainframe Modernization 文件传输和 BMC A ma zon Q in 生成业务见解并根据大型机数据创建可共享的叙述。 QuickSight使用大型机现代化文件传输功能将大型机数据集传输到亚马逊简单存储服务 (Amazon S3) Simple Storag AWS e Service。BMC AWS Lambda 函数格式化并准备大型机数据文件以加载到 Amazon QuickSight。
在亚马逊提供数据后 QuickSight,您可以使用带有 Amazon Q 的自然语言提示 QuickSight 来创建数据摘要、提问和生成数据故事。您无需编写SQL查询或学习商业智能 (BI) 工具。
业务背景
这种模式为大型机数据分析和数据洞察用例提供了解决方案。使用该模式,您可以为公司的数据构建可视化仪表板。为了演示解决方案,这种模式使用了一家医疗保健公司,该公司为其在美国的成员提供医疗、牙科和视力计划。在此示例中,成员人口统计和计划信息存储在大型机数据集中。可视化仪表板显示以下内容:
按地区划分的成员分布
按性别分列的成员分布
按年龄划分的成员分布
按计划类型划分的成员分布
尚未完成预防性免疫的会员
创建仪表板后,您将生成一个数据故事,解释先前分析的见解。数据故事为增加完成预防性免疫接种的成员人数提供了建议。
先决条件和限制
先决条件
活跃的 AWS 账户
包含业务数据的大型机数据集
有权在大型机上安装文件传输代理
限制
您的大型机数据文件应采用 Amazon QuickSight 支持的文件格式之一。有关支持的文件格式列表,请参阅 Amazon QuickSight 文档。
此模式使用 Lambda 函数将大型机文件转换为 Amazon 支持的格式。 QuickSight
架构
下图显示了通过使用 AWS Mainframe Modernization 文件传输BMC和 Amazon Q 从大型机数据生成业务见解的架构。 QuickSight
图表显示了以下工作流:
使用 AWS Mainframe Modernization 文件传输将包含业务数据的大型机数据集传输到 Amazon S3。BMC
Lambda 函数将文件传输目标 S3 存储桶中的文件转换为逗号分隔值 () 格式。CSV
Lambda 函数将转换后的文件发送到源数据集 S3 存储桶。
文件中的数据由 Amazon QuickSight 提取。
用户在 Amazon 中访问数据 QuickSight。您可以使用 Amazon Q 通过自然语言提示与数据进行交互。 QuickSight
工具
AWS服务
AWS Lambda 是一项计算服务,可帮助您运行代码,无需预置或管理服务器。它仅在需要时运行您的代码,并且能自动扩缩,因此您只需为使用的计算时间付费。
AWS Mainframe Modernization 文件传输功能用于BMC转换大型机数据集并将其传输到 Amazon S3,用于大型机现代化、迁移和增强用例。
Amazon QuickSight 是一项云规模的 BI 服务,可帮助您在单个控制面板中可视化、分析和报告数据。这种模式使用了 Amazon Q 中的生成式商业智能功能 QuickSight。
Amazon Simple Storage Service (Amazon S3) 是一项基于云的对象存储服务,可帮助您存储、保护和检索任意数量的数据。
最佳实践
使用BMC和 Lambda 函数为 AWS Mainframe Modernization 文件传输创建 AWS Identity and Access Management (IAM) 角色时,请遵循最低权限原则。
确保您的源数据集支持 Amazon 的数据类型 QuickSight。如果您的源数据集包含不支持的数据类型,请将其转换为支持的数据类型。有关不支持的大型机数据类型以及如何将其转换为 Amazon Q 支持的数据类型的信息 QuickSight,请参阅相关资源部分。
操作说明
任务 | 描述 | 所需技能 |
---|---|---|
安装文件传输代理。 | 要在大型机上安装 AWS Mainframe Modernization 文件传输代理,请按照AWS 文档中的说明进行操作。 | 大型机系统管理员 |
为大型机文件传输创建 S3 存储桶。 | 创建 S3 存储桶以存储 AWS Mainframe Modernization 文件传输的输出文件BMC。在架构图中,这是文件传输目标存储桶。 | 迁移工程师 |
创建数据传输端点。 |
| AWS大型机现代化专家 |
任务 | 描述 | 所需技能 |
---|---|---|
创建 S3 存储桶。 | 为 Lambda 函数创建 S3 存储桶,将转换后的大型机文件从源存储桶复制到最终目标存储桶。 | 迁移工程师 |
创建一个 Lambda 函数。 | 要创建用于更改文件扩展名并将大型机文件复制到目标存储桶的 Lambda 函数,请执行以下操作:
| 迁移工程师 |
创建 Amazon S3 触发器来调用 Lambda 函数。 | 要配置调用 Lambda 函数的触发器,请执行以下操作:
有关更多信息,请参见教程:使用 Amazon S3 触发器调用 Lambda函数。 | 迁移主管 |
为 Lambda 函数提供IAM权限。 | IAMLambda 函数需要权限才能访问文件传输目标和源数据集 S3 存储桶。通过允许文件传输目标 S3 存储桶 有关更多信息,请参阅教程:使用 Amazon S3 触发器调用 Lambda 函数中的创建权限策略部分。 | 迁移主管 |
任务 | 描述 | 所需技能 |
---|---|---|
创建传输任务以将大型机文件复制到 S3 存储桶。 | 要创建大型机文件传输任务,请按照AWS Mainframe Modernization 文档中的说明进行操作。 注意:将源代码页编码指定为 IBM1047,将目标代码页编码指定为 UTF- 8。 | 迁移工程师 |
验证转移任务。 | 要验证数据传输是否成功,请按照AWS Mainframe Modernization 文档中的说明进行操作。确认大型机文件位于文件传输目标 S3 存储桶中。 | 迁移主管 |
验证 Lambda 复制函数。 | 验证 Lambda 函数是否已启动,并且文件已使用.csv 扩展名复制到源数据集 S3 存储桶。 Lambda 函数创建的.csv 文件是亚马逊的输入数据文件。 QuickSight有关示例数据,请参阅 “附件” 部分中的 | 迁移主管 |
任务 | 描述 | 所需技能 |
---|---|---|
在中设置 Amazon Q QuickSight。 | 此功能需要企业版。要在中设置 Amazon Q QuickSight,请执行以下操作: | 迁移主管 |
分析大型机数据并构建可视化仪表板。 | 要在 Amazon 中分析和可视化您的数据 QuickSight,请执行以下操作:
完成后,您可以发布仪表板以与组织中的其他人共享。有关示例,请参阅 “其他信息” 部分中的大型机可视化仪表板。 | 迁移工程师 |
任务 | 描述 | 所需技能 |
---|---|---|
创建数据故事。 | 创建数据故事以解释先前分析的见解,并提出建议,以增加成员的预防性免疫接种:
| 迁移工程师 |
查看生成的数据故事。 | 要查看生成的数据故事,请按照AWS 文档中的说明进行操作。 | 迁移主管 |
编辑生成的数据故事。 | 要更改数据故事中的格式、布局或视觉效果,请按照AWS 文档中的说明进行操作。 | 迁移主管 |
分享数据故事。 | 要共享数据故事,请按照AWS 文档中的说明进行操作。 | 迁移工程师 |
故障排除
问题 | 解决方案 |
---|---|
无法发现在 “文件传输” 中的 “创建传输任务” 的数据集搜索条件中输入的大型机 AWS Mainframe Modernization 文件或数据集。BMC |
|
相关资源
要将大型机数据类型(例如 PACKED-DECIMAL (COMP-3)
其他信息
S3 CopyLambda .py
以下 Python 代码是通过在 Amazon Q Developer 中使用提示生成的IDE:
#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }
大型机可视化仪表板
以下数据视觉对象是由 Amazon Q QuickSight 为分析问题创建的show member distribution by region
。
以下数据视觉效果由 Amazon Q QuickSight 为该问题创建show member distribution by Region who have not completed preventive immunization, in pie chart
。
数据故事输出
以下屏幕截图显示了 Amazon Q QuickSight 为提示创建的数据故事的各个部分 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.
在导言中,数据故事建议选择成员最多的区域,以便从免疫工作中获得最大的影响。
该数据报道分析了排名前三个地区的成员人数,并将西南地区列为专注于免疫工作的领先地区。
注意:西南和东北地区各有八个成员。但是,西南地区有更多成员没有完全接种疫苗,因此它更有可能从提高免疫率的举措中受益。
附件
要访问与此文档相关联的其他内容,请解压以下文件:attachment.zip