Genere información de datos mediante AWS Mainframe Modernization y Amazon Q en QuickSight - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Genere información de datos mediante AWS Mainframe Modernization y Amazon Q en QuickSight

Creada por Shubham Roy (AWS), Roshna Razack () y Santosh Kumar Singh () AWS AWS

Entorno: PoC o piloto

Tecnologías: mainframe; análisis; migración; modernización; aprendizaje automático e inteligencia artificial

Carga de trabajo: IBM

AWSservicios: AWS Lambda; modernización de AWS mainframe; Amazon; Amazon S3 QuickSight

Resumen

Si su organización aloja datos fundamentales para la empresa en un entorno de mainframe, obtener información a partir de esos datos es fundamental para impulsar el crecimiento y la innovación. Al desbloquear los datos del mainframe, puede crear inteligencia empresarial más rápida, segura y escalable para acelerar la toma de decisiones, el crecimiento y la innovación basados en los datos en la nube de Amazon Web Services ()AWS.

Este patrón presenta una solución para generar información empresarial y crear narrativas compartibles a partir de datos de mainframe mediante AWS Mainframe Modernization File Transfer with y BMC Amazon Q in. QuickSight Los conjuntos de datos de mainframe se transfieren a Amazon Simple Storage Service (Amazon S3) mediante AWS Mainframe Modernization File Transfer with. BMC Una AWS Lambda función formatea y prepara el archivo de datos del mainframe para cargarlo en Amazon QuickSight.

Una vez que los datos estén disponibles en Amazon QuickSight, puede utilizar instrucciones en lenguaje natural con Amazon Q QuickSight para crear resúmenes de los datos, formular preguntas y generar historias de datos. No tiene que escribir SQL consultas ni aprender una herramienta de inteligencia empresarial (BI).

Contexto empresarial

Este patrón presenta una solución para los casos de uso del análisis de datos y la información de los datos de mainframe. Con el patrón, se crea un panel visual para los datos de su empresa. Para demostrar la solución, este patrón utiliza una empresa de atención médica que ofrece planes médicos, dentales y oftalmológicos a sus miembros en los EE. UU. En este ejemplo, la información demográfica y del plan de los miembros se almacenan en los conjuntos de datos del mainframe. El panel visual muestra lo siguiente:

  • Distribución de miembros por región

  • Distribución de miembros por género

  • Distribución de miembros por edad

  • Distribución de miembros por tipo de plan

  • Miembros que no han completado la inmunización preventiva

Después de crear el panel, se genera una historia de datos que explica los conocimientos del análisis anterior. La historia de datos proporciona recomendaciones para aumentar el número de miembros que se han vacunado preventivamente.

Requisitos previos y limitaciones

Requisitos previos 

  • ¿Un activo Cuenta de AWS

  • Conjuntos de datos de mainframe con datos empresariales

  • Acceso para instalar un agente de transferencia de archivos en el mainframe

Limitaciones

  • El archivo de datos del mainframe debe estar en uno de los formatos de archivo compatibles con Amazon QuickSight. Para ver una lista de los formatos de archivo admitidos, consulta la QuickSight documentación de Amazon.

    Este patrón utiliza una función Lambda para convertir el archivo de mainframe a un formato compatible con Amazon. QuickSight

Arquitectura

El siguiente diagrama muestra una arquitectura para generar información empresarial a partir de datos de mainframe mediante AWS Mainframe Modernization File Transfer with BMC y Amazon Q in QuickSight.

La descripción del diagrama de arquitectura sigue al diagrama.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. Un conjunto de datos de mainframe que contiene datos empresariales se transfiere a Amazon S3 mediante AWS Mainframe Modernization File Transfer withBMC.

  2. La función Lambda convierte el archivo que se encuentra en el bucket S3 de destino de la transferencia de archivos a un formato de valores separados por comas (). CSV

  3. La función Lambda envía el archivo convertido al bucket S3 del conjunto de datos de origen.

  4. Amazon QuickSight ingiere los datos del archivo.

  5. Los usuarios acceden a los datos en Amazon QuickSight. Puede usar Amazon Q QuickSight para interactuar con los datos mediante instrucciones en lenguaje natural.

Herramientas

AWSservicios

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

  • AWS Mainframe Modernization File Transfer with BMC convierte y transfiere conjuntos de datos de mainframe a Amazon S3 para casos de uso de modernización, migración y aumento de mainframes.

  • Amazon QuickSight es un servicio de BI a escala de nube que le ayuda a visualizar, analizar y elaborar informes sobre sus datos en un único panel de control. Este patrón utiliza las capacidades de BI generativa de Amazon Q en QuickSight.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

Prácticas recomendadas

  • Al crear las funciones AWS Identity and Access Management (IAM) para AWS Mainframe Modernization File Transfer with BMC y la función Lambda, siga el principio del privilegio mínimo.

  • Asegúrese de que su conjunto de datos de origen tenga tipos de datos compatibles con Amazon QuickSight. Si el conjunto de datos de origen contiene tipos de datos no compatibles, conviértalos en tipos de datos compatibles. Para obtener información sobre los tipos de datos de mainframe no compatibles y cómo convertirlos en tipos de datos compatibles con Amazon Q QuickSight, consulte la sección Recursos relacionados.

Epics

TareaDescripciónHabilidades requeridas

Instale el agente de transferencia de archivos.

Para instalar AWS Mainframe Modernization el Agente de transferencia de archivos en su ordenador central, siga las instrucciones de la AWS documentación.

Administrador del sistema mainframe

Cree un depósito S3 para la transferencia de archivos del mainframe.

Cree un depósito de S3 para almacenar el archivo de salida de AWS Mainframe Modernization File Transfer. BMC En el diagrama de arquitectura, este es el depósito de destino de la transferencia de archivos.

Ingeniero de migraciones

Cree el punto final de transferencia de datos.

  1. Cree un depósito S3 para almacenar el archivo central de entrada para la transferencia de AWS Mainframe Modernization archivos. BMC

  2. Para crear el punto final de transferencia de datos del mainframe, siga las instrucciones de la AWS documentación.

AWSEspecialista en modernización de mainframes
TareaDescripciónHabilidades requeridas

Cree un bucket de S3.

Cree un depósito de S3 para que la función Lambda copie el archivo de mainframe convertido del depósito de origen al depósito de destino final.

Ingeniero de migraciones

Creación de una función de Lambda.

Para crear una función Lambda que cambie la extensión del archivo y copie el archivo de mainframe en el depósito de destino, haga lo siguiente:

  1. Inicie sesión en la consola AWS Management Console y navegue hasta ella. AWS Lambda

  2. Seleccione la función Crear y, a continuación, elija Autor desde cero.

  3. En Nombre de función, introduzca un nombre para la función.

  4. En la lista desplegable Runtime, selecciona Python.3.X.

  5. Amplíe Cambiar función de ejecución predeterminada y, a continuación, elija Crear una nueva función con permisos básicos de Lambda.

  6. Seleccione Crear función.

  7. Selecciona la pestaña Código y, a continuación, pega el código S3CopyLambda.py Python que se proporciona en la sección Información adicional. El código Python se generó mediante Amazon Q Developer en el entorno de desarrollo integrado Microsoft Visual Studio (IDE).

  8. Edite destination_bucket_name el nombre del bucket de S3 que creó anteriormente y change destination_file_key el nombre del archivo del mainframe.

  9. Implemente la función de Lambda.

Ingeniero de migraciones

Cree un activador de Amazon S3 para invocar la función Lambda.

Para configurar un disparador que invoque la función Lambda, haga lo siguiente:

  1. Abra la página Funciones en la consola de Lambda.

  2. Elija la función de Lambda.

  3. En la descripción general de la función, seleccione Añadir disparador.

  4. En la lista desplegable de configuración del disparador, elija S3.

  5. En el campo Bucket, introduce el nombre del bucket de origen.

  6. En la lista desplegable Tipo de evento, selecciona Todos los eventos de creación de objetos.

  7. Active la casilla de verificación Acepto que no se recomienda usar el mismo depósito de S3 para la entrada y la salida y, a continuación, elija Agregar.

Para obtener más información, consulte Tutorial: utilizar un desencadenador de Amazon S3 para invocar una función de Lambda.

Líder de migración

Proporcione IAM permisos para la función Lambda.

IAMse requieren permisos para que la función Lambda acceda a los buckets S3 del conjunto de datos de origen y destino de la transferencia de archivos. Actualice la política asociada a la función de ejecución de la función Lambda mediante la concesión de s3:DeleteObject permisos s3:GetObject y permisos para el bucket S3 de destino de la transferencia de archivos y el s3:PutObject acceso al bucket S3 del conjunto de datos de origen.

Para obtener más información, consulte la sección Creación de una política de permisos en el tutorial: Uso de un disparador de Amazon S3 para invocar una función Lambda.

Líder de migración
TareaDescripciónHabilidades requeridas

Cree una tarea de transferencia para copiar el archivo del mainframe al bucket de S3.

Para crear una tarea de transferencia de archivos de mainframe, siga las instrucciones de la AWS Mainframe Modernization documentación.

Nota: Especifique la codificación de la página de códigos fuente como IBM1047 y la codificación de la página de códigos de destino como UTF -8.

Ingeniero de migraciones

Compruebe la tarea de transferencia.

Para comprobar que la transferencia de datos se ha realizado correctamente, siga las instrucciones de la AWS Mainframe Modernization documentación. Confirme que el archivo de la unidad central esté en el bucket S3 de destino de la transferencia de archivos.

Líder de migración

Compruebe la función de copia Lambda.

Compruebe que se haya iniciado la función Lambda y que el archivo se haya copiado con la extensión.csv en el bucket S3 del conjunto de datos de origen.

El archivo.csv creado por la función Lambda es el archivo de datos de entrada de Amazon. QuickSight Para ver datos de ejemplo, consulte el Sample-data-member-healthcare-APG archivo en la sección de adjuntos.

Líder de migración
TareaDescripciónHabilidades requeridas

Configura Amazon QuickSight.

Para configurar Amazon QuickSight, sigue las instrucciones de la AWS documentación.

Líder de migración

Crea un conjunto de datos para Amazon QuickSight.

Para crear un conjunto de datos para Amazon QuickSight, sigue las instrucciones de la AWS documentación. El archivo de datos de entrada es el archivo de mainframe convertido que se creó al definir la tarea de transferencia de datos de mainframe.

Líder de migración
TareaDescripciónHabilidades requeridas

Configura Amazon Q en QuickSight.

Esta capacidad requiere la edición Enterprise. Para configurar Amazon Q in QuickSight, haga lo siguiente:

  1. Para obtener el complemento Amazon Q, sigue las instrucciones del paso 1: Obtén el complemento Q de la AWS documentación.

  2. Para utilizar las capacidades de BI generativa de Amazon Q, actualice las cuentas de sus usuarios. Siga las instrucciones de la AWS documentación.

  3. Crea un tema de Amazon Q con el conjunto de datos que creaste anteriormente. Siga las instrucciones de la AWS documentación.

  4. Para configurar los metadatos del tema de manera que sean compatibles con el lenguaje natural, siga las instrucciones de la documentación.AWS

Líder de migración

Analice los datos del mainframe y cree un panel visual.

Para analizar y visualizar sus datos en Amazon QuickSight, haga lo siguiente:

  1. Para crear el análisis de datos del mainframe, siga las instrucciones de la AWS documentación. Para el conjunto de datos, elija el conjunto de datos creado en el paso anterior.

  2. En la página de análisis, selecciona Build visual.

  3. En la ventana Crear tema para el análisis, elija Actualizar tema existente.

  4. En la lista desplegable Seleccione un tema, elija el tema que creó anteriormente.

  5. Selecciona Enlazar temas.

  6. Después de vincular el tema, elija Build visual para abrir la ventana Build a Visual de Amazon Q.

  7. En la barra de indicaciones, escriba sus preguntas de análisis. Los ejemplos de preguntas que se utilizan para este patrón son los siguientes:

    • Mostrar la distribución de miembros por región

    • Mostrar la distribución de miembros por edad

    • Mostrar la distribución de miembros por género

    • Mostrar la distribución de miembros por tipo de plan

    • Mostrar el afiliado que no ha completado la inmunización preventiva

    Después de introducir las preguntas, elija Construir. Amazon Q in QuickSight crea las imágenes.

  8. Para añadir las imágenes a su panel de control visual, elija ADD TO. ANALYSIS

Cuando haya terminado, puede publicar su panel para compartirlo con otros miembros de su organización. Para ver ejemplos, consulte el panel visual de Mainframe en la sección de información adicional.

Ingeniero de migraciones
TareaDescripciónHabilidades requeridas

Cree una historia de datos.

Cree una historia con datos para explicar las ideas del análisis anterior y genere una recomendación para aumentar la inmunización preventiva de los miembros:

  1. Para crear la historia de datos, siga las instrucciones de la AWS documentación.

  2. Para el mensaje de la historia de datos, utilice lo siguiente:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    También puede crear su propio mensaje para generar historias de datos que le sirvan para obtener información empresarial adicional.

  3. Elija Añadir imágenes y añada las imágenes que sean relevantes para la historia de datos. Para este patrón, utilice los elementos visuales que creó anteriormente.

  4. Elija Compilar.

  5. Para ver un ejemplo de salida de una historia de datos, consulte la salida de una historia de datos en la sección de información adicional.

Ingeniero de migraciones

Vea la historia de datos generada.

Para ver la historia de datos generada, siga las instrucciones de la AWS documentación.

Líder de migración

Edite una historia de datos generada.

Para cambiar el formato, el diseño o las imágenes de una historia de datos, siga las instrucciones de la AWS documentación.

Líder de migración

Comparta una historia de datos.

Para compartir una historia de datos, siga las instrucciones de la AWS documentación.

Ingeniero de migraciones

Resolución de problemas

ProblemaSolución

No se pudieron encontrar los archivos o conjuntos de datos del mainframe ingresados en los criterios de búsqueda de conjuntos de datos para Crear tarea de transferencia en AWS Mainframe Modernization File Transfer with. BMC

  1. En primer lugar, compruebe la conexión seleccionando los puntos finales de transferencia de datos en la consola AWS Mainframe Modernization Transferir con. BMC Si el tiempo del último latido es superior a dos minutos, significa que no se ha establecido la conexión para la transferencia de archivos. Si el tiempo del último latido es inferior a 2 minutos para el agente que se ejecuta en el ordenador central, la conexión con el agente se ha realizado correctamente. Continúe con el paso 2.

  2. Compruebe la AWS Secrets Manager configuración. Se debe configurar una clave secreta en Secrets Manager con una clave de userId (I mayúscula) con un valor del ID de usuario del mainframe y una clave de password con el valor de la contraseña del mainframe. La clave password secreta userId y la clave distinguen mayúsculas de minúsculas y se deben introducir tal cual.

Recursos relacionados

Para convertir tipos de datos de mainframe como PACKED- DECIMAL (COMP-3) o BINARY(COMPo COMP -4) a un tipo de datos compatible con Amazon QuickSight, consulta los siguientes patrones:

Información adicional

S3 .py CopyLambda

El siguiente código de Python se generó mediante un mensaje con Amazon Q Developer en unIDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

Panel visual de mainframe

Amazon Q creó la siguiente imagen visual de datos QuickSight para la pregunta de análisis show member distribution by region.

Gráfico que muestra el número de miembros del sudoeste, centro-oeste, noreste y sureste.

Amazon Q creó la siguiente imagen visual de datos QuickSight para la preguntashow member distribution by Region who have not completed preventive immunization, in pie chart.

Pie chart showing preventive immunization completion by region: Southeast 40%, Southwest 33%, Midwest 27%.

Resultado de una historia de datos

En las siguientes capturas de pantalla se muestran secciones de la historia de datos creada por Amazon Q QuickSight para el mensaje Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

En la introducción, la historia de datos recomienda elegir la región con más miembros para obtener el mayor impacto de las iniciativas de inmunización.

Página de introducción a una historia con datos que se centra en las tasas de finalización de la inmunización.

La historia con datos proporciona un análisis del número de miembros de las tres principales regiones y menciona al sudoeste como la región que más se centra en las iniciativas de inmunización.

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.

Nota: Cada una de las regiones del sudoeste y del noreste tiene ocho miembros. Sin embargo, el suroeste tiene más miembros que no están completamente vacunados, por lo que tiene más posibilidades de beneficiarse de las iniciativas para aumentar las tasas de inmunización.

Conexiones

Para acceder al contenido adicional asociado a este documento, descomprima el archivo: attachment.zip