Gere insights de dados usando a modernização de AWS mainframe e o Amazon Q em QuickSight - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gere insights de dados usando a modernização de AWS mainframe e o Amazon Q em QuickSight

Criado por Shubham Roy (AWS), Roshna Razack () e Santosh Kumar Singh (AWS) AWS

Ambiente: PoC ou piloto

Tecnologias: mainframe; análise; migração; modernização; aprendizado de máquina e IA

Carga horária: IBM

AWSserviços: AWS Lambda; modernização do AWS mainframe; Amazon; Amazon QuickSight S3

Resumo

Se sua organização está hospedando dados essenciais para os negócios em um ambiente de mainframe, obter insights desses dados é crucial para impulsionar o crescimento e a inovação. Ao desbloquear dados do mainframe, você pode criar inteligência de negócios mais rápida, segura e escalável para acelerar a tomada de decisões, o crescimento e a inovação orientados por dados na nuvem da Amazon Web Services ().AWS

Esse padrão apresenta uma solução para gerar insights de negócios e criar narrativas compartilháveis a partir de dados de mainframe usando o AWS Mainframe Modernization File Transfer with e o BMC Amazon Q in. QuickSight Os conjuntos de dados de mainframe são transferidos para o Amazon Simple Storage Service (Amazon S3) AWS usando o Mainframe Modernization File Transfer com. BMC Uma AWS Lambda função formata e prepara o arquivo de dados do mainframe para carregamento na Amazon. QuickSight

Depois que os dados estiverem disponíveis na Amazon QuickSight, você poderá usar solicitações em linguagem natural com o Amazon Q in QuickSight para criar resumos dos dados, fazer perguntas e gerar histórias de dados. Você não precisa escrever SQL consultas ou aprender uma ferramenta de business intelligence (BI).

Contexto de negócios

Esse padrão apresenta uma solução para casos de uso de análises de dados de mainframe e insights de dados. Usando o padrão, você cria um painel visual para os dados da sua empresa. Para demonstrar a solução, esse padrão usa uma empresa de assistência médica que fornece planos médicos, odontológicos e oftalmológicos para seus membros nos EUA. Neste exemplo, as informações demográficas e do plano dos membros são armazenadas nos conjuntos de dados do mainframe. O painel visual mostra o seguinte:

  • Distribuição de membros por região

  • Distribuição de membros por gênero

  • Distribuição de membros por idade

  • Distribuição de membros por tipo de plano

  • Membros que não concluíram a imunização preventiva

Depois de criar o painel, você gera uma história de dados que explica os insights da análise anterior. A história dos dados fornece recomendações para aumentar o número de membros que concluíram as imunizações preventivas.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS

  • Conjuntos de dados de mainframe com dados comerciais

  • Acesso para instalar um agente de transferência de arquivos no mainframe

Limitações

  • Seu arquivo de dados de mainframe deve estar em um dos formatos de arquivo suportados pela Amazon QuickSight. Para obter uma lista dos formatos de arquivo compatíveis, consulte a QuickSight documentação da Amazon.

    Esse padrão usa uma função Lambda para converter o arquivo de mainframe em um formato compatível com a Amazon. QuickSight

Arquitetura

O diagrama a seguir mostra uma arquitetura para gerar insights de negócios a partir de dados de mainframe usando o AWS Mainframe Modernization File Transfer with BMC e o Amazon Q in QuickSight.

A descrição do diagrama de arquitetura segue o diagrama.

O diagrama mostra o seguinte fluxo de trabalho:

  1. Um conjunto de dados de mainframe contendo dados comerciais é transferido para o Amazon S3 AWS Mainframe Modernization usando a Transferência de arquivos com. BMC

  2. A função Lambda converte o arquivo que está no bucket S3 de destino da transferência de arquivos para o formato values () separados por vírgula. CSV

  3. A função Lambda envia o arquivo convertido para o bucket S3 do conjunto de dados de origem.

  4. Os dados no arquivo são ingeridos pela Amazon QuickSight.

  5. Os usuários acessam os dados na Amazon QuickSight. Você pode usar o Amazon Q in QuickSight para interagir com os dados usando prompts em linguagem natural.

Ferramentas

AWSserviços

  • O AWS Lambda é um serviço de computação que ajuda a executar código sem exigir provisionamento ou gerenciamento de servidores. Ele executa o código somente quando necessário e dimensiona automaticamente, assim, você paga apenas pelo tempo de computação usado.

  • AWS Mainframe Modernization Transferência de arquivos com BMC conversão e transferência de conjuntos de dados de mainframe para o Amazon S3 para casos de uso de modernização, migração e aumento de mainframe.

  • QuickSightA Amazon é um serviço de BI em escala de nuvem que ajuda você a visualizar, analisar e relatar seus dados em um único painel. Esse padrão usa os recursos generativos de BI do Amazon Q in QuickSight.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados.

Práticas recomendadas

  • Ao criar as funções AWS Identity and Access Management (IAM) para AWS Mainframe Modernization File Transfer with BMC e a função Lambda, siga o princípio do privilégio mínimo.

  • Certifique-se de que seu conjunto de dados de origem tenha tipos de dados compatíveis com a Amazon QuickSight. Se o conjunto de dados de origem contiver tipos de dados não compatíveis, converta-os em tipos de dados compatíveis. Para obter informações sobre tipos de dados de mainframe não suportados e como convertê-los em tipos de dados compatíveis com o Amazon Q in QuickSight, consulte a seção Recursos relacionados.

Épicos

TarefaDescriçãoHabilidades necessárias

Instale o agente de transferência de arquivos.

Para instalar o AWS Mainframe Modernization File Transfer Agent em seu mainframe, siga as instruções na AWS documentação.

Administrador do sistema de mainframe

Crie um bucket S3 para transferência de arquivos de mainframe.

Crie um bucket S3 para armazenar o arquivo de saída do AWS Mainframe Modernization File Transfer comBMC. No diagrama da arquitetura, esse é o bucket de destino da transferência de arquivos.

Engenheiro de migração

Crie o endpoint de transferência de dados.

  1. Crie um bucket S3 para preparar o arquivo de entrada do mainframe para transferência de AWS Mainframe Modernization arquivos com. BMC

  2. Para criar o endpoint de transferência de dados do mainframe, siga as instruções na AWS documentação.

AWSEspecialista em modernização de mainframe
TarefaDescriçãoHabilidades necessárias

Criar um bucket do S3.

Crie um bucket do S3 para a função Lambda para copiar o arquivo de mainframe convertido do bucket de origem para o bucket de destino final.

Engenheiro de migração

Crie uma função do Lambda.

Para criar uma função Lambda que altere a extensão do arquivo e copie o arquivo do mainframe para o bucket de destino, faça o seguinte:

  1. Faça login no e AWS Management Console navegue até o AWS Lambda console.

  2. Escolha Criar função e, em seguida, escolha Autor do zero.

  3. Em Nome da função, insira um nome para sua função.

  4. Na lista suspensa Tempo de execução, escolha Python.3.X.

  5. Expanda Alterar função de execução padrão e escolha Criar uma nova função com permissões básicas do Lambda.

  6. Escolha a opção Criar função.

  7. Escolha a guia Código e cole o código S3CopyLambda.py Python fornecido na seção Informações adicionais. O código Python foi gerado usando o Amazon Q Developer no ambiente de desenvolvimento integrado do Microsoft Visual Studio ()IDE.

  8. Edite destination_bucket_name o no nome do bucket do S3 que você criou anteriormente e change destination_file_key no nome do arquivo do mainframe.

  9. Implante a função do Lambda.

Engenheiro de migração

Crie um gatilho do Amazon S3 para invocar a função Lambda.

Para configurar um gatilho que invoca a função Lambda, faça o seguinte:

  1. No console do Lambda, abra a página Funções.

  2. Escolha a função Lambda.

  3. Em Visão geral da função, escolha Adicionar gatilho.

  4. Na lista suspensa Configuração do acionador, escolha S3.

  5. No campo Bucket, insira o nome do seu bucket de origem.

  6. Na lista suspensa Tipo de evento, escolha Todos os eventos criados por objetos.

  7. Marque a caixa de seleção Eu reconheço que usar o mesmo bucket do S3 para entrada e saída não é recomendado e, em seguida, escolha Adicionar.

Para obter mais informações, consulte Tutorial: Como usar um trigger do Amazon S3 para chamar uma função Lambda.

Líder de migração

Forneça IAM permissões para a função Lambda.

IAMsão necessárias permissões para que a função Lambda acesse o destino da transferência de arquivos e os buckets S3 do conjunto de dados de origem. Atualize a política associada à função de execução da função Lambda permitindo s3:GetObject e s3:DeleteObject autorizando o bucket S3 de destino da transferência de arquivos e s3:PutObject acessando o bucket S3 do conjunto de dados de origem.

Para obter mais informações, consulte a seção Criar uma política de permissões no Tutorial: Usando um gatilho do Amazon S3 para invocar uma função Lambda.

Líder de migração
TarefaDescriçãoHabilidades necessárias

Crie uma tarefa de transferência para copiar o arquivo do mainframe para o bucket do S3.

Para criar uma tarefa de transferência de arquivos de mainframe, siga as instruções na AWS Mainframe Modernization documentação.

Observação: especifique a codificação da página de código-fonte como IBM1047 e a codificação da página de código de destino como -8. UTF

Engenheiro de migração

Verifique a tarefa de transferência.

Para verificar se a transferência de dados foi bem-sucedida, siga as instruções na AWS Mainframe Modernization documentação. Confirme se o arquivo do mainframe está no bucket S3 de destino da transferência de arquivos.

Líder de migração

Verifique a função de cópia do Lambda.

Verifique se a função Lambda foi iniciada e se o arquivo foi copiado com uma extensão.csv para o bucket S3 do conjunto de dados de origem.

O arquivo.csv criado pela função Lambda é o arquivo de dados de entrada da Amazon. QuickSight Por exemplo, dados, consulte o Sample-data-member-healthcare-APG arquivo na seção Anexos.

Líder de migração
TarefaDescriçãoHabilidades necessárias

Configure a Amazon QuickSight.

Para configurar a Amazon QuickSight, siga as instruções na AWS documentação.

Líder de migração

Crie um conjunto de dados para a Amazon QuickSight.

Para criar um conjunto de dados para a Amazon QuickSight, siga as instruções na AWS documentação. O arquivo de dados de entrada é o arquivo de mainframe convertido que foi criado quando você definiu a tarefa de transferência de dados de mainframe.

Líder de migração
TarefaDescriçãoHabilidades necessárias

Configure o Amazon Q em QuickSight.

Esse recurso requer a Enterprise Edition. Para configurar o Amazon Q em QuickSight, faça o seguinte:

  1. Para obter o complemento Amazon Q, siga as instruções Etapa 1: Obtenha o complemento Q na AWS documentação.

  2. Para usar os recursos generativos de BI no Amazon Q, atualize as contas de seus usuários. Siga as instruções na AWS documentação.

  3. Crie um tópico do Amazon Q usando o conjunto de dados que você criou anteriormente. Siga as instruções na AWS documentação.

  4. Para configurar os metadados do tópico de forma que sejam compatíveis com a linguagem natural, siga as instruções na documentação.AWS

Líder de migração

Analise os dados do mainframe e crie um painel visual.

Para analisar e visualizar seus dados na Amazon QuickSight, faça o seguinte:

  1. Para criar a análise de dados do mainframe, siga as instruções na AWS documentação. Para o conjunto de dados, escolha o conjunto de dados criado na etapa anterior.

  2. Na página de análise, escolha Criar visual.

  3. Na janela Criar tópico para análise, escolha Atualizar tópico existente.

  4. Na lista suspensa Selecionar um tópico, escolha o tópico que você criou anteriormente.

  5. Escolha Vinculação de tópicos.

  6. Depois de vincular o tópico, escolha Criar visual para abrir a janela Amazon Q Build a Visual.

  7. Na barra de prompts, escreva suas perguntas de análise. Os exemplos de perguntas usadas para esse padrão são os seguintes:

    • Mostrar distribuição de membros por região

    • Mostrar distribuição de membros por idade

    • Mostrar distribuição de membros por gênero

    • Mostrar distribuição de membros por tipo de plano

    • Mostrar imunização preventiva não concluída do membro

    Depois de inserir suas perguntas, escolha Criar. O Amazon Q in QuickSight cria os recursos visuais.

  8. Para adicionar os elementos visuais ao seu painel visual, escolha ADDPARA ANALYSIS.

Ao terminar, você poderá publicar seu painel para compartilhar com outras pessoas em sua organização. Para ver exemplos, consulte Painel visual do mainframe na seção Informações adicionais.

Engenheiro de migração
TarefaDescriçãoHabilidades necessárias

Crie uma história de dados.

Crie uma história de dados para explicar os insights da análise anterior e gere uma recomendação para aumentar a imunização preventiva dos membros:

  1. Para criar a história de dados, siga as instruções na AWS documentação.

  2. Para o prompt da história de dados, use o seguinte:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    Você também pode criar seu próprio prompt para gerar histórias de dados para outros insights de negócios.

  3. Escolha Adicionar elementos visuais e adicione os elementos visuais que são relevantes para a história dos dados. Para esse padrão, use as imagens que você criou anteriormente.

  4. Escolha Criar.

  5. Por exemplo, saída da história de dados, consulte Saída da história de dados na seção Informações adicionais.

Engenheiro de migração

Veja a história de dados gerada.

Para ver a história de dados gerada, siga as instruções na AWS documentação.

Líder de migração

Edite uma história de dados gerada.

Para alterar a formatação, o layout ou os elementos visuais em uma história de dados, siga as instruções na AWS documentação.

Líder de migração

Compartilhe uma história de dados.

Para compartilhar uma história de dados, siga as instruções na AWS documentação.

Engenheiro de migração

Solução de problemas

ProblemaSolução

Não foi possível descobrir os arquivos ou conjuntos de dados do mainframe inseridos nos critérios de pesquisa de conjuntos de dados para Criar tarefa de transferência na Transferência de AWS Mainframe Modernization arquivos com. BMC

  1. Primeiro, verifique a conexão escolhendo Pontos finais de transferência de dados no BMC console AWS Mainframe Modernization Transferir com. Se o tempo da última pulsação for maior que dois minutos, a conexão para transferência de arquivos não foi estabelecida. Se o tempo da última pulsação for inferior a 2 minutos para o agente em execução no mainframe, a conexão com o agente será bem-sucedida. Vá para a etapa 2.

  2. Verifique a AWS Secrets Manager configuração. Uma chave secreta deve ser configurada no Secrets Manager com uma chave de userId (I maiúsculo) com um valor de ID de usuário do mainframe e uma chave de password com o valor da senha do mainframe. As userId chaves password secretas fazem distinção entre maiúsculas e minúsculas e devem ser inseridas como estão.

Recursos relacionados

Para converter tipos de dados de mainframe, como PACKED- DECIMAL (COMP-3) ou BINARY(COMPou COMP -4), em um tipo de dados compatível com a Amazon QuickSight, veja os seguintes padrões:

Mais informações

S3 .py CopyLambda

O código Python a seguir foi gerado usando um prompt com o Amazon Q Developer em um: IDE

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

Painel visual do mainframe

O visual de dados a seguir foi criado pela Amazon Q QuickSight para a pergunta de análise show member distribution by region.

Gráfico mostrando o número de membros para sudoeste, centro-oeste, nordeste e sudeste.

O visual de dados a seguir foi criado pela Amazon Q QuickSight para a perguntashow member distribution by Region who have not completed preventive immunization, in pie chart.

Pie chart showing preventive immunization completion by region: Southeast 40%, Southwest 33%, Midwest 27%.

Saída da história de dados

As capturas de tela a seguir mostram seções da história de dados criada pela Amazon Q QuickSight para o prompt Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

Na introdução, a história dos dados recomenda escolher a região com mais membros para obter o maior impacto dos esforços de imunização.

Página de introdução para história de dados com foco nas taxas de conclusão da imunização.

A história dos dados fornece uma análise do número de membros das três principais regiões e nomeia o sudoeste como a principal região para se concentrar nos esforços de imunização.

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.

Nota: Cada uma das regiões Sudoeste e Nordeste tem oito membros. No entanto, o sudoeste tem mais membros que não estão totalmente vacinados, por isso tem mais potencial para se beneficiar de iniciativas para aumentar as taxas de imunização.

Anexos

Para acessar o conteúdo adicional associado a este documento, descompacte o seguinte arquivo: attachment.zip