Integrando SageMaker modelos da Amazon com a Amazon QuickSight - Amazon QuickSight
Como SageMaker a integração funcionaCustos incorridos (sem custos adicionais com a integração em si)Diretrizes de usoDefinição do arquivo de esquemaAdicionar um SageMaker modelo ao seu QuickSight conjunto de dados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Integrando SageMaker modelos da Amazon com a Amazon QuickSight

nota

Você não precisa de nenhuma experiência técnica em aprendizado de máquina (ML) para criar análises e painéis que usem os recursos baseados em ML na Amazon. QuickSight

Você pode aumentar os dados da edição Amazon QuickSight Enterprise com os modelos de aprendizado SageMaker de máquina da Amazon. Você pode executar inferências sobre dados armazenados em SPICE importados de qualquer fonte de dados suportada pela Amazon QuickSight. Para obter uma lista completa das fontes de dados suportadas, consulte Fonte de dados compatíveis.

Usar a Amazon QuickSight com SageMaker modelos pode economizar o tempo que você gastaria gerenciando a movimentação de dados e escrevendo código. Os resultados são úteis para avaliar o modelo e, se você estiver satisfeito com os resultados, para compartilhar com os tomadores de decisão. Você pode começar imediatamente depois de o modelo ter sido construído. Isso supera os modelos pré-construídos de seus cientistas de dados e permite que você aplique a ciência de dados aos seus conjuntos de dados. Em seguida, você pode compartilhar esses insights em seus painéis preditivos. Com a abordagem QuickSight sem servidor da Amazon, o processo é escalado perfeitamente, então você não precisa se preocupar com inferência ou capacidade de consulta.

A Amazon QuickSight oferece suporte a SageMaker modelos que usam algoritmos de regressão e classificação. Você pode aplicar esse recurso para obter previsões para praticamente qualquer caso de uso comercial. Alguns exemplos incluem prever a probabilidade de rotatividade de clientes, redução de funcionários, pontuação de leads de vendas e avaliação de riscos de crédito. Para usar QuickSight a Amazon para fornecer previsões, os dados do SageMaker modelo para entrada e saída devem estar em formato tabular. Em casos de uso de classificação multiclasse ou de vários rótulos, cada coluna de saída deve conter um único valor. A Amazon QuickSight não oferece suporte a vários valores em uma única coluna.

Tópicos

Como SageMaker a integração funciona

De modo geral, o processo funciona assim:

  1. Um QuickSight administrador da Amazon adiciona permissões para QuickSight a Amazon acessar SageMaker. Para fazer isso, abra as configurações de Segurança e Permissões na QuickSight página Gerenciar. Vá para QuickSightacesso aos AWS serviços e adicione SageMaker.

    Quando você adiciona essas permissões, a Amazon QuickSight é adicionada a uma função AWS Identity and Access Management (IAM) que fornece acesso para listar todos os SageMaker modelos em sua AWS conta. Ele também fornece permissões para executar SageMaker trabalhos com nomes prefixados comquicksight-auto-generated-.

  2. Recomendamos que você se conecte a um SageMaker modelo que tenha um pipeline de inferência, pois ele executa automaticamente o pré-processamento de dados. Para obter mais informações, consulte Implantar um pipeline de inferência no Guia do desenvolvedor do SageMaker .

  3. Depois de identificar os dados e o modelo pré-treinado que deseja usar juntos, o proprietário do modelo cria e fornece um arquivo de esquema. Esse arquivo JSON é um contrato com SageMaker. Ele fornece metadados sobre os campos, tipos de dados, ordem da coluna, resultado e configurações que o modelo espera. O componente de configurações opcionais fornece o tamanho da instância e a contagem das instâncias de computação a serem usadas para o trabalho.

    Se você for o cientista de dados que criou o modelo, crie esse arquivo de esquema usando o formato documentado a seguir. Se você for um consumidor do modelo, obtenha o arquivo de esquema do proprietário do modelo.

  4. Na Amazon QuickSight, você começa criando um novo conjunto de dados com os dados sobre os quais deseja fazer previsões. Se estiver carregando um arquivo, você pode adicionar o modelo do SageMaker na tela de configurações de upload. Caso contrário, o modelo é adicionado à página de preparação de dados.

    Antes de prosseguir, verifique os mapeamentos entre o conjunto de dados e o modelo.

  5. Depois que os dados são importados para o conjunto de dados, os campos de saída contêm os dados retornados de SageMaker. Esses campos são usados da mesma forma que os outros campos, dentro das diretrizes descritas em Diretrizes de uso.

    Quando você executa a SageMaker integração, a Amazon QuickSight envia uma solicitação SageMaker para executar trabalhos de transformação em lote com pipelines de inferência. A Amazon QuickSight inicia o provisionamento e a implantação das instâncias necessárias em sua AWS conta. Quando o processamento é concluído, essas instâncias são fechadas e encerradas. A capacidade de computação incorre em custos apenas quando está processando modelos.

    Para facilitar sua identificação, a Amazon QuickSight nomeia todos os seus SageMaker trabalhos com o prefixoquicksight-auto-generated-.

  6. A saída da inferência é armazenada no SPICE e anexada ao conjunto de dados. Assim que a inferência for concluída, você pode usar o conjunto de dados para criar visualizações e painéis usando os dados da previsão.

  7. A atualização de dados começa sempre que você salvar o conjunto de dados. Você pode iniciar o processo de atualização de dados manualmente ao atualizar o conjunto de dados do SPICE ou pode programá-lo para execução em intervalos regulares. Durante cada atualização de dados, o sistema chama automaticamente a transformação SageMaker em lote para atualizar os campos de saída com novos dados.

    Você pode usar as operações da API QuickSight SPICE de ingestão da Amazon para controlar o processo de atualização de dados. Para obter mais informações sobre o uso dessas operações de API, consulte a Amazon QuickSight API Reference.

Custos incorridos (sem custos adicionais com a integração em si)

Usar esse recurso não requer uma taxa adicional por si só. Seus custos incluem o seguinte:

  • O custo da implantação do modelo SageMaker, que é incorrido somente quando o modelo está em execução. Salvar um conjunto de dados, após criá-lo ou editá-lo, ou atualizar seus dados inicia o processo de ingestão de dados. Esse processo inclui chamadas SageMaker se o conjunto de dados tiver campos inferidos. Os custos são incorridos na mesma AWS conta em que está sua QuickSight assinatura.

  • Seus custos de QuickSight assinatura são os seguintes:

    • O custo de armazenar seus dados no mecanismo de cálculo na memória em QuickSight (SPICE). Se você estiver adicionando novos dados ao SPICE, poderá ser necessário adquirir capacidade suficiente do SPICE para acomodá-los.

    • QuickSight assinaturas para os autores ou administradores que criam os conjuntos de dados.

    • P ay-per-session cobra que os espectadores (leitores) acessem painéis interativos.

Diretrizes de uso

Na Amazon QuickSight, as seguintes diretrizes de uso se aplicam a esse recurso da edição Enterprise:

  • O processamento do modelo ocorre no SPICE. Portanto, ele pode ser aplicado somente a conjuntos de dados armazenados no SPICE. No momento, o processo oferece suporte para até 500 milhões de linhas por conjunto de dados.

  • Somente QuickSight administradores ou autores podem aumentar os conjuntos de dados com modelos de ML. Os leitores podem visualizar os resultados apenas quando fazem parte de um painel.

  • Cada conjunto de dados pode funcionar com um único modelo de ML.

  • Os campos de saída não podem ser usados para calcular novos campos.

  • Os conjuntos de dados não podem ser filtrados por campos integrados com o modelo. Em outras palavras, se o campo do conjunto de dados estiver mapeado para o modelo de ML no momento, não será possível realizar filtragens nesse campo.

Em SageMaker, as seguintes diretrizes de uso se aplicam a um modelo pré-treinado que você usa com a Amazon QuickSight:

  • Ao criar o modelo, associe-o ao nome de recurso da Amazon (ARN) para a função do IAM apropriada. A função do IAM para o SageMaker modelo precisa ter acesso ao bucket Amazon S3 que a Amazon QuickSight usa.

  • O modelo deve ser compatível com arquivos .csv para entrada e saída. Verifique se seus dados estão em um formato tabular.

  • Forneça um arquivo de esquema que contenha metadados sobre o modelo, incluindo a lista de campos de entrada e saída. Atualmente, esse arquivo de esquema deve ser criado manualmente.

  • Considere a quantidade de tempo necessária para concluir sua inferência, o que depende de uma série de fatores. Estes incluem a complexidade do modelo, a quantidade de dados e a capacidade de computação definida. Realizar a inferência pode levar de vários minutos a várias horas. A Amazon QuickSight limita todos os trabalhos de ingestão e inferência de dados a um máximo de 10 horas. Para reduzir o tempo necessário para realizar uma inferência, considere aumentar o tamanho da instância ou o número de instâncias.

  • Atualmente, você pode usar somente transformações em lote para integração com dados SageMaker, não em tempo real. Você não pode usar um SageMaker endpoint.

Definição do arquivo de esquema

Antes de usar um SageMaker modelo com QuickSight dados da Amazon, crie o arquivo de esquema JSON que contém os metadados que a Amazon QuickSight precisa para processar o modelo. O QuickSight autor ou administrador da Amazon carrega o arquivo do esquema ao configurar o conjunto de dados.

Os campos do esquema são definidos como segue. Todos os campos são obrigatórios, exceto se especificado na descrição a seguir. Os atributos diferenciam maiúsculas de minúsculas.

inputContentType

O tipo de conteúdo que esse SageMaker modelo espera para os dados de entrada. O único valor com suporte para isso é "text/csv". QuickSight não inclui nenhum dos nomes de cabeçalho que você adiciona ao arquivo de entrada.

outputContentType

O tipo de conteúdo da saída produzida pelo SageMaker modelo que você deseja usar. O único valor com suporte para isso é "text/csv".

entrada

Uma lista de recursos que o modelo espera nos dados de entrada. QuickSight produz os dados de entrada exatamente na mesma ordem. A lista contém os seguintes atributos:

  • name: o nome da coluna. Se possível, faça com que seja igual ao nome da coluna correspondente no QuickSight conjunto de dados. Este atributo é limitado a 100 caracteres.

  • type: o tipo de dados desta coluna. Este atributo leva os valores "INTEGER", "STRING" e "DECIMAL".

  • nullable: (Opcional) a nulidade do campo. O valor padrão é true. Se você nullable definir comofalse, QuickSight descarta as linhas que não contêm esse valor antes de chamar SageMaker. Isso ajuda a SageMaker evitar falhas na falta de dados necessários.

output

Uma lista das colunas de saída que o SageMaker modelo produz. QuickSightespera esses campos exatamente na mesma ordem. A lista contém os seguintes atributos:

  • nome — Esse nome se torna o nome padrão para a nova coluna correspondente criada em QuickSight. Você pode substituir o nome especificado aqui em QuickSight. Este atributo é limitado a 100 caracteres.

  • type: o tipo de dados desta coluna. Este atributo leva os valores "INTEGER", "STRING" e "DECIMAL".

instanceTypes

Uma lista dos tipos de instância de ML que SageMaker podem ser provisionados para executar o trabalho de transformação. A lista é fornecida para o QuickSight usuário escolher. Essa lista é limitada aos tipos suportados pelo SageMaker. Para obter mais informações sobre os tipos compatíveis, consulte TransformResourceso Guia do SageMaker desenvolvedor.

defaultInstanceType

(Opcional) O tipo de instância que é apresentado como a opção padrão no SageMaker assistente em QuickSight. Inclua este tipo de instância no instanceTypes.

instanceCount

(Opcional) A contagem de instâncias define quantas das instâncias selecionadas devem SageMaker ser provisionadas para executar o trabalho de transformação. Este valor deve ser um inteiro positivo.

descrição

Esse campo fornece um local para a pessoa que possui o SageMaker modelo se comunicar com a pessoa que está usando esse modelo QuickSight. Use este campo para fornecer dicas sobre a utilização bem-sucedida deste modelo. Por exemplo, esse campo pode conter informações sobre como selecionar um tipo de instância efetivo a ser escolhido na lista em instanceTypes com base no tamanho do conjunto de dados. Este campo é limitado a 1.000 caracteres.

version

A versão do esquema, por exemplo, "1.0"".

O exemplo a seguir mostra a estrutura do JSON no arquivo de esquema. 

{
        "inputContentType": "CSV",
        "outputContentType": "CSV",
        "input": [
            {
                "name": "buying",
                "type": "STRING"
            },
            {
                "name": "maint",
                "type": "STRING"
            },
            {
                "name": "doors",
                "type": "INTEGER"
            },
            {
                "name": "persons",
                "type": "INTEGER"
            },
            {
                "name": "lug_boot",
                "type": "STRING"
            },
            {
                "name": "safety",
                "type": "STRING"
            }
        ],
        "output": [
            {
                "name": "Acceptability",
                "type": "STRING"
            }
        ],
        "description": "Use ml.m4.xlarge instance for small datasets, and ml.m4.4xlarge for datasets over 10 GB",
        "version": "1.0",
        "instanceCount": 1,
        "instanceTypes": [
            "ml.m4.xlarge",
            "ml.m4.4xlarge"
        ],
        "defaultInstanceType": "ml.m4.xlarge"
    }

A estrutura do arquivo de esquema está relacionada ao tipo de modelo usado nos exemplos fornecidos pelo SageMaker.

Adicionar um SageMaker modelo ao seu QuickSight conjunto de dados

Usando o procedimento a seguir, você pode adicionar um SageMaker modelo pré-treinado ao seu conjunto de dados para poder usar dados preditivos em análises e painéis.

Antes de começar, tenha os seguintes itens disponíveis:

  • Os dados que você deseja usar para criar o conjunto de dados.

  • O nome do SageMaker modelo que você deseja usar para aumentar o conjunto de dados.

  • O esquema do modelo. Esse esquema inclui mapeamentos de nome de campo e tipos de dados. Seria útil se ele também contivesse configurações recomendadas para o tipo de instância e o número de instâncias a serem usadas.

Para aumentar seu conjunto de QuickSight dados da Amazon com SageMaker

  1. Crie um novo conjunto de dados na página inicial ao escolher Conjuntos de dados e, em seguida, selecione Novo conjunto de dados.

    Você também pode editar um conjunto de dados existente.

  2. Escolha Aumentar com SageMaker na tela de preparação de dados.

  3. Em Select your model (Selecione seu modelo), escolha as seguintes configurações:

    • Modelo — Escolha o SageMaker modelo a ser usado para inferir campos.

    • Nome: forneça um nome descritivo para o modelo.

    • Esquema: faça upload do arquivo de esquema JSON fornecido para o modelo.

    • Configurações avançadas — QuickSight recomenda os padrões selecionados com base no seu conjunto de dados. Você pode usar configurações específicas de runtime para equilibrar a velocidade e o custo do seu trabalho. Para fazer isso, insira os tipos de instância de SageMaker ML em Tipo de instância e o número de instâncias em Count.

    Escolha Próximo para continuar.

  4. Para entradas de revisão, revise os campos mapeados para seu conjunto de dados. QuickSight tenta mapear automaticamente os campos em seu esquema para os campos em seu conjunto de dados. Se o mapeamento precisar de ajuste, você pode fazer alterações aqui.

    Escolha Próximo para continuar.

  5. Em Analisar saídas, visualize os campos que são adicionados ao seu conjunto de dados.

    Para confirmar suas escolhas, escolha Save and prepare data (Salvar e preparar dados).

  6. Para atualizar os dados, escolha o conjunto de dados para exibir detalhes. Em seguida, escolha Refresh Now (Atualizar agora), para atualizar os dados manualmente, ou escolha Schedule refresh (Programar atualização) , para configurar um intervalo de atualização regular. Durante cada atualização de dados, o sistema executa automaticamente o trabalho de transformação em lote do SageMaker para atualizar os campos de saída com novos dados.