Painel de Modelos do Amazon SageMaker
O Painel de Modelos do Amazon SageMaker é um portal centralizado, acessível a partir do console do SageMaker, onde você pode visualizar, pesquisar e explorar todos os modelos na sua conta. Você pode rastrear quais modelos são implantados para inferência e se eles são usados em trabalhos de transformação em lote ou hospedados em endpoints. Se você configurar monitores com o Amazon SageMaker Model Monitor, também poderá acompanhar o desempenho dos seus modelos à medida que eles fazem predições em tempo real em dados dinâmicos. Você pode usar o painel para encontrar modelos que violam os limites definidos para qualidade de dados, qualidade do modelo, desvio e explicabilidade. A apresentação abrangente do painel de todos os resultados do seu monitor ajuda você a identificar rapidamente os modelos que não têm essas métricas configuradas.
O Painel de modelo agrega informações relacionadas ao modelo de vários atributos do SageMaker. Além dos serviços fornecidos no Model Monitor, você pode visualizar cartões de modelo, visualizar a linhagem do fluxo de trabalho e monitorar o desempenho do seu endpoint. Você não precisa mais classificar logs, consultar em cadernos ou acessar outros serviços da AWS para coletar os dados de que precisa. Com uma experiência de usuário coesa e integração aos serviços existentes, o Painel de Modelos do Amazon SageMaker fornece uma solução de governança de modelos pronta para uso para ajudar você a garantir uma cobertura de qualidade em todos os seus modelos.
Pré-requisitos
Para usar o Painel de Modelo, você deve ter um ou mais modelos em sua conta. Você pode treinar modelos usando o Amazon SageMaker ou importar modelos que você treinou em outro lugar. Para criar um modelo no SageMaker, você pode usar a API CreateModel. Para obter mais informações, consulte CreateModel. Você também pode usar ambientes de ML fornecidos pelo SageMaker, como o Amazon SageMaker Studio Classic, que fornece modelos de projeto que configuram o treinamento e a implantação de modelos para você. Para obter informações sobre como começar a usar o Studio Classic, consulte Amazon SageMaker Studio Classic.
Embora esse não seja um pré-requisito obrigatório, os clientes obtêm o máximo valor do painel se configurarem trabalhos de monitoramento de modelos usando o SageMaker Model Monitor para modelos implantados em endpoints. Para obter pré-requisitos e instruções sobre como usar o SageMaker Model Monitor, consulte Monitoramento de qualidade de dados e modelo com o Amazon SageMaker Model Monitor.
Elementos do Painel de modelo
A visualização do Painel de modelo extrai detalhes de alto nível de cada modelo para fornecer um resumo abrangente de cada modelo na sua conta. Se seu modelo for implantado para inferência, o painel ajudará você a acompanhar o desempenho do modelo e do endpoint em tempo real.
Detalhes importantes a serem destacados nesta página incluem:
-
Classificação de risco: um parâmetro especificado pelo usuário do cartão de modelo com um valor baixo, médio ou alto. A classificação de risco do cartão de modelo é uma medida categórica do impacto comercial das predições de modelo. Os modelos são usados para uma variedade de aplicações de negócios, cada um dos quais pressupõe um nível de risco diferente. Por exemplo, detectar incorretamente um ataque cibernético tem um impacto nos negócios muito maior do que categorizar incorretamente um e-mail. Se você não conhece o risco do modelo, pode defini-lo como desconhecido. Para obter informações sobre os Cartões de Modelos do Amazon SageMaker, consulte Cartões de modelo.
-
Alertas do Model Monitor: os alertas do Model Monitor são o foco principal do Painel de modelo, e revisar a documentação existente sobre os vários monitores fornecidos pelo SageMaker é uma forma útil de começar. Para obter uma explicação detalhada sobre o atributo do SageMaker Model Monitor e exemplos de cadernos, consulte Monitoramento de qualidade de dados e modelo com o Amazon SageMaker Model Monitor.
O Painel de modelo exibe os valores de status do Model Monitor pelos seguintes tipos de monitor:
-
Qualidade de dados: compara dados dinâmicos com dados de treinamento. Se divergirem, as inferências do seu modelo podem não ser mais precisas. Para obter detalhes adicionais sobre o monitor de qualidade de dados, consulte Qualidade dos dados.
-
Qualidade do modelo: compara as predições que o modelo faz com os rótulos reais de veracidade que o modelo tenta prever. Para obter detalhes adicionais sobre o monitor de Qualidade do modelo, consulte Qualidade do modelo.
-
Desvio de polarização: compara a distribuição de dados dinâmicos com dados de treinamento, o que também pode causar predições imprecisas. Para obter detalhes adicionais sobre o monitor de Desvio de polarização, consulte Desvio de polarização para modelos em produção.
-
Desvio de atributo de atributos: também conhecido como desvio de explicabilidade. Compara as classificações relativas de seus atributos nos dados de treinamento com os dados dinâmicos, o que também pode ser resultado de uma oscilação de desvio. Para obter detalhes adicionais sobre o monitor de Desvio de atributo de atributos, consulte Desvio de atribuição de atributos para modelos em produção.
Cada status do Model Monitor é um dos seguintes valores:
-
Nenhum: nenhum monitor está programado
-
Inativo: um monitor foi programado, mas foi desativado
-
OK: um monitor está programado e está ativo e não encontrou o número necessário de violações em execuções recentes de modelos de monitores para gerar um alerta
-
Hora e data: um monitor ativo gerou um alerta na hora e data especificadas
-
-
Endpoint: os endpoints que hospedam seu modelo para inferência em tempo real. No Painel de modelo, você pode selecionar a coluna de endpoint para visualizar métricas de performance, como utilização de CPU, GPU, disco e memória de seus endpoints em tempo real para ajudar você a monitorar o desempenho de suas instâncias de computação.
-
Trabalho de transformação em lote: o trabalho de transformação em lote mais recente executado usando esse modelo. Essa coluna ajuda a determinar se um modelo é usado ativamente para inferência em lote.
-
Detalhes do modelo: cada entrada no painel é vinculada a uma página de detalhes do modelo, na qual você pode se aprofundar em um modelo individual. Você pode acessar o gráfico de linhagem do modelo, que visualiza o fluxo de trabalho desde a preparação dos dados até a implantação e os metadados de cada etapa. Você também pode criar e visualizar o cartão de modelo, revisar os detalhes e o histórico do alerta, avaliar o desempenho de seus endpoints em tempo real e acessar outros detalhes relacionados à infraestrutura.
