As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Painel de controle do modelo FAQ
Consulte os FAQ tópicos a seguir para obter respostas às perguntas mais frequentes sobre o Amazon SageMaker Model Dashboard.
O Amazon SageMaker Model Dashboard é um repositório centralizado de todos os modelos criados em sua conta. Os modelos geralmente são resultados de trabalhos de SageMaker treinamento, mas você também pode importar modelos treinados em outro lugar e hospedá-los. SageMaker O Model Dashboard fornece uma interface única para administradores de TI, gerentes de risco de modelos e líderes de negócios rastrearem todos os modelos implantados e agregarem dados de vários AWS serviços para fornecer indicadores sobre o desempenho de seus modelos. Você pode visualizar detalhes sobre endpoints de modelos, trabalhos de transformação em lote e trabalhos de monitoramento para obter informações adicionais sobre o desempenho do modelo. A exibição visual do painel ajuda você a identificar rapidamente quais modelos têm monitores ausentes ou inativos, para que você possa garantir que todos os modelos sejam verificados periodicamente quanto a desvios de dados, desvios de modelos, desvios de viés e desvios de concessão de atributos. Por fim, o acesso imediato do painel aos detalhes do modelo ajuda você a se aprofundar para acessar logs, informações relacionadas à infraestrutura e recursos para ajudar você a depurar falhas de monitoramento.
Você deve ter um ou mais modelos criados em SageMaker, treinados SageMaker ou treinados externamente. Embora esse não seja um pré-requisito obrigatório, você obtém o máximo valor do painel se configurar trabalhos de monitoramento de modelos por meio do Amazon SageMaker Model Monitor para modelos implantados em endpoints.
Gerentes de risco de modelos, profissionais de ML, cientistas de dados e líderes de negócios podem obter uma visão geral abrangente dos modelos usando o Painel de Modelos. O painel agrega e exibe dados dos serviços Amazon SageMaker Model Cards, Endpoints e Model Monitor para exibir informações valiosas, como metadados do modelo do cartão e do registro do modelo, endpoints em que os modelos são implantados e insights do monitoramento do modelo.
O Model Dashboard está disponível imediatamente na Amazon SageMaker e não requer nenhuma configuração prévia. No entanto, se você configurou trabalhos de monitoramento de modelos usando o SageMaker Model Monitor e o Clarify, você usa CloudWatch a Amazon para configurar alertas que levantam uma bandeira no painel quando o desempenho do modelo se desvia de uma faixa aceitável. Você pode criar e adicionar novos cartões de modelo ao painel e visualizar todos os resultados de monitoramento associados aos endpoints. No momento, o Painel de Modelos não é compatível com modelos de contas cruzadas.
Com o Amazon SageMaker Model Monitor, você pode selecionar os dados que deseja monitorar e analisar sem escrever nenhum código. SageMaker O Model Monitor permite selecionar dados, como saída de previsão, em um menu de opções e captura metadados, como registro de data e hora, nome do modelo e ponto final, para que você possa analisar as previsões do modelo. Você pode especificar a taxa de amostragem da captura de dados como uma porcentagem do tráfego geral no caso de previsões em tempo real de alto volume. Esses dados são armazenados em seu próprio bucket do Amazon S3. Você também pode criptografar esses dados, configurar uma segurança refinada, definir políticas de retenção de dados e implementar mecanismos de controle de acesso para acesso seguro.
SageMaker O Model Monitor fornece os seguintes tipos de modelos de monitores:
-
Qualidade dos dados: monitore a variação na qualidade dos dados.
-
Qualidade do modelo: monitore a variação nas métricas de qualidade do modelo, como precisão.
-
Desvio de viés para modelos em produção: monitore o viés nas previsões do seu modelo comparando a distribuição do treinamento e dos dados ao vivo.
-
Desvio de concessão de atributos para modelos em produção: monitore o desvio na concessão de atributos comparando as classificações relativas dos atributos no treinamento e nos dados ao vivo.
No momento, o Model Monitor oferece suporte apenas a endpoints que hospedam um único modelo e não é compatível com o monitoramento de endpoints de vários modelos.
Você pode usar os seguintes recursos para começar a usar o monitoramento de modelos:
Para ver mais exemplos de monitoramento de modelos, consulte o GitHub repositório. amazon-sagemaker-examples
O Amazon SageMaker Model Monitor monitora automaticamente os modelos de aprendizado de máquina em produção, usando regras para detectar desvios em seu modelo. O Model Monitor notifica você quando surgem problemas de qualidade por meio de alertas. Para saber mais, consulte Como funciona o Amazon SageMaker Model Monitor.
O Model Monitor calcula métricas e estatísticas do modelo somente em dados tabulares. Para casos de uso que não sejam conjuntos de dados tabulares, como imagens ou texto, você pode trazer seus próprios containers (BYOC) para monitorar seus dados e modelos. Por exemplo, você pode usar BYOC para monitorar um modelo de classificação de imagens que usa imagens como entrada e gera uma etiqueta. Para saber mais sobre contratos de contêiner, consulte Support para seus próprios contêineres com o Amazon SageMaker Model Monitor.
Você pode encontrar BYOC exemplos úteis nos links a seguir:
Para obter detalhes sobre como integrar o Model Monitor e o Pipelines, consulte O Amazon Pipelines agora se integra ao SageMaker Model Monitor e ao Clarify
Para ver um exemplo, veja o GitHub exemplo de integração do notebook Pipelines com o Model Monitor e o Clarify
Quando ativada, a captura de dados ocorre de forma assíncrona nos endpoints. SageMaker Para evitar o impacto nas solicitações de inferência, DataCapture interrompe a captura de solicitações em altos níveis de uso do disco. É recomendável que você mantenha a utilização do disco abaixo de 75% para garantir que DataCapture continue capturando solicitações.
