Recebendo registros e métricas do modelo

Para receber registros e métricas do treinamento ou inferência de modelos personalizados, os membros devem ter criado uma configuração de ML com uma função válida que forneça as CloudWatch permissões necessárias (consulte Criar uma função de serviço para modelagem de ML personalizada - Configuração de ML).

Métrica do sistema

As métricas do sistema para treinamento e inferência, como utilização de CPU e memória, são publicadas para todos os membros na colaboração com configurações de ML válidas. Essas métricas podem ser visualizadas à medida que o trabalho progride por meio de CloudWatch métricas nos /aws/cleanroomsml/TrainedModelInferenceJobs namespaces /aws/cleanroomsml/TrainedModels ou, respectivamente.

Registros do modelo

O acesso aos registros do modelo é fornecido pela política de configuração de privacidade de cada algoritmo de modelo configurado. O autor do modelo define a política de configuração de privacidade ao associar um algoritmo de modelo configurado (por meio do console ou da CreateConfiguredModelAlgorithmAssociation API) a uma colaboração. A definição da política de configuração de privacidade controla quais membros podem receber os registros do modelo.

Além disso, o autor do modelo pode definir um padrão de filtro na política de configuração de privacidade para filtrar eventos de log. Todos os registros que um contêiner modelo envia para stdout ou stderr que correspondem ao padrão de filtro (se definido) são enviados para o Amazon CloudWatch Logs. Os registros do modelo estão disponíveis em grupos de CloudWatch registros /aws/cleanroomsml/TrainedModels ou/aws/cleanroomsml/TrainedModelInferenceJobs, respectivamente.

Métricas personalizadas definidas

Quando você configura um algoritmo de modelo (por meio do console ou da CreateConfiguredModelAlgorithm API), o autor do modelo pode fornecer nomes de métricas e instruções regex específicos para pesquisar nos registros de saída. Eles podem ser visualizados à medida que o trabalho progride por meio de CloudWatch métricas no /aws/cleanroomsml/TrainedModels namespace. Ao associar um algoritmo de modelo configurado, o autor do modelo pode definir um nível de ruído opcional na configuração de privacidade das métricas para evitar a saída de dados brutos e, ao mesmo tempo, fornecer visibilidade das tendências métricas personalizadas. Se um nível de ruído for definido, as métricas serão publicadas no final do trabalho e não em tempo real.