As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
AWS Clean Rooms Métricas de avaliação do modelo de ML
O Clean Rooms ML calcula o recall e a pontuação de relevância para determinar a performance do seu modelo. O recall compara a similaridade entre os dados de público semelhante e os dados de treinamento. A pontuação de relevância é usada para determinar o tamanho do público, não se o modelo está funcionando bem.
Recall é uma medida imparcial de quanto o segmento de semelhanças é similar aos dados de treinamento. O recall é a porcentagem dos usuários mais semelhantes (por padrão, os 20% mais semelhantes) de uma amostra dos dados de treinamento que são incluídos no público inicial pelo trabalho de geração de público. Os valores variam de 0 a 1, valores maiores indicam um público melhor. Um valor de recall aproximadamente igual à porcentagem máxima de um compartimento indica que o modelo de público é equivalente à seleção aleatória.
Consideramos essa métrica de avaliação melhor do que as pontuações de acurácia, de precisão e F1, porque o Clean Rooms ML não rotulou com exatidão os verdadeiros usuários negativos ao criar o respectivo modelo.
A pontuação de relevância no nível de segmento é uma medida de similaridade com valores que variam de -1 (menos semelhante) a 1 (mais semelhante). O Clean Rooms ML calcula um conjunto de pontuações de relevância para vários tamanhos de segmento a fim de ajudar a determinar o melhor tamanho de segmento para seus dados. As pontuações de relevância diminuem monotonicamente à medida que o tamanho do segmento aumenta, portanto, à medida que o tamanho do segmento aumenta, ele pode ser menos semelhante aos dados iniciais. Quando a pontuação de relevância no nível do segmento atinge 0, o modelo prevê que todos os usuários no segmento de semelhanças são da mesma distribuição dos dados de seed. É provável que o aumento do tamanho da saída inclua usuários no segmento de semelhanças que não sejam da mesma distribuição dos dados iniciais.
As pontuações de relevância são normalizadas em uma única campanha e não devem ser usadas para comparação entre campanhas. As pontuações de relevância não devem ser usadas como uma evidência de fonte única para nenhum resultado comercial, pois elas são afetadas por vários fatores complexos, além da relevância, como qualidade do estoque, tipo de estoque, horário da publicidade e assim por diante.
As pontuações de relevância não devem ser usadas para avaliar a qualidade de seed, mas sim se ela pode ser aumentada ou diminuída. Considere os seguintes exemplos:
-
Todas as pontuações positivas: isso indica que há mais usuários de saída previstos como semelhantes do que os incluídos no segmento de semelhanças. Isso é comum em dados iniciais que fazem parte de um grande mercado, como todos que compraram pasta de dentes no mês passado. Recomendamos analisar dados de seed menores, como todos que compraram pasta de dente mais de uma vez no mês passado.
-
Todas as pontuações negativas ou negativas para o tamanho do segmento de semelhanças desejado: isso indica que o Clean Rooms ML prevê que não há usuários semelhantes suficientes no tamanho do segmento de semelhanças desejado. Talvez os dados de seed sejam muito específicos ou o mercado seja muito pequeno. Recomendamos aplicar menos filtros aos dados de seed ou ampliar o mercado. Por exemplo, se os dados de seed originais fossem de clientes que compraram um carrinho de bebê e uma cadeirinha para carro, você poderia expandir o mercado para clientes que compraram vários produtos para bebês.
Os provedores de dados de treinamento determinam se as pontuações de relevância estão expostas e os compartimentos de bucket onde as pontuações de relevância são calculadas.
