Atributos de recursos que usam valores de Shapley

SageMaker O Clarify fornece atribuições de recursos com base no conceito de valor de Shapley. Você pode usar os valores de Shapley para determinar a contribuição de cada recurso para as previsões do modelo. Essas atribuições podem ser fornecidas para previsões específicas e em nível global para o modelo como um todo. Por exemplo, se você usou um modelo de ML para admissões em faculdades, as explicações poderiam ajudar a determinar se a pontuação GPA ou a SAT pontuação foi o recurso mais responsável pelas previsões do modelo e, então, você pode determinar a responsabilidade de cada recurso por determinar uma decisão de admissão sobre um determinado aluno.

SageMaker A Clarify pegou o conceito dos valores de Shapley da teoria dos jogos e o implantou em um contexto de aprendizado de máquina. O valor de Shapley fornece uma maneira de quantificar a contribuição de cada jogador para um jogo e, portanto, os meios de distribuir o ganho total gerado por um jogo para seus jogadores baseado em suas contribuições. Nesse contexto de aprendizado de máquina, o SageMaker Clarify trata a previsão do modelo em uma determinada instância como o jogo e os recursos incluídos no modelo como os jogadores. Para uma primeira aproximação, você pode ficar tentado a determinar a contribuição ou o efeito marginal de cada recurso quantificando o resultado do descarte desse recurso do modelo ou o descarte de todos os outros recursos do modelo. No entanto, essa abordagem não leva em conta que os recursos incluídos em um modelo geralmente não são independentes uns dos outros. Por exemplo, se dois recursos estiverem altamente correlacionados, o descarte de qualquer um dos recursos pode não alterar significativamente a previsão do modelo.

Para lidar com essas possíveis dependências, o valor de Shapley exige que o resultado de cada combinação (ou coalizão) possível de recursos seja considerado para determinar a importância de cada recurso. Dados os recursos de d, existem 2^d dessas combinações de características possíveis, cada uma correspondendo a um modelo potencial. Para determinar a atribuição de um determinado recurso f, considere a contribuição marginal de incluir f em todas as combinações de recursos (e modelos associados) que não contêm f e calcule a média. Pode-se mostrar que o valor de Shapley é a maneira única de atribuir a contribuição ou importância de cada característica que satisfaz certas propriedades desejáveis. Em particular, a soma dos valores de Shapley de cada característica corresponde à diferença entre as previsões do modelo e um modelo fictício sem recursos. No entanto, mesmo para valores razoáveis de d, digamos 50 recursos, é computacionalmente proibitivo e impraticável treinar 2^d modelos possíveis. Como resultado, o SageMaker Clarify precisa fazer uso de várias técnicas de aproximação. Para isso, SageMaker Clarify usa Shapley Additive exPlanations (SHAP), que incorpora essas aproximações e desenvolveu uma implementação escalável e eficiente do algoritmo Kernel por meio de otimizações adicionais. SHAP

Para obter informações adicionais sobre os valores de Shapley, consulte A Unified Approach to Interpreting Model Predictions (Uma abordagem unificada para interpretar as previsões do modelo).