As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Criação de um conjunto de regras com regras de qualidade de dados
No procedimento a seguir, você pode encontrar um exemplo de como criar um conjunto de regras e aplicá-lo a um conjunto de dados. Um conjunto de regras é um conjunto de regras que compara diferentes métricas de dados com valores esperados. Em seguida, você pode usar esse conjunto de regras em um trabalho de perfil para validar as regras de qualidade de dados que ele inclui.
Para criar um exemplo de conjunto de regras com regras de qualidade de dados
Faça login no Console de gerenciamento da AWS e abra o DataBrew console em https://console.aws.amazon.com/databrew/
. -
Escolha DQ RULES no painel de navegação e escolha Criar conjunto de regras de qualidade de dados.
-
Insira um nome para seu conjunto de regras. Opcionalmente, insira uma descrição para seu conjunto de regras.
Em Conjunto de dados associado, escolha um conjunto de dados para associar ao conjunto de regras.
Depois de selecionar um conjunto de dados, você pode visualizar o painel de visualização do conjunto de dados à direita.
-
Use a visualização no painel de visualização do conjunto de dados para explorar os valores e o esquema do conjunto de dados ao determinar as regras de qualidade de dados a serem criadas. A visualização prévia pode fornecer uma visão sobre possíveis problemas que você possa ter com os dados.
Algumas fontes de dados, como bancos de dados, não oferecem suporte à visualização de dados. Nesse caso, você pode executar um trabalho de perfil sem primeiro validar as regras de qualidade de dados. Em seguida, você pode obter informações sobre o esquema de dados e a distribuição de valores usando o perfil de dados.
-
Verifique a guia Recomendações, que lista algumas sugestões de regras que você pode usar ao criar seu conjunto de regras. Você pode selecionar todas, algumas ou nenhuma das recomendações.
Depois de selecionar as recomendações relevantes, escolha Adicionar ao conjunto de regras.
Isso adicionará regras ao seu conjunto de regras. Inspecione e modifique os parâmetros, se necessário. Observe que somente colunas de tipos simples, como string, números e booleanos, podem ser usadas nas regras de qualidade de dados.
Escolha Adicionar outra regra para adicionar uma regra não coberta pelas recomendações. Você pode alterar os nomes das regras para facilitar a interpretação posterior dos resultados da validação.
Use o escopo da verificação de qualidade de dados para escolher se colunas individuais serão selecionadas por cada verificação nessa regra ou se elas devem ser aplicadas a um grupo de colunas que você selecionar. Por exemplo, se seu conjunto de dados tiver várias colunas numéricas que devem ter valores entre 0 e 100, você pode definir a regra uma vez e selecionar todas essas colunas a serem verificadas por essa regra.
Se sua regra tiver mais de uma verificação, no menu suspenso Critérios de sucesso da regra, escolha se todas as verificações devem ser atendidas ou quais atendem aos critérios.
Selecione uma verificação que será executada para verificar essa regra no menu suspenso Verificação de qualidade de dados. Para obter mais informações sobre as verificações disponíveis, consulteCheques disponíveis.
Se você escolheu Verificação individual para cada coluna no escopo da verificação de qualidade de dados, escolha uma coluna. Selecione ou digite o nome da coluna para essa verificação.
Selecione os parâmetros de acordo com a verificação. Algumas condições aceitam somente valores personalizados fornecidos e algumas também oferecem suporte à referência a outra coluna.
Se você escolher verificar os valores da coluna, como a condição Contém, para valores de sequência de caracteres, poderá especificar o limite de “ultrapassagem”. Por exemplo, se você quiser que pelo menos 95% dos valores satisfaçam a condição, você precisa escolher Maior que igual como condição de limite, inserir 95 como limite e deixar “% (porcentagem) de linhas” na próxima lista suspensa na seção Limite. Ou se você não quiser mais do que 10 linhas em que o valor está ausente, a condição é verdadeira, selecione Menor que igual como condição, insira 10 em Limite e escolha linhas na próxima lista suspensa. Observe que você pode obter resultados diferentes se estiver usando amostras de tamanhos diferentes durante a validação.
Adicione mais regras, se necessário.
Escolha Criar conjunto de regras.
