Filtrar chaves dentro de um conjunto de dados - AWS Glue

Filtrar chaves dentro de um conjunto de dados

Use a transformação Filter (Filtro) para criar um novo conjunto de dados filtrando registros do conjunto de dados de entrada com base em uma expressão regular. As linhas que não satisfaçam a condição do filtro são removidas da saída.

  • Para tipos de dados de string, você pode filtrar linhas em que o valor da chave corresponde a uma string especificada.

  • Para tipos de dados numéricos, você pode filtrar linhas comparando o valor da chave com um valor especificado usando os operadores de comparação <, >, =, !=, <= e >=.

Se você especificar várias condições de filtro, os resultados serão combinados usando um operador AND por padrão, mas você pode escolher OR em vez disso.

A transformação Filter (Filtro) diferencia maiúsculas de minúsculas. Adicione uma transformação ApplyMapping (Aplicar mapeamento) como um nó pai, se você precisar de nomes de chave de propriedade sem distinção entre maiúsculas e minúsculas.

Para adicionar um nó de transformação Filter (Filtro) ao diagrama de trabalho

  1. (Opcional) Abra o painel Recurso e escolha Filtro para adicionar uma nova transformação ao diagrama de trabalho, se necessário.

  2. Na guia Node properties (Propriedades do nó), insira um nome para o nó no diagrama de trabalho. Se ainda não houver um nó pai selecionado, escolha um na lista Node parents (Nós pais) para usar como fonte de entrada para a transformação.

  3. Escolha a guia Transform (Transformação).

  4. Escolha Global AND ou Global OR. Isso determina como várias condições de filtro são combinadas. Todas as condições são combinadas usando os operadores AND ou OR. Se você tiver apenas uma única condição de filtro, pode escolher qualquer uma.

  5. Escolha o botão Add condition (Adicionar condição) na seção Filter condition (Condição de filtro) para adicionar uma condição de filtro.

    No campo Key (Chave), escolha um nome de chave de propriedade do conjunto de dados. No campo Operation (Operação), escolha o operador de comparação. No campo Value (Valor), insira o valor de comparação. Estes são alguns exemplos de configurações de filtro:

    • year >= 2018

    • State matches 'CA*'

    Ao filtrar valores de string, certifique-se de que o valor de comparação usa um formato de expressão regular que corresponda à linguagem de script selecionada nas propriedades do trabalho (Python ou Scala).

  6. Adicione mais condições de filtro, conforme necessário.

  7. (Opcional) depois de configurar as propriedades do nó de transformação, você pode visualizar o esquema modificado dos dados escolhendo a guia Output schema (Esquema de saída) no painel de detalhes do nó. Na primeira vez que você escolher essa guia para qualquer nó em seu trabalho, você receberá uma solicitação para fornecer uma função do IAM para acessar os dados. Se você não tiver especificado uma função do IAM na guia Job details (Detalhes do trabalho), você receberá uma solicitação para inserir uma função do IAM aqui.

  8. (Opcional) depois de configurar as propriedades do nó e da transformação, você pode previsualizar o conjunto de dados modificado escolhendo a guia Data preview (Previsualização de dados) no painel de detalhes do nó. Na primeira vez que você escolher essa guia para qualquer nó em seu trabalho, você receberá uma solicitação para fornecer uma função do IAM para acessar os dados. Há um custo associado ao uso desse recurso e o a cobrança começa assim que você fornece uma função do IAM.