Usando a transformação Explode Array ou Map Into Rows - AWS Glue

Usando a transformação Explode Array ou Map Into Rows

A transformação Explode permite extrair valores de uma estrutura aninhada em linhas individuais que são mais fáceis de manipular. No caso de uma matriz, a transformação gerará uma linha para cada valor da matriz, replicando os valores para as outras colunas na linha. No caso de um mapa, a transformação gerará uma linha para cada entrada com a chave e o valor como colunas, além de quaisquer outras colunas na linha.

Por exemplo, se tivermos esse conjunto de dados que tem uma coluna de matriz “categoria” com vários valores.

product_id category
1 [esportes, inverno]
2 [jardim, ferramentas]
3 [videogames]
4 [jogo, jogo de tabuleiro, social]
5 []

Se você explodir a coluna “categoria” em uma coluna com o mesmo nome, você substituirá a coluna. Você pode selecionar que deseja que os NULLs sejam incluídos para obter o seguinte (ordenado para fins ilustrativos):

product_id category
1 esportes
1 inverno
2 jardim
2 ferramenta
3 videogames
4 jogo
4 jogo de tabuleiro
4 social
5
Para adicionar uma transformação Explode Array ou Map Into Rows:
  1. Abra o painel Recurso e escolha Explode Array Or Map Into Rows para adicionar uma nova transformação ao diagrama do seu trabalho. O nó selecionado no momento da adição do nó será o nó superior.

  2. (Opcional) Na guia Propriedades do nó, insira um nome para o nó no diagrama do trabalho. Se ainda não houver um nó pai selecionado, escolha um na lista Node parents (Nós pais) para usar como fonte de entrada para a transformação.

  3. Na guia Transformar, escolha a coluna a ser explodida (ela deve ser um tipo de matriz ou mapa). Em seguida, insira um nome para a coluna para os itens da matriz ou os nomes das colunas para as chaves e valores se você estiver explodindo um mapa.

  4. (Opcional) Na guia Transformar, por padrão, se a coluna a ser explodida for NULL ou tiver uma estrutura vazia, ela será omitida no conjunto de dados explodido. Se você quiser manter a linha (com as novas colunas como NULL), marque “Incluir NULLs”.

    A captura de tela mostra a guia Transformar para a transformação Explode Array ou Map Into Rows.