View a markdown version of this page

Criando e usando AWS Glue DataBrew projetos - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criando e usando AWS Glue DataBrew projetos

Em AWS Glue DataBrew, um projeto é a peça central de seus esforços de análise e transformação de dados.

Ao criar um projeto, você reúne dois componentes fundamentais:

O DataBrew console apresenta seu projeto em uma interface de usuário altamente interativa e intuitiva. Ele incentiva você a experimentar centenas de transformações de dados, para que você possa aprender como elas funcionam e o efeito que elas têm nos seus dados.

Os dados que você vê na visualização do projeto são uma amostra do seu conjunto de dados. Como os conjuntos de dados podem ser muito grandes, com milhares ou até milhões de linhas, o uso de uma amostra ajuda a garantir que o DataBrew console permaneça responsivo enquanto você transforma os dados de amostra de várias maneiras. Por padrão, a amostra consiste nas primeiras 500 linhas de dados do conjunto de dados. Você pode escolher configurações diferentes para o tamanho da amostra e quais linhas serão escolhidas.

À medida que você transforma os dados de amostra, DataBrew ajuda a criar e refinar a receita do projeto — uma série passo a passo das transformações que você aplicou até agora. Sua receita de trabalho em andamento é salva automaticamente, para que você possa sair da visualização do projeto a qualquer momento, retornar mais tarde e continuar de onde parou.

Quando sua receita estiver pronta para uso, você poderá publicá-la. A publicação de uma receita a disponibiliza para o subsistema de DataBrew tarefas, onde você pode aplicar a receita a todo o conjunto de dados ou criar um perfil de dados abrangente que permite entender a estrutura, o conteúdo e as características estatísticas dos seus dados.

Criação de um projeto

Use o procedimento a seguir para criar um projeto.

Para criar um projeto
  1. Faça login no Console de gerenciamento da AWS e abra o DataBrew console.

  2. No painel de navegação, escolha PROJETOS. Em seguida, escolha Criar projeto.

  3. Insira um nome para o projeto. Em seguida, escolha uma receita para anexar ao seu projeto:

    • Escolha Criar nova receita se você estiver começando do início. Isso cria uma receita nova e vazia e a anexa ao seu projeto.

    • Escolha Editar receita existente se você tiver uma receita publicada anteriormente que deseja usar para este projeto. Se a receita estiver atualmente anexada a outro projeto ou tiver algum trabalho definido para ela, você não poderá usá-la em seu novo projeto. Escolha Procurar receitas para ver quais receitas estão disponíveis.

    • Escolha Importar etapas da receita se você tiver uma receita existente publicada anteriormente e quiser importar suas etapas e, em seguida, faça o seguinte:

      1. Escolha Procurar receitas para ver quais receitas estão disponíveis.

      2. Escolha a versão publicada da receita que você deseja usar. Uma receita pode ter várias versões, dependendo da frequência com que você a publicou enquanto trabalhava na visualização do projeto.

      3. Escolha Exibir etapas da receita para examinar as transformações de dados na receita.

  4. Depois de criar uma receita, escolha o conjunto de dados com o qual você deseja trabalhar no painel Selecionar um conjunto de dados:

    • Meus conjuntos de dados — Escolha um conjunto de dados que você criou anteriormente. Para mais informações, consulte Criação de um projeto.)

    • Arquivos de amostra — Crie um novo conjunto de dados com base nos dados de amostra mantidos pelo AWS. Esses dados de amostra são uma ótima maneira de explorar o que DataBrew você pode fazer, sem precisar fornecer seus próprios dados. Certifique-se de inserir um nome para seu conjunto de dados.

    • Novo conjunto de dados — Crie um novo conjunto de dados. Para obter mais informações, consulte Criação de um projeto.

  5. Para permissões de acesso, escolha uma função AWS Identity and Access Management(IAM) que permita ler DataBrew a partir do seu local de entrada do Amazon S3. Para um local do S3 pertencente à sua AWS conta, você pode escolher a função gerenciada pelo AwsGlueDataBrewDataAccessRole serviço. Isso permite DataBrew acessar os recursos do S3 que você possui.

  6. No painel Amostragem, você pode encontrar opções DataBrew para criar uma amostra de dados do seu conjunto de dados.

    Em Tipo, escolha como obter DataBrew as linhas do seu conjunto de dados:

    • Use Primeiras n linhas para criar uma amostra com base nas primeiras linhas do conjunto de dados.

    • Use Linhas aleatórias para criar uma amostra com base em uma seleção aleatória de linhas no conjunto de dados.

    • Escolha o número de linhas a serem exibidas na amostra: 500, 1.000, 2.500 ou um tamanho de amostra personalizado, até um máximo de 5.000 linhas. Um tamanho de amostra menor permite DataBrew realizar transformações mais rapidamente, economizando tempo ao desenvolver sua receita. Um tamanho amostral maior reflete com mais precisão a composição dos dados de origem subjacentes. No entanto, a inicialização da sessão do projeto e as transformações interativas são mais lentas.

  7. (Opcional) Escolha Tags para anexar tags ao seu conjunto de dados.

    As tags são rótulos simples que consistem em uma chave definida pelo usuário e um valor opcional que pode facilitar o gerenciamento, a pesquisa e a filtragem de DataBrew projetos por finalidade, proprietário, ambiente ou outros critérios.

  8. Quando as configurações estiverem como você deseja, escolha Criar trabalho.

DataBrew cria um novo conjunto de dados, se necessário, cria uma nova receita, se necessário, cria a amostra de dados e cria uma sessão de projeto interativa. Esse processo pode levar alguns minutos para ser concluído. Quando o projeto estiver pronto para uso, você poderá começar a trabalhar com a amostra de dados.