Conceitos básicos do Data Wrangler

1. Conclua cada etapa em Pré-requisitos.

2. Siga o procedimento em Acesse o Data Wrangler para começar a usar o Data Wrangler.

1. Para usar o Data Wrangler, você precisa acessar uma instância do Amazon Elastic Compute Cloud (Amazon EC2). Para obter mais informações sobre as EC2 instâncias da Amazon que você pode usar, consulteInstâncias. Para saber como visualizar suas cotas e, se necessário, solicitar um aumento de cota, consulte Service Quotas da AWS.

2. Configure as permissões obrigatórias descritas em Segurança e permissões.

3. Se sua organização estiver usando um firewall que bloqueia o tráfego da Internet, você deverá ter acesso ao seguinte URLs:

   • https://ui.prod-1.data-wrangler.sagemaker.aws/

   • https://ui.prod-2.data-wrangler.sagemaker.aws/

   • https://ui.prod-3.data-wrangler.sagemaker.aws/

   • https://ui.prod-4.data-wrangler.sagemaker.aws/

Para acessar o Data Wrangler no Studio Classic, faça o seguinte:

1. Faça login no Studio Classic. Para obter mais informações, consulte Visão geral do domínio Amazon SageMaker AI.

2. Escolha Studio.

3. Escolha Iniciar aplicação.

4. Na lista suspensa, selecione Studio.

5. Escolha o ícone Início.

6. Escolha Dados.

7. Escolha Data Wrangler.

8. Você também pode criar um fluxo do Data Wrangler fazendo o seguinte:

   1. Na barra de navegação superior, selecione Arquivo.

   2. Selecione Novo.

   3. Selecione Fluxo do Data Wrangler.

   

9. (Opcional) Renomeie o novo diretório e o arquivo .flow.

10. Ao criar um novo arquivo .flow no Studio Classic, você pode ver um carrossel que apresenta o Data Wrangler.

    Isso pode levar alguns minutos.

    Essa mensagem persiste enquanto o KernelGatewayaplicativo na sua página de detalhes do usuário estiver pendente. Para ver o status desse aplicativo, no console de SageMaker IA na página do Amazon SageMaker Studio Classic, selecione o nome do usuário que você está usando para acessar o Studio Classic. Na página Detalhes do usuário, você vê um KernelGatewayaplicativo em Aplicativos. Espere até que o status da aplicação esteja Pronto para começar a usar o Data Wrangler. Isso pode levar cerca de 5 minutos na primeira vez que você iniciar o Data Wrangler.

    

11. Para começar, escolha uma fonte de dados e use-a para importar um conjunto de dados. Para saber mais, consulte Importar.

    Quando você importa um conjunto de dados, ele aparece no seu fluxo de dados. Para saber mais, consulte Crie e use um fluxo do Data Wrangler.

12. Após a importação de um conjunto de dados, o Data Wrangler infere automaticamente o tipo de dados em cada coluna. Escolha + ao lado da etapa Tipos de dados e selecione Editar tipos de dados.

    Importante

    Após adicionar transformações na etapa Tipos de dados, você não poderá atualizar em massa os tipos de coluna usando Tipos de atualização.

13. Use o fluxo de dados para adicionar transformações e análises. Para saber mais, consulte Transformar dados e Analisar e visualizar.

14. Para exportar um fluxo de dados completo, escolha Exportar e escolha uma opção de exportação. Para saber mais, consulte Exportar.

15. Por fim, escolha o ícone Componentes e registros e selecione Data Wrangler na lista suspensa para ver todos os arquivos .flow criados por você. Você pode usar esse menu para localizar e se mover entre fluxos de dados.

Importe o conjunto de dados do Titanic para o Data Wrangler

1. Escolha o botão Importar dados na guia Fluxo de dados ou escolha a guia Importar.

2. Selecione Amazon S3.

3. Use a tabela Importar um conjunto de dados do S3 para encontrar o bucket onde você adicionou o conjunto de dados do Titanic. Escolha o arquivo CSV do conjunto de dados do Titanic para abrir o painel Detalhes.

4. Em Detalhes, o tipo de arquivo deve ser CSV. Marque Primeira linha é cabeçalho para especificar que a primeira linha do conjunto de dados é um cabeçalho. Você também pode nomear o conjunto de dados de forma mais conveniente, como Titanic-train.

5. Escolha o botão Importar .

1. Escolha o + ao lado da etapa Tipo de dados em seu fluxo de dados e selecione Adicionar análise.

2. Na área Análise, selecione Resumo da tabela na lista suspensa.

3. Dê um nome ao resumo da tabela.

4. Selecione Visualizar para visualizar a tabela que será criada.

5. Escolha Salvar para salvar em seu fluxo de dados. Ela aparecerá em Todas as análises.

Para descartar as colunas não utilizadas.

1. Abra o fluxo do Data Wrangler.

2. Há dois nós no fluxo do Data Wrangler. Escolha o + à direita do nó Tipos de dados.

3. Escolha Adicionar transformação.

4. Na coluna Todas as etapas, escolha Adicionar etapa.

5. Na lista Transformação padrão, escolha Gerenciar colunas. As transformações padrão são transformações prontas e integradas. Lembre-se de verificar se a opção Eliminar coluna está selecionada.

6. Em Colunas a serem eliminadas, verifique os seguintes nomes de colunas:

   • cabine

   • bilhete

   • nome

   • sibsp

   • parch

   • destino.inicial

   • barco

   • body

7. Escolha Pré-visualizar.

8. Verifique se as colunas foram eliminadas e escolha Adicionar.

1. Na coluna Todas as etapas, escolha Adicionar etapa.

2. Na lista Transformação personalizada, escolha Transformação personalizada.

3. Forneça um nome para sua transformação e escolha Python (Pandas) na lista suspensa.

4. Insira o seguinte script Python na caixa de código:

   cols = ['name', 'ticket', 'cabin', 'sibsp', 'parch', 'home.dest','boat', 'body']
   df = df.drop(cols, axis=1)

5. Escolha Visualizar para visualizar a alteração e, em seguida, escolha Adicionar para adicionar a transformação.

1. Escolha Processar ausentes.

2. Escolha Soltar ausentes para o Transformador.

3. Escolha idade para a coluna Entrada.

4. Escolha Visualizar para ver o novo quadro de dados e, em seguida, escolha Adicionar para adicionar a transformação ao seu fluxo.

5. Repita o mesmo processo para a tarifa.

1. Na seção Transformação personalizada, escolha Python (Pandas) na lista suspensa.

2. Insira o seguinte na caixa de código:

   import pandas as pd
   
   dummies = []
   cols = ['pclass','sex','embarked']
   for col in cols:
       dummies.append(pd.get_dummies(df[col]))
       
   encoded = pd.concat(dummies, axis=1)
   
   df = pd.concat((df, encoded),axis=1)

3. Escolha Visualizar para visualizar a alteração. A versão codificada de cada coluna será adicionada ao conjunto de dados.

4. Escolha Adicionar para adicionar a transformação.

1. Na seção Transformação personalizada, selecione SQL (PySpark SQL) na lista suspensa.

2. Insira o seguinte na caixa de código:

   SELECT survived, age, fare, 1, 2, 3, female, male, C, Q, S FROM df;

3. Escolha Visualizar para visualizar a alteração. As colunas listadas em sua instrução SELECT são as únicas colunas restantes.

4. Escolha Adicionar para adicionar a transformação.

1. Salve seu fluxo de dados. Selecione Arquivo e, em seguida, selecione Salvar fluxo do Data Wrangler.

2. Volte para a guia Fluxo de dados, selecione a última etapa em seu fluxo de dados (SQL) e escolha o + para abrir a navegação.

3. Escolha Exportar e Amazon S3 (via caderno Jupyter). Isso abre um caderno Jupyter.

   

4. Escolha qualquer kernel do Python 3 (Ciência de Dados) para o Kernel.

5. Quando o kernel for iniciado, execute as células no caderno até Kick off SageMaker Training Job (Opcional).

6. Opcionalmente, você pode executar as células no Kick off SageMaker Training Job (Opcional) se quiser criar um trabalho de treinamento de SageMaker IA para treinar um XGBoost classificador. Você pode encontrar o custo para executar um trabalho de SageMaker treinamento no Amazon SageMaker AI Pricing.

   Como alternativa, você pode adicionar os blocos de código encontrados no XGBoostClassificador de treinamento notebook e executá-los para usar a biblioteca de código XGBoostaberto para treinar um XGBoost classificador.

7. Descomente e execute a célula em Cleanup e execute-a para reverter o SDK do SageMaker Python para sua versão original.

1. Primeiro, atualize os módulos necessários usando pip e remova o arquivo _SUCCESS (esse último arquivo é problemático durante o uso de awswrangler).

   ! pip install --upgrade awscli awswrangler boto sklearn
   ! aws s3 rm {output_path} --recursive  --exclude "*" --include "*_SUCCESS*"

2. Leia os dados do Amazon S3. Você pode usar awswrangler para ler recursivamente todos os arquivos CSV no prefixo do S3. Os dados são então divididos em atributos e rótulos. O rótulo é a primeira coluna do quadro de dados.

   import awswrangler as wr
   
   df = wr.s3.read_csv(path=output_path, dataset=True)
   X, y = df.iloc[:,:-1],df.iloc[:,-1]

   • Por fim, crie DMatrices (a estrutura XGBoost primitiva dos dados) e faça a validação cruzada usando a classificação XGBoost binária.

     import xgboost as xgb
     
     dmatrix = xgb.DMatrix(data=X, label=y)
     
     params = {"objective":"binary:logistic",'learning_rate': 0.1, 'max_depth': 5, 'alpha': 10}
     
     xgb.cv(
         dtrain=dmatrix, 
         params=params, 
         nfold=3,
         num_boost_round=50,
         early_stopping_rounds=10,
         metrics="rmse", 
         as_pandas=True, 
         seed=123)