As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Prepare os dados para a construção do modelo

Seu conjunto de dados de machine learning pode exigir preparação de dados antes de você compilar seu modelo. Talvez você queira limpar seus dados devido a vários problemas, que podem incluir valores ausentes ou valores atípicos, e realizar engenharia de atributos para melhorar a precisão do seu modelo. O Amazon SageMaker Canvas fornece transformações de dados de ML com as quais você pode limpar, transformar e preparar seus dados para a criação de modelos. Você pode usar essas transformações em seus conjuntos de dados sem nenhum código. SageMaker O Canvas adiciona as transformações que você usa à receita do modelo, que é um registro da preparação de dados feita em seus dados antes de criar o modelo. Qualquer transformação de dados que você usa apenas modifica os dados de entrada para a compilação do modelo e não modifica sua fonte de dados original.

A pré-visualização do seu conjunto de dados mostra as primeiras 100 linhas do conjunto de dados. Se seu conjunto de dados tiver mais de 20.000 linhas, o Canvas pega uma amostra aleatória de 20.000 linhas e pré-visualiza as primeiras 100 linhas dessa amostra. Você só pode pesquisar e especificar valores das linhas pré-visualizadas e a funcionalidade de filtro somente filtra as linhas pré-visualizadas e não o conjunto de dados inteiro.

As seguintes transformações estão disponíveis no SageMaker Canvas para você preparar seus dados para a construção.

Destacar coluna

Você pode excluir uma coluna da construção do seu modelo soltando-a na guia Construir do aplicativo SageMaker Canvas. Desmarque a coluna que você deseja descartar e ela não será incluída ao compilar o modelo.

Filtrar linhas

A funcionalidade de filtro filtra as linhas pré-visualizadas (as primeiras 100 linhas do seu conjunto de dados) de acordo com as condições que você especificar. A filtragem de linhas cria uma pré-visualização temporária dos dados e não afeta a compilação do modelo. Você pode filtrar para visualizar linhas que tenham valores ausentes, contenham valores atípicos ou atendam às condições personalizadas em uma coluna de sua escolha.

Filtrar linhas por valores ausentes

Valores ausentes são uma ocorrência comum em conjuntos de dados de machine learning. Se você tiver linhas com valores nulos ou vazios em determinadas colunas, talvez queira filtrar e pré-visualizar essas linhas.

Para filtrar os valores ausentes dos dados pré-visualizados, faça o seguinte.

SageMaker O Canvas filtra as linhas que contêm valores ausentes na coluna selecionada e fornece uma visualização prévia das linhas filtradas.

Filtrar linhas por valores atípicos

Valores discrepantes, ou valores raros na distribuição e no alcance de seus dados, podem afetar negativamente a precisão do modelo e levar a tempos de construção mais longos. SageMaker O Canvas permite detectar e filtrar linhas que contêm valores discrepantes em colunas numéricas. Você pode escolher definir valores atípicos com desvios padrão ou com um intervalo personalizado.

Para filtrar valores atípicos em seus dados, faça o seguinte.

A opção Desvio padrão detecta e filtra valores atípicos em colunas numéricas usando a média e o desvio padrão. Você especifica o número de desvios padrão em que um valor deve variar da média para ser considerado um valor atípico. Por exemplo, se você especificar 3 para SD, um valor deve ter queda maior que 3 desvios padrão da média para ser considerado um valor atípico.

A opção de Intervalo personalizado detecta e filtra valores atípicos em colunas numéricas usando valores mínimos e máximos. Use esse método se você conhece seus valores limite que delimitam valores atípicos. Você pode definir o Tipo do intervalo como Percentil ou Número. Se você escolher Percentil, os valores Mínimo e Máximo deverão ser o mínimo e o máximo do intervalo de percentis (0-100) que você deseja permitir. Se você escolher Número, os valores Mínimo e Máximo devem ser os valores numéricos mínimo e máximo que você deseja filtrar nos dados.

Filtrar linhas por valores personalizados

Você pode filtrar por linhas com valores que atendam às condições personalizadas. Por exemplo, talvez você queira pré-visualizar linhas com um valor de preço maior que 100 antes de removê-las. Com essa funcionalidade, você pode filtrar linhas que excedam o limite definido e pré-visualizar os dados filtrados.

Para usar a funcionalidade de filtro personalizado, faça o seguinte.

Para a Operação, escolha uma das opções a seguir. Observe que as operações disponíveis dependem do tipo de dados da coluna que você escolher. Por exemplo, não é possível criar uma operação is greater than para uma coluna contendo valores de texto.

Depois de definir a operação de filtro, o SageMaker Canvas atualiza a visualização do conjunto de dados para mostrar os dados filtrados.

Funções e operadores

Você pode usar funções e operadores matemáticos para explorar e distribuir seus dados. Você pode usar as funções suportadas pelo SageMaker Canvas ou criar sua própria fórmula com seus dados existentes e criar uma nova coluna com o resultado da fórmula. Por exemplo, você pode adicionar os valores correspondentes de duas colunas e salvar o resultado em uma nova coluna.

Você pode agrupar instruções para criar funções mais complexas. Veja a seguir alguns exemplos de funções agrupadas que você pode usar.

Você pode especificar funções no estágio de preparação de dados antes de compilar seu modelo. Para usar uma função, faça o seguinte.

SageMaker O Canvas salva o resultado da sua função em uma nova coluna usando o nome que você especificou em Nome da nova coluna. Você pode visualizar ou remover funções do painel Receita modelo.

SageMaker O Canvas suporta os seguintes operadores para funções. Você pode usar o formato de texto ou o formato em linha para especificar sua função.

SageMaker O Canvas também suporta operadores agregados, que podem realizar operações como calcular a soma de todos os valores ou encontrar o valor mínimo em uma coluna. Você pode usar operadores agregados em combinação com operadores padrão em suas funções. Por exemplo, para calcular a diferença de valores em relação à média, você pode usar a funçãoAbs(height – avg(height)). SageMaker O Canvas suporta os seguintes operadores agregados.

Gerenciar linhas

Com a transformação Gerenciar linhas, você pode realizar a classificação, a reprodução aleatória e remover linhas de dados do conjunto de dados.

Classificar linhas

Para classificar as linhas em um conjunto de dados por uma determinada coluna, faça o seguinte.

Embaralhar linhas

Para embaralhar aleatoriamente as linhas em um conjunto de dados, faça o seguinte.

Descartar linhas duplicadas

Para remover linhas duplicadas em um conjunto de dados, faça o seguinte.

Remover linhas por valores ausentes

Valores ausentes são uma ocorrência comum em conjuntos de dados de aprendizado de máquina e podem afetar a precisão do modelo. Use essa transformação se quiser eliminar linhas com valores nulos ou vazios em determinadas colunas.

Para remover linhas que contêm valores ausentes em uma coluna especificada, faça o seguinte.

SageMaker O Canvas remove as linhas que contêm valores ausentes na coluna que você selecionou. Depois de remover as linhas do conjunto de dados, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, as linhas retornarão ao seu conjunto de dados.

Remover linhas por valores atípicos

Valores atípicos, ou valores raros na distribuição e no intervalo de seus dados podem afetar negativamente a precisão do modelo e levar a tempos de compilação mais longos. Com o SageMaker Canvas, você pode detectar e remover linhas que contêm valores discrepantes em colunas numéricas. Você pode escolher definir valores atípicos com desvios padrão ou com um intervalo personalizado.

Para remover valores atípicos de seus dados, faça o seguinte.

A opção Desvio padrão detecta e remove as discrepâncias em colunas numéricas usando a média e o desvio padrão. Você especifica o número de desvios padrão em que um valor deve variar da média para ser considerado um valor atípico. Por exemplo, se você especificar 3 para Desvios padrão, um valor deve estar em valor maior que 3 desvios padrão da média para ser considerado um valor atípico.

As opções Intervalo numérico e Intervalo quantil personalizado detectam e removem as discrepâncias em colunas numéricas usando valores mínimos e máximos. Use esse método se você conhece seus valores limite que delimitam valores atípicos. Se você escolher um intervalo numérico, os valores Min e Max devem ser os valores numéricos mínimo e máximo que você deseja permitir nos dados. Se você escolher um intervalo de quantil, os valores Min e Max devem ser o mínimo e o máximo do intervalo de percentis (0–100) que você deseja permitir.

Depois de remover as linhas do conjunto de dados, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, as linhas retornarão ao seu conjunto de dados.

Remover linhas por valores personalizados

Você pode remover linhas com valores que atendam às condições personalizadas. Por exemplo, talvez você queira excluir todas as linhas com um valor de preço maior que 100 ao compilar seu modelo. Com essa transformação, você pode criar uma regra que remove todas as linhas que excedem o limite que você definiu.

Para usar a transformação de remoção personalizada, faça o seguinte:

Para a Operação, escolha uma das opções a seguir. Observe que as operações disponíveis dependem do tipo de dados da coluna que você escolher. Por exemplo, não é possível criar uma operação is greater than para uma coluna contendo valores de texto.

Depois de remover as linhas do conjunto de dados, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, as linhas retornarão ao seu conjunto de dados.

Renomear colunas

Com a transformação renomear colunas, você pode renomear colunas em seus dados. Quando você renomeia uma coluna, o SageMaker Canvas altera o nome da coluna na entrada do modelo.

Você pode renomear uma coluna em seu conjunto de dados clicando duas vezes no nome da coluna na guia Construir do aplicativo SageMaker Canvas e inserindo um novo nome. Pressionar a tecla Enter envia a alteração e clicar em qualquer lugar fora da entrada cancela a alteração. Você também pode renomear uma coluna clicando no ícone Mais opções ( ), localizado no final da linha na visualização em lista ou no final da célula do cabeçalho na visualização em grade e escolhendo Renomear.

O nome da coluna não pode ter mais de 32 caracteres nem ter sublinhados duplos (__) e você não pode renomear uma coluna com o mesmo nome de outra coluna. Você também não pode renomear uma coluna descartada.

A captura de tela a seguir mostra como renomear uma coluna clicando duas vezes no nome da coluna.

Quando você renomeia uma coluna, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, a coluna retornará ao nome original.

Gerenciar colunas

Com as transformações a seguir, você pode alterar o tipo de dados das colunas e substituir valores ausentes ou valores discrepantes por colunas específicas. SageMaker O Canvas usa os tipos ou valores de dados atualizados ao criar seu modelo, mas não altera seu conjunto de dados original. Observe que, se você descartou uma coluna do seu conjunto de dados usando a transformação Destacar coluna, não poderá substituir valores nessa coluna.

Substituir valores ausentes

Valores ausentes são uma ocorrência comum em conjuntos de dados de aprendizado de máquina e podem afetar a precisão do modelo. Você pode optar por descartar linhas com valores ausentes, mas seu modelo será mais preciso se você escolher substituir os valores ausentes. Com essa transformação, você pode substituir valores ausentes nas colunas numéricas pela média ou mediana dos dados em uma coluna, ou também pode especificar um valor personalizado com o qual substituir valores ausentes. Para colunas não numéricas, você pode substituir valores ausentes com o modo (valor mais comum) da coluna ou por um valor personalizado.

Use essa transformação se quiser substituir os valores nulos ou vazios em determinadas colunas. Para substituir valores ausentes em uma coluna especificada, faça o seguinte.

Depois de substituir os valores ausentes no conjunto de dados, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, os valores ausentes retornarão ao conjunto de dados.

Substituir valores atípicos

Valores discrepantes, ou valores raros na distribuição e no alcance de seus dados, podem afetar negativamente a precisão do modelo e levar a tempos de construção mais longos. SageMaker O Canvas permite que você detecte valores discrepantes em colunas numéricas e substitua os valores discrepantes por valores que estejam dentro de um intervalo aceito em seus dados. Você pode optar por definir valores atípicos com desvios padrão ou com um intervalo personalizado e pode substituir os valores atípicos pelos valores mínimo e máximo no intervalo aceito.

Para substituir valores atípicos em seus dados, faça o seguinte.

A opção Desvio padrão detecta valores atípicos em colunas numéricas usando a média e o desvio padrão. Você especifica o número de desvios padrão em que um valor deve variar da média para ser considerado um valor atípico. Por exemplo, se você especificar 3 para desvios padrão, um valor deve cair mais de 3 desvios padrão da média para ser considerado um valor atípico. SageMaker O Canvas substitui os valores atípicos pelo valor mínimo ou máximo no intervalo aceito. Por exemplo, se você configurar os desvios padrão para incluir apenas valores de 200 a 300, o SageMaker Canvas alterará um valor de 198 para 200 (o mínimo).

As opções de Intervalo numérico personalizado e Intervalo quantil personalizado detectam valores atípicos em colunas numéricas usando valores mínimos e máximos. Use esse método se você conhece seus valores limite que delimitam valores atípicos. Se você escolher um intervalo numérico, os valores mínimo e máximo devem ser os valores numéricos mínimo e máximo que você deseja permitir. SageMaker O Canvas substitui quaisquer valores que estejam fora do mínimo e máximo pelos valores mínimo e máximo. Por exemplo, se seu intervalo permitir apenas valores de 1 a 100, o SageMaker Canvas alterará um valor de 102 para 100 (o máximo). Se você escolher um intervalo de quantil, os valores mínimo e máximo devem ser o mínimo e o máximo do intervalo de percentis (0 a 100) que você deseja permitir.

Depois de substituir os valores no conjunto de dados, o SageMaker Canvas adiciona a transformação na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, os valores originais retornarão ao conjunto de dados.

Alterar tipo de dados

SageMaker O Canvas fornece a capacidade de alterar o tipo de dados de suas colunas entre numérico, texto e data e hora, além de exibir o tipo de recurso associado a esse tipo de dados. Um tipo de dados refere-se ao formato dos dados e o modo como eles são armazenados, enquanto o tipo de recurso refere-se à característica dos dados usados em algoritmos de machine learning, como binário ou categórico. Isso dá a você a flexibilidade de alterar manualmente o tipo de dados em suas colunas com base nas funcionalidades. A capacidade de escolher o tipo de dados certo garante a integridade e a precisão dos dados antes da compilação de modelos. Esses tipos de dados são usados na compilação de modelos.

A tabela a seguir lista todos os tipos de dados com suporte no Canvas.

A tabela a seguir lista todos os tipos de recurso com suporte no Canvas.

Para modificar o tipo de dados de uma coluna em um conjunto de dados, faça o seguinte.

O tipo de dados da sua coluna agora deve estar atualizado.

Preparar dados de séries temporais

Use as seguintes funcionalidades para preparar seus dados de séries temporais para criar modelos de previsão de séries temporais.

Reamostragem de dados de séries temporais

Ao reamostrar dados de séries temporais, você pode estabelecer intervalos regulares para as observações em seu conjunto de dados de séries temporais. Isso é particularmente útil ao trabalhar com dados de séries temporais contendo observações com espaçamento irregular. Por exemplo, você pode usar a reamostragem para transformar um conjunto de dados com observações registradas em intervalos de uma hora, duas horas e três horas em um intervalo regular de uma hora entre as observações. Algoritmos de previsão exigem que as observações sejam feitas em intervalos regulares.

Para reamostrar dados de séries temporais, faça o seguinte.

A tabela a seguir lista todos os tipos de frequência que você pode selecionar ao reamostrar dados de séries temporais.

Ao aplicar a transformação de reamostragem, você pode usar a opção Avançada para especificar como os valores resultantes do restante das colunas (exceto a coluna de data e hora) em seu conjunto de dados são modificados. Isso pode ser obtido especificando a metodologia de reamostragem, que pode ser a redução ou o aumento de amostras para colunas numéricas e não numéricas.

A Downsampling (redução de amostras) aumenta o intervalo entre as observações no conjunto de dados. Por exemplo, se você reduzir a resolução de observações feitas a cada hora ou a cada duas horas, cada observação em seu conjunto de dados será feita a cada duas horas. Os valores de outras colunas das observações por hora são agregados em um valor único usando um método de combinação. A tabela a seguir mostra um exemplo de redução da amostragem de dados de séries temporais usando a média como método de combinação. Os dados são reduzidos de duas em duas horas para cada hora.

A tabela a seguir mostra as leituras de temperatura por hora durante um dia antes da redução da amostragem.

A tabela a seguir mostra as leituras de temperatura após a redução da amostragem para cada duas horas.

Para reduzir a resolução dos dados de série temporal, faça o seguinte:

Se você não especificar métodos de combinação, os valores padrão são Most Common para combinação não numérica e Mean para combinação numérica. A tabela a seguir lista os métodos para combinação numérica e não numérica.

O Upsampling (aumento da amostragem) reduz o intervalo entre as observações no conjunto de dados. Por exemplo, se você aumentar as observações de amostragem feitas a cada duas horas em observações de hora em hora, os valores de outras colunas das observações de hora em hora são interpoladas a partir daquelas que foram feitas a cada duas horas.

Para aumentar a amostragem de dados de séries temporais, faça o seguinte.

Se você não especificar métodos de estimativa, os valores padrão são Forward Fill para estimativa não numérica e Linear para estimativa numérica. A tabela a seguir lista os métodos de estimativa.

A captura de tela a seguir mostra as configurações avançadas com os campos para redução e aumento da amostragem preenchidos.

Use a extração datetime

Com a transformação de extração datetime, você pode extrair valores de uma coluna de datetime para uma coluna separada. Por exemplo, se você tiver uma coluna contendo datas de compras, você poderá extrair o valor do mês em uma coluna separada e usar a nova coluna ao compilar seu modelo. Você também pode extrair vários valores para separar colunas com uma única transformação.

Sua coluna datetime deve usar um formato da data e hora com suporte. Para obter uma lista dos formatos que o SageMaker Canvas suporta, consultePrevisões de séries temporais no Amazon Canvas SageMaker . Se seu conjunto de dados não usar um dos formatos compatíveis, atualize-o para usar um formato de carimbo de data/hora compatível e reimporte-o para o SageMaker Amazon Canvas antes de criar seu modelo.

Para realizar uma extração de datetime, faça o seguinte.

SageMaker O Canvas cria uma nova coluna no conjunto de dados para cada um dos valores que você extrai. Exceto para valores de ano, o SageMaker Canvas usa uma codificação baseada em 0 para os valores extraídos. Por exemplo, se você extrair o valor do Mês, Janeiro será extraído como 0 e Fevereiro será extraído como 1.

Você pode ver a transformação listada na seção Receita do modelo. Se você remover a transformação da seção Receita do modelo, as novas colunas serão removidas do conjunto de dados.