Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Préparation des données pour la création de modèles

Votre jeu de données de machine learning peut nécessiter une préparation des données avant de créer votre modèle. Vous pourriez vouloir nettoyer vos données en raison de divers problèmes, notamment des valeurs manquantes ou aberrantes, et effectuer une ingénierie des fonctionnalités pour améliorer la précision de votre modèle. Amazon SageMaker Canvas fournit des transformations de données ML qui vous permettent de nettoyer, de transformer et de préparer vos données pour la création de modèles. Vous pouvez utiliser ces transformations sur vos ensembles de données sans aucun code. SageMaker Canvas ajoute les transformations que vous utilisez à la recette du modèle, qui est un enregistrement de la préparation des données effectuée sur vos données avant de créer le modèle. Les transformations de données que vous utilisez ne modifient que les données d'entrée pour la création du modèle et ne modifient pas votre source de données d’origine.

L'aperçu de votre jeu de données montre les 100 premières lignes du jeu de données. Si votre jeu de données comporte plus de 20 000 lignes, Canvas prend un échantillon aléatoire de 20 000 lignes et affiche un aperçu des 100 premières lignes de cet échantillon. Vous ne pouvez rechercher et spécifier que les valeurs des lignes prévisualisées, et la fonctionnalité de filtrage ne filtre que les lignes prévisualisées et non l'ensemble du jeu de données.

Les transformations suivantes sont disponibles dans SageMaker Canvas pour vous permettre de préparer vos données en vue de leur création.

Supprimer des colonnes

Vous pouvez exclure une colonne de la génération de votre modèle en la déposant dans l'onglet Construire de l'application SageMaker Canvas. Désélectionnez la colonne que vous voulez supprimer et elle ne sera pas incluse dans la création du modèle.

Filtrer les lignes

La fonctionnalité de filtrage permet de filtrer les lignes visualisées (les 100 premières lignes de votre jeu de données) en fonction des conditions que vous spécifiez. Le filtrage des lignes crée un aperçu temporaire des données et n'a pas d'impact sur la création du modèle. Vous pouvez filtrer pour prévisualiser les lignes qui présentent des valeurs manquantes, contiennent des valeurs aberrantes ou répondent à des conditions personnalisées dans une colonne que vous choisissez.

Filtrer les lignes par valeurs manquantes

Les valeurs manquantes sont fréquentes dans les jeux de données de machine learning. Si vous avez des lignes avec des valeurs nulles ou vides dans certaines colonnes, vous pourriez vouloir filtrer et prévisualiser ces lignes.

Pour filtrer les valeurs manquantes de vos données prévisualisées, procédez comme suit.

SageMaker Le canevas filtre les lignes qui contiennent des valeurs manquantes dans la colonne que vous avez sélectionnée et fournit un aperçu des lignes filtrées.

Filtrer les lignes par valeurs aberrantes

Les valeurs aberrantes, ou valeurs rares dans la distribution et la plage de vos données, peuvent avoir un impact négatif sur la précision du modèle et allonger les temps de construction. SageMaker Canvas vous permet de détecter et de filtrer les lignes contenant des valeurs aberrantes dans des colonnes numériques. Vous pouvez choisir de définir les valeurs aberrantes avec des écarts types ou une plage personnalisée.

Pour filtrer les valeurs aberrantes dans vos données, procédez comme suit.

L'option Standard deviation (Écart type) détecte et filtre les valeurs aberrantes dans les colonnes numériques en utilisant la moyenne et l'écart type. Vous spécifiez le nombre d'écarts-types qu'une valeur doit avoir par rapport à la moyenne pour être considérée comme une valeur aberrante. Par exemple, si vous spécifiez 3 pour SD, une valeur doit se situer à plus de trois écarts types de la moyenne pour être considérée comme une aberration.

L'option Custom range (Plage personnalisée) détecte et filtre les valeurs aberrantes dans les colonnes numériques à l'aide des valeurs minimum et maximum. Utilisez cette méthode si vous connaissez vos valeurs seuils qui délimitent les valeurs aberrantes. Vous pouvez définir le Type de la fourchette comme étant un Percentile ou un Number (Nombre). Si vous choisissez Percentile, les valeurs Min et Max doivent correspondre au minimum et au maximum de la plage de percentiles (0-100) que vous souhaitez autoriser. Si vous choisissez Number (Nombre), les valeurs Min et Max doivent correspondre aux valeurs numériques minimales et maximales que vous souhaitez filtrer dans les données.

Filtrer les lignes par des valeurs personnalisées

Vous pouvez filtrer les lignes dont les valeurs répondent à des conditions personnalisées. Par exemple, vous pourriez vouloir prévisualiser les lignes dont la valeur du prix est supérieure à 100 avant de les supprimer. Grâce à cette fonctionnalité, vous pouvez filtrer les lignes qui dépassent le seuil que vous avez défini et prévisualiser les données filtrées.

Pour utiliser la fonctionnalité de filtre personnalisé, procédez comme suit.

Pour Operation (Opération), vous pouvez choisir l'une des options suivantes. Notez que les opérations disponibles dépendent du type de données de la colonne que vous choisissez. Par exemple, vous ne pouvez pas créer une opération is greater than pour une colonne contenant des valeurs de texte.

Après avoir défini l'opération de filtrage, SageMaker Canvas met à jour l'aperçu du jeu de données pour afficher les données filtrées.

Fonctions et opérateurs

Vous pouvez utiliser des fonctions et des opérateurs mathématiques pour explorer et distribuer vos données. Vous pouvez utiliser les fonctions prises en charge par SageMaker Canvas ou créer votre propre formule avec vos données existantes et créer une nouvelle colonne avec le résultat de la formule. Par exemple, vous pouvez ajouter les valeurs correspondantes de deux colonnes et enregistrer le résultat dans une nouvelle colonne.

Vous pouvez imbriquer des instructions pour créer des fonctions plus complexes. Voici quelques exemples de fonctions imbriquées que vous pouvez utiliser.

Vous pouvez spécifier des fonctions lors de la phase de préparation des données avant de créer votre modèle. Pour utiliser une fonction, procédez comme suit.

SageMaker Canvas enregistre le résultat de votre fonction dans une nouvelle colonne en utilisant le nom que vous avez spécifié dans Nouveau nom de colonne. Vous pouvez afficher ou supprimer des fonctions dans le volet Model recipe (Recette du modèle).

SageMaker Canvas prend en charge les opérateurs suivants pour les fonctions. Vous pouvez utiliser le format texte ou en ligne pour spécifier votre fonction.

SageMaker Canvas prend également en charge les opérateurs d'agrégation, qui peuvent effectuer des opérations telles que le calcul de la somme de toutes les valeurs ou la recherche de la valeur minimale dans une colonne. Vous pouvez utiliser des opérateurs d'agrégation en combinaison avec des opérateurs standard dans vos fonctions. Par exemple, pour calculer la différence entre les valeurs et la moyenne, vous pouvez utiliser la fonctionAbs(height – avg(height)). SageMaker Canvas prend en charge les opérateurs d'agrégation suivants.

Gestion des lignes

La transformation Gérer les lignes vous permet d'effectuer un tri ou une réorganisation aléatoire et de supprimer des lignes de données du jeu de données.

Tri des lignes

Pour trier les lignes d'un jeu de données selon une colonne donnée, procédez comme suit.

Réorganisation des lignes

Pour réorganiser de manière aléatoire les lignes d'un jeu de données, procédez comme suit.

Suppression des lignes en double

Pour supprimer les lignes en double d'un jeu de données, procédez comme suit.

Supprimer les lignes par valeurs manquantes

Les valeurs manquantes sont fréquentes dans les jeux de données de machine learning et peuvent avoir un impact sur la précision des modèles. Utilisez cette transformation si vous voulez supprimer les lignes avec des valeurs nulles ou vides dans certaines colonnes.

Pour supprimer les lignes qui contiennent des valeurs manquantes dans une colonne spécifiée, procédez comme suit.

SageMaker Canvas supprime les lignes contenant des valeurs manquantes dans la colonne que vous avez sélectionnée. Après avoir supprimé les lignes du jeu de données, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Model recipe (Recette du modèle), les lignes reviennent dans votre jeu de données.

Suppression des lignes contenant des valeurs aberrantes

Les valeurs aberrantes, ou valeurs rares dans la distribution et la plage de vos données, peuvent avoir un impact négatif sur la précision du modèle et entraîner des temps de création plus longs. Avec SageMaker Canvas, vous pouvez détecter et supprimer les lignes contenant des valeurs aberrantes dans les colonnes numériques. Vous pouvez choisir de définir les valeurs aberrantes avec des écarts types ou une plage personnalisée.

Pour supprimer les valeurs aberrantes de vos données, procédez comme suit.

L'option Standard deviation (Écart type) détecte et supprime les valeurs aberrantes dans les colonnes numériques en utilisant la moyenne et l'écart type. Vous spécifiez le nombre d'écarts-types qu'une valeur doit avoir par rapport à la moyenne pour être considérée comme une valeur aberrante. Par exemple, si vous définissez Écarts-types sur 3, une valeur doit s'écarter de plus de 3 écarts-types de la moyenne pour être considérée comme aberrante.

Les options Plage numérique personnalisée et Plage de quantiles personnalisée détectent et suppriment les valeurs aberrantes dans les colonnes numériques en utilisant les valeurs minimale et maximale. Utilisez cette méthode si vous connaissez vos valeurs seuils qui délimitent les valeurs aberrantes. Si vous choisissez une plage numérique, les valeurs Min et Max doivent correspondre aux valeurs numériques minimales et maximales que vous souhaitez autoriser dans les données. Si vous choisissez une plage de quantiles, les valeurs Min et Max doivent correspondre au minimum et au maximum de la plage de centiles (0 à 100) que vous souhaitez autoriser.

Après avoir supprimé les lignes du jeu de données, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Model recipe (Recette du modèle), les lignes reviennent dans votre jeu de données.

Supprimer des lignes par des valeurs personnalisées

Vous pouvez supprimer les lignes dont les valeurs répondent à des conditions personnalisées. Par exemple, vous pourriez vouloir exclure toutes les lignes dont la valeur du prix est supérieure à 100 lors de la création de votre modèle. Avec cette transformation, vous pouvez créer une règle qui supprime toutes les lignes qui dépassent le seuil que vous avez défini.

Pour utiliser la transformation de suppression personnalisée, procédez comme suit.

Pour Operation (Opération), vous pouvez choisir l'une des options suivantes. Notez que les opérations disponibles dépendent du type de données de la colonne que vous choisissez. Par exemple, vous ne pouvez pas créer une opération is greater than pour une colonne contenant des valeurs de texte.

Après avoir supprimé les lignes du jeu de données, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Model recipe (Recette du modèle), les lignes reviennent dans votre jeu de données.

Changement de nom de colonne

Avec la transformation Rename columns (Renommer les colonnes), vous pouvez renommer les colonnes dans vos données. Lorsque vous renommez une colonne, SageMaker Canvas change le nom de la colonne dans l'entrée du modèle.

Vous pouvez renommer une colonne de votre ensemble de données en double-cliquant sur le nom de la colonne dans l'onglet Créer de l'application SageMaker Canvas et en saisissant un nouveau nom. En appuyant sur la touche Entrée, vous soumettez la modification, et en cliquant n'importe où en dehors de l'entrée, vous annulez la modification. Vous pouvez également renommer une colonne en cliquant sur l'icône More options (Plus d'options) ( ), située à la fin de la ligne en vue liste ou à la fin de la cellule d'en-tête en vue grille, et en choisissant Rename (Renommer).

Le nom de votre colonne ne peut pas dépasser 32 caractères, ni comporter de doubles traits de soulignement (__), et vous ne pouvez pas renommer une colonne avec le même nom qu'une autre colonne. Vous ne pouvez pas non plus renommer une colonne supprimée.

La capture d'écran suivante montre comment renommer une colonne en double-cliquant sur le nom de la colonne.

Lorsque vous renommez une colonne, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Model recipe (Recette du modèle), la colonne reprend son nom d'origine.

Gestion des colonnes

Les transformations suivantes vous permettent de modifier le type de données des colonnes et de remplacer les valeurs manquantes ou les valeurs aberrantes pour des colonnes spécifiques. SageMaker Canvas utilise les types de données ou les valeurs mis à jour lors de la création de votre modèle, mais ne modifie pas votre jeu de données d'origine. Notez que si vous avez supprimé une colonne de votre jeu de données à l'aide de Supprimer des colonnes transformer, vous ne pouvez pas remplacer les valeurs de cette colonne.

Remplacer les valeurs manquantes

Les valeurs manquantes sont fréquentes dans les jeux de données de machine learning et peuvent avoir un impact sur la précision des modèles. Vous pouvez choisir de supprimer les lignes contenant des valeurs manquantes, mais votre modèle est plus précis si vous choisissez de remplacer les valeurs manquantes à la place. Avec cette transformation, vous pouvez remplacer les valeurs manquantes dans les colonnes numériques par la moyenne ou la médiane des données d'une colonne, ou vous pouvez également spécifier une valeur personnalisée pour remplacer les valeurs manquantes. Pour les colonnes non numériques, vous pouvez remplacer les valeurs manquantes par le mode (valeur la plus courante) de la colonne ou par une valeur personnalisée.

Utilisez cette transformation si vous voulez supprimer les lignes avec des valeurs nulles ou vides dans certaines colonnes. Pour supprimer les lignes qui contiennent des valeurs manquantes dans une colonne spécifiée, procédez comme suit.

Après avoir remplacé les valeurs manquantes dans le jeu de données, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Recette du modèle, les lignes reviennent dans votre jeu de données.

Remplacer les valeurs aberrantes

Les valeurs aberrantes, ou valeurs rares dans la distribution et la plage de vos données, peuvent avoir un impact négatif sur la précision du modèle et allonger les temps de construction. SageMaker Canvas vous permet de détecter les valeurs aberrantes dans des colonnes numériques et de les remplacer par des valeurs comprises dans une plage acceptée dans vos données. Vous pouvez choisir de définir les valeurs aberrantes avec des écarts types ou une plage personnalisée, et vous pouvez remplacer les valeurs aberrantes par les valeurs minimales et maximales de la plage acceptée.

Pour supprimer les valeurs aberrantes de vos données, procédez comme suit.

L'option Écart type détecte et supprime les valeurs aberrantes dans les colonnes numériques en utilisant la moyenne et l'écart type. Vous spécifiez le nombre d'écarts-types qu'une valeur doit avoir par rapport à la moyenne pour être considérée comme une valeur aberrante. Par exemple, si vous spécifiez 3 pour les écarts types, une valeur doit être inférieure à plus de 3 écarts types par rapport à la moyenne pour être considérée comme une valeur aberrante. SageMaker Canvas remplace les valeurs aberrantes par la valeur minimale ou maximale comprise dans la plage acceptée. Par exemple, si vous configurez les écarts types pour inclure uniquement les valeurs comprises entre 200 et 300, SageMaker Canvas change une valeur de 198 à 200 (valeur minimale).

Les options Plage numérique personnalisée et Plage de quantiles personnalisée détectent les valeurs aberrantes dans les colonnes numériques en utilisant les valeurs minimale et maximale. Utilisez cette méthode si vous connaissez vos valeurs seuils qui délimitent les valeurs aberrantes. Si vous choisissez une plage numérique, les valeurs minimale et maximale doivent être les valeurs numériques minimale et maximale que vous souhaitez autoriser. SageMaker Canvas remplace toutes les valeurs situées en dehors des valeurs minimale et maximale par les valeurs minimale et maximale. Par exemple, si votre plage n'autorise que des valeurs comprises entre 1 et 100, SageMaker Canvas change une valeur comprise entre 102 et 100 (valeur maximale). Si vous choisissez une plage de quantiles, les valeurs Min et Max doivent correspondre au minimum et au maximum de la plage de centiles (0 à 100) que vous souhaitez autoriser.

Après avoir remplacé les valeurs du jeu de données, SageMaker Canvas ajoute la transformation dans la section Modèle de recette. Si vous supprimez la transformation de la section Recette du modèle, les valeurs reviennent dans votre jeu de données.

Modifier le type de données

SageMaker Canvas vous permet de modifier le type de données de vos colonnes entre numérique, texte et date/heure, tout en affichant le type de fonctionnalité associé à ce type de données. Un type de données fait référence au format des données et à leur mode de stockage, tandis que le type de fonctionnalité fait référence aux caractéristiques des données utilisées dans les algorithmes de machine learning, telles que les données binaires ou catégorielles. Vous pouvez ainsi modifier manuellement le type de données dans vos colonnes en fonction des fonctionnalités. La possibilité de choisir le type de données approprié garantit l'intégrité et la précision des données avant de créer des modèles. Ces types de données sont utilisés lors de la création de modèles.

Le tableau suivant répertorie tous les types de données pris en charge dans Canvas.

Le tableau suivant répertorie tous les types de fonctionnalités pris en charge dans Canvas.

Pour modifier le type de données d'une colonne dans un jeu de données, procédez comme suit.

Le type de données de votre colonne doit maintenant être mis à jour.

Préparation des données de séries temporelles

Utilisez les fonctionnalités suivantes pour préparer vos données de séries temporelles à la création de modèles de prévision de séries temporelles.

Rééchantillonnage des données de séries temporelles

En rééchantillonnant les données de séries temporelles, vous pouvez établir des intervalles réguliers pour les observations dans votre jeu de données de séries temporelles. Ce processus s'avère particulièrement utile lorsque vous travaillez avec des données de séries temporelles contenant des observations espacées de manière irrégulière. Par exemple, vous pouvez utiliser le rééchantillonnage pour transformer un jeu de données contenant des observations enregistrées toutes les heures, toutes les deux heures et toutes les trois heures en un intervalle régulier d'une heure entre les observations. Les algorithmes de prévision exigent que les observations soient effectuées à intervalles réguliers.

Pour rééchantillonner les données de séries temporelles, procédez comme suit.

Le tableau suivant répertorie tous les types de Fréquence que vous pouvez sélectionner lors du rééchantillonnage des données de séries temporelles.

Lorsque vous appliquez la transformation de rééchantillonnage, vous pouvez utiliser l'option Avancé pour spécifier la façon dont les valeurs résultantes des autres colonnes (autres que la colonne d'horodatage) de votre jeu de données sont modifiées. Pour ce faire, vous pouvez spécifier la méthodologie de rééchantillonnage, qui peut être un sous-échantillonnage ou un suréchantillonnage pour les colonnes numériques et non numériques.

Le sous-échantillonnage augmente l'intervalle entre les observations dans le jeu de données. Par exemple, si vous sous-échantillonnez les observations qui sont effectuées toutes les heures ou toutes les deux heures, chaque observation de votre jeu de données est effectuée toutes les deux heures. Les valeurs des autres colonnes d'observations horaires sont agrégées en une seule valeur en utilisant une méthode de combinaison. Les tableaux ci-dessous fournissent un exemple de sous-échantillonnage des données de séries temporelles en utilisant la moyenne comme méthode de combinaison. Les données sont sous-échantillonnées toutes les deux heures à toutes les heures.

Le tableau suivant fournit les relevés de températures horaires plus d'un jour avant le sous-échantillonnage.

Le tableau suivant indique les relevés de température après le sous-échantillonnage toutes les deux heures.

Pour sous-échantillonner les données de séries temporelles, procédez comme suit :

Si vous ne spécifiez aucune méthode de combinaison, les valeurs par défaut sont Most Common pour Combinaison non numérique et Mean pour Combinaison numérique. Le tableau suivant répertorie les méthodes de combinaison numérique et non numérique.

Le suréchantillonnage réduit l'intervalle entre les observations dans le jeu de données. Par exemple, si vous suréchantillonnez les observations effectuées toutes les deux heures en observations horaires, les valeurs des autres colonnes des observations horaires sont interpolées à partir de celles qui ont été effectuées toutes les deux heures.

Pour suréchantillonner les données de séries temporelles, procédez comme suit :

Si vous ne spécifiez aucune méthode d'estimation, les valeurs par défaut sont Forward Fill pour Estimation non numérique et Linear pour Estimation numérique. Le tableau suivant répertorie les méthodes d'estimation.

La capture d'écran suivante illustre les paramètres Avancé avec les champs de sous-échantillonnage et de suréchantillonnage remplis.

Utilisation de l'extraction de la date/heure

Avec la transformation d'extraction datetime, vous pouvez extraire les valeurs d'une colonne datetime vers une colonne séparée. Par exemple, si vous disposez d'une colonne contenant les dates des achats, vous pouvez extraire la valeur du mois dans une colonne distincte et utiliser la nouvelle colonne lors de la création de votre modèle. Vous pouvez également extraire plusieurs valeurs vers des colonnes distinctes avec une seule transformation.

Votre colonne datetime doit utiliser un format d'horodatage pris en charge. Pour obtenir la liste des formats pris en charge par SageMaker Canvas, consultezPrévisions de séries chronologiques dans Amazon SageMaker Canvas. Si votre jeu de données n'utilise aucun des formats pris en charge, mettez-le à jour pour utiliser un format d'horodatage compatible et réimportez-le dans Amazon SageMaker Canvas avant de créer votre modèle.

Pour effectuer une extraction datetime, procédez comme suit.

SageMaker Canvas crée une nouvelle colonne dans le jeu de données pour chacune des valeurs que vous extrayez. À l'exception des valeurs annuelles, SageMaker Canvas utilise un codage basé sur 0 pour les valeurs extraites. Par exemple, si vous extrayez la valeur Month (Mois), janvier est extrait en tant que 0, et février est extrait en tant que 1.

Vous pouvez voir la transformation répertoriée dans la section Model recipe (Recette du modèle). Si vous supprimez la transformation de la section Model recipe (Recette du modèle), les nouvelles colonnes sont supprimées du jeu de données.