Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Stockez les données d'événements à l'aide de l'importation par
Grâce à la fonctionnalité d'importation par lots, vous pouvez télécharger rapidement et facilement de grands ensembles de données d'événements historiques dans Amazon Fraud Detector à l'aide de la console, de l'API ou du SDK AWS. Pour utiliser l'importation par lots, créez un fichier d'entrée au format CSV contenant toutes les données de votre événement, téléchargez le fichier CSV dans le compartiment Amazon S3 et lancez une tâche d'importation. Amazon Fraud Detector valide d'abord les données en fonction du type d'événement, puis importe automatiquement l'ensemble de données dans son intégralité. Une fois les données importées, elles sont prêtes à être utilisées pour entraîner de nouveaux modèles ou pour réentraîner des modèles existants.
Fichiers d'entrée et de sortie
Le fichier CSV d'entrée doit contenir des en-têtes correspondant aux variables définies dans le type d'événement associé, ainsi que quatre variables obligatoires. Pour plus d’informations, consultez Préparation des données d'événements pour le stockage. La taille maximale du fichier de données d'entrée est de 20 gigaoctets (Go), soit environ 50 millions d'événements. Le nombre d'événements varie en fonction de la taille de votre événement. Si la tâche d'importation est réussie, le fichier de sortie est vide. Si l'importation a échoué, le fichier de sortie contient les journaux d'erreurs.
Création d'un fichier CSV
Amazon Fraud Detector importe des données uniquement à partir de fichiers au format CSV (valeurs séparées par des virgules). La première ligne de votre fichier CSV doit contenir des en-têtes de colonne correspondant exactement aux variables définies dans le type d'événement associé, ainsi que quatre variables obligatoires : EVENT_ID, EVENT_TIMESTAMP, ENTITY_ID et ENTITY_TYPE. Vous pouvez également éventuellement inclure EVENT_LABEL et LABEL_TIMESTAMP (LABEL_TIMESTAMP est requis si EVENT_LABEL est inclus).
Définir les variables obligatoires
Les variables obligatoires sont considérées comme des métadonnées d'événements et doivent être spécifiées en majuscules. Les métadonnées des événements sont automatiquement incluses pour l'entraînement des modèles. Le tableau suivant répertorie les variables obligatoires, la description de chaque variable et le format requis pour la variable.
Name (Nom) | Description | Prérequis |
---|---|---|
IDENTIFIANT_ÉVÉNEMENT |
Identifiant de l'événement. Par exemple, si votre événement est une transaction en ligne, l'EVENT_ID peut être le numéro de référence de transaction fourni à votre client. |
|
HORODATAGE DE L'ÉVÉNEMENT |
Horodatage du moment où l'événement s'est produit. L'horodatage doit être conforme à la norme ISO 8601 en UTC. |
|
IDENTIFIANT_ENTITÉ |
Identifiant de l'entité qui réalise l'événement. |
|
TYPE_ENTITÉ |
L'entité qui réalise l'événement, telle qu'un commerçant ou un client |
ENTITY_TYPE est requis pour les tâches d'importation par lots |
ÉTIQUETTE D'ÉVÉNEMENT |
Classifie l'événement comme ou |
EVENT_LABEL est obligatoire si LABEL_TIMESTAMP est inclus |
LABEL_TIMESTAMP |
L'horodatage auquel le libellé de l'événement a été renseigné ou mis à jour pour la dernière fois |
|
Importer un fichier CSV sur Amazon S3 pour une importation par lots
Après avoir créé un fichier CSV contenant vos données, chargez-le dans votre compartiment Amazon Simple Storage Service (Amazon S3).
Pour télécharger les données d'événements dans un compartiment Amazon S3
Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/
. -
Choisissez Créer un compartiment.
L'Assistant Create bucket (Créer un compartiment) s'ouvre.
-
Dans Bucket name (Nom du compartiment), saisissez un nom compatible DNS pour votre compartiment.
Le nom du compartiment doit présenter les caractéristiques suivantes :
-
Il doit être unique sur l'ensemble d'Amazon S3.
-
Il doit comporter entre 3 et 63 caractères.
-
Ne contient pas de majuscules.
-
Il doit commencer par une minuscule ou un chiffre.
Une fois le compartiment créé, vous ne pouvez pas changer son nom. Pour plus d'informations sur la dénomination des compartiments, consultez les règles de dénomination des compartiments dans le guide de l'utilisateur d'Amazon Simple Storage Service.
Important
Évitez d’inclure des informations sensibles, notamment des numéros de compte, dans le nom du compartiment. Le nom du bucket est visible URLs là où pointent les objets du bucket.
-
-
Dans Région, choisissez la AWS région dans laquelle vous souhaitez que le bucket réside. Vous devez sélectionner la région dans laquelle vous utilisez Amazon Fraud Detector, à savoir USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Europe (Irlande), Asie-Pacifique (Singapour) ou Asie-Pacifique (Sydney).
-
Dans Paramètres de compartiment pour Bloquer l'accès public, choisissez les paramètres de blocage de l'accès public que vous souhaitez appliquer au compartiment.
Nous vous recommandons de laisser tous les paramètres activés. Pour plus d'informations sur le blocage de l'accès public, consultez la section Blocage de l'accès public à votre espace de stockage Amazon S3 dans le guide de l'utilisateur d'Amazon Simple Storage Service.
-
Choisissez Créer un compartiment.
Téléchargez le fichier de données d'entraînement dans votre compartiment Amazon S3. Notez le chemin d'emplacement Amazon S3 de votre fichier de formation (par exemple, s3://bucketname/object.csv).
Importation par lots de données d'événements dans la console Amazon Fraud Detector
Vous pouvez facilement importer un grand nombre de vos ensembles de données d'événements dans la console Amazon Fraud Detector, à l'aide de l'CreateBatchImportJob
API ou du SDK AWS. Avant de continuer, assurez-vous d'avoir suivi les instructions pour préparer votre ensemble de données sous forme de fichier CSV. Assurez-vous que vous avez également chargé le fichier CSV dans un compartiment Amazon S3.
Utilisation de la console Amazon Fraud Detector
Pour importer par lots des données d'événements dans la console
-
Ouvrez la console AWS, connectez-vous à votre compte, puis accédez à Amazon Fraud Detector.
-
Dans le volet de navigation de gauche, sélectionnez Events.
-
Choisissez votre type d'événement.
-
Sélectionnez l'onglet Événements enregistrés.
-
Dans le volet Détails des événements stockés, assurez-vous que l'ingestion des événements est activée.
-
Dans le volet Importer les données des événements, sélectionnez Nouvelle importation.
-
Sur la page d'importation des nouveaux événements, fournissez les informations suivantes :
-
[Recommandé] Laissez le paramètre Activer la validation intelligente des données pour cet ensemble de données - nouveau défini sur le paramètre par défaut.
-
Pour le rôle IAM pour les données, sélectionnez le rôle IAM que vous avez créé pour le compartiment Amazon S3 qui contient le fichier CSV que vous prévoyez d'importer.
-
Pour Emplacement des données d'entrée, entrez l'emplacement S3 où se trouve votre fichier CSV.
-
Si vous souhaitez spécifier un emplacement distinct pour stocker les résultats de vos importations, cliquez sur le bouton Emplacement séparé des données pour les entrées et les résultats et indiquez un emplacement de compartiment Amazon S3 valide.
Important
Assurez-vous que le rôle IAM que vous avez sélectionné possède des autorisations de lecture sur votre compartiment Amazon S3 d'entrée et des autorisations d'écriture sur votre compartiment Amazon S3 de sortie.
-
-
Sélectionnez Démarrer.
-
La colonne État du volet de données des événements d'importation affiche le statut de votre tâche de validation et d'importation. La bannière en haut fournit une description de haut niveau de l'état de votre jeu de données lorsque celui-ci passe d'abord par la validation, puis par l'importation.
-
Suivez les instructions fournies àSurveiller la progression du travail de validation et d'importation de l'ensemble de données.
Surveiller la progression du travail de validation et d'importation de l'ensemble de données
Si vous utilisez la console Amazon Fraud Detector pour effectuer une tâche d'importation par lots, Amazon Fraud Detector valide par défaut votre ensemble de données avant l'importation. Vous pouvez suivre la progression et le statut des tâches de validation et d'importation sur la page d'importation des nouveaux événements de la console Amazon Fraud Detector. Une bannière en haut de la page fournit une brève description des résultats de validation et de l'état de la tâche d'importation. En fonction des résultats de validation et de l'état de votre tâche d'importation, vous devrez peut-être prendre des mesures pour garantir la réussite de la validation et de l'importation de votre ensemble de données.
Le tableau suivant fournit des informations détaillées sur les actions que vous devez effectuer en fonction du résultat des opérations de validation et d'importation.
Message de bannière | Statut | Ce que cela signifie | Que dois-je faire |
---|---|---|---|
La validation des données a commencé | Validation en cours | SDV a commencé à valider votre ensemble de données | Attendez que le statut change |
La validation des données ne peut pas être effectuée en raison d'erreurs dans votre ensemble de données. Corrigez les erreurs dans votre fichier de données et lancez une nouvelle tâche d'importation. Consultez le rapport de validation pour plus d'informations | Échec de la validation | SDV a identifié des problèmes dans votre fichier de données. Ces problèmes doivent être résolus pour que l'importation de votre ensemble de données soit réussie. | Dans le volet Importer les données des événements, sélectionnez le Job Id et consultez le rapport de validation. Suivez les recommandations du rapport pour corriger toutes les erreurs répertoriées. Pour de plus amples informations, veuillez consulter Utilisation du rapport de validation. |
L'importation des données a commencé. Validation terminée avec succès | Importation en cours | Votre ensemble de données a réussi la validation. L'AFD a commencé à importer votre jeu de données | Attendez que le statut change |
Validation terminée avec des avertissements. L'importation des données a commencé | Importation en cours | Certaines données de votre ensemble de données n'ont pas été validées. Cependant, les données validées répondent aux exigences de taille minimale pour l'importation. | Surveillez le message affiché dans la bannière et attendez que le statut change |
Vos données ont été partiellement importées. Certaines données n'ont pas été validées et n'ont pas été importées. Consultez le rapport de validation pour plus d'informations. | Importé. L'état affiche une icône d'avertissement. | Certaines données de votre fichier de données dont la validation a échoué n'ont pas été importées. Le reste des données validées a été importé. | Dans le volet Importer les données des événements, sélectionnez le Job Id et consultez le rapport de validation. Suivez les recommandations du tableau des avertissements relatifs au niveau des données pour traiter les avertissements répertoriés. Il n'est pas nécessaire de répondre à tous les avertissements. Assurez-vous toutefois que votre ensemble de données contient plus de 50 % de données validées pour une importation réussie. Après avoir répondu aux avertissements, lancez une nouvelle tâche d'importation. Pour de plus amples informations, veuillez consulter Utilisation du rapport de validation. |
L'importation des données a échoué en raison d'une erreur de traitement. Démarrer une nouvelle tâche d'importation de données | Échec de l'importation | L'importation a échoué en raison d'une erreur d'exécution transitoire | Démarrer une nouvelle tâche d'importation |
Les données ont été importées avec succès | Importé | La validation et l'importation se sont terminées avec succès | Sélectionnez le numéro de tâche de votre tâche d'importation pour afficher les détails, puis poursuivez la formation du modèle |
Note
Nous vous recommandons d'attendre 10 minutes après l'importation réussie du jeu de données dans Amazon Fraud Detector pour vous assurer qu'il est entièrement ingéré par le système.
Rapport de validation des données intelligentes
La validation intelligente des données crée un rapport de validation une fois la validation terminée. Le rapport de validation fournit des détails sur tous les problèmes que le SDV a identifiés dans votre ensemble de données, avec des suggestions d'actions pour résoudre les problèmes les plus importants. Vous pouvez utiliser le rapport de validation pour déterminer quels sont les problèmes, où ils se situent dans le jeu de données, leur gravité et comment les résoudre. Le rapport de validation est créé même lorsque la validation est terminée avec succès. Dans ce cas, vous pouvez consulter le rapport pour voir si des problèmes sont répertoriés et, le cas échéant, décider si vous souhaitez les résoudre.
Note
La version actuelle de SDV analyse votre ensemble de données pour détecter les problèmes susceptibles d'entraîner l'échec de l'importation par lots. Si la validation et l'importation par lots aboutissent, votre jeu de données peut toujours présenter des problèmes susceptibles d'entraîner l'échec de l'apprentissage du modèle. Nous vous recommandons de consulter votre rapport de validation même si la validation et l'importation sont réussies, et de résoudre les problèmes répertoriés dans le rapport pour une formation des modèles réussie. Une fois les problèmes résolus, créez une nouvelle tâche d'importation par lots.
Accès au rapport de validation
Vous pouvez accéder au rapport de validation à tout moment une fois la validation terminée en utilisant l'une des options suivantes :
-
Une fois la validation terminée et pendant que le travail d'importation est en cours, dans le bandeau supérieur, choisissez Afficher le rapport de validation.
-
Une fois la tâche d'importation terminée, dans le volet de données des événements d'importation, choisissez l'ID de la tâche d'importation qui vient de se terminer.
Utilisation du rapport de validation
La page du rapport de validation de votre tâche d'importation fournit les détails de cette tâche d'importation, une liste des erreurs critiques le cas échéant, une liste d'avertissements concernant des événements spécifiques (lignes) dans votre ensemble de données s'ils sont détectés, et un bref résumé de votre ensemble de données qui inclut des informations telles que les valeurs non valides et les valeurs manquantes pour chaque variable.
-
Importer les détails de la tâche
Fournit les détails de la tâche d'importation. Si votre tâche d'importation a échoué ou si votre jeu de données a été partiellement importé, choisissez Accéder au fichier de résultats pour consulter les journaux d'erreurs des événements ayant échoué.
-
Erreurs critiques
Fournit des détails sur les problèmes les plus importants de votre ensemble de données identifiés par SDV. Tous les problèmes répertoriés dans ce volet sont critiques et vous devez les résoudre avant de procéder à l'importation. Si vous essayez d'importer votre jeu de données sans résoudre les problèmes critiques, votre tâche d'importation risque d'échouer.
Pour résoudre les problèmes critiques, suivez les recommandations fournies pour chaque avertissement. Après avoir résolu tous les problèmes répertoriés dans le volet Erreurs critiques, créez une nouvelle tâche d'importation par lots.
-
Avertissements relatifs au niveau des données
Fournit un résumé des avertissements relatifs à des événements spécifiques (lignes) dans votre ensemble de données. Si le volet Avertissements relatifs au niveau des données est renseigné, certains événements de votre ensemble de données n'ont pas été validés et n'ont pas été importés.
Pour chaque avertissement, la colonne Description indique le nombre d'événements à l'origine du problème. Et l'événement Sample IDs fournit une liste partielle d'exemples d'événements que IDs vous pouvez utiliser comme point de départ pour localiser les autres événements présentant le problème. Utilisez la recommandation fournie pour l'avertissement pour résoudre le problème. Utilisez également les journaux d'erreurs de votre fichier de sortie pour obtenir des informations supplémentaires sur le problème. Les journaux d'erreurs sont générés pour tous les événements ayant échoué lors de l'importation par lots. Pour accéder aux journaux d'erreurs, dans le volet des détails de la tâche d'importation, sélectionnez Accéder au fichier de résultats.
Note
Si plus de 50 % des événements (lignes) de votre ensemble de données n'ont pas été validés, la tâche d'importation échoue également. Dans ce cas, vous devez corriger les données avant de commencer une nouvelle tâche d'importation.
-
Résumé du jeu de données
Fournit un résumé du rapport de validation de votre ensemble de données. Si la colonne Nombre d'avertissements affiche plus de 0 avertissements, décidez si vous devez corriger ces avertissements. Si la colonne Nombre d'avertissements indique 0, continuez à entraîner votre modèle.
Importation par lots de données d'événements à l'aide du kit SDK AWS pour Python (Boto3)
L'exemple suivant montre un exemple de demande d'CreateBatchImportJobAPI. Une tâche d'importation par lots doit inclure un JobID, un InputPath, un OutputPath et. eventTypeNameiamRoleArn Le JobID ne peut pas contenir le même identifiant qu'une tâche précédente, sauf si la tâche existe dans l'état CREATE_FAILED. Les chemins InputPath et OutputPath doivent être des chemins S3 valides. Vous pouvez choisir de ne pas spécifier le nom du fichier dans OutputPath, mais vous devrez tout de même fournir un emplacement de compartiment S3 valide. La eventTypeName terre iamRoleArn doit exister. Le rôle IAM doit accorder des autorisations de lecture pour entrer le compartiment Amazon S3 et des autorisations d'écriture pour le sortir du compartiment Amazon S3.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.create_batch_import_job ( jobId = 'sample_batch_import', inputPath = 's3://bucket_name/input_file_name.csv', outputPath = 's3://bucket_name/', eventTypeName = 'sample_registration', iamRoleArn: 'arn:aws:iam::************:role/service-role/AmazonFraudDetector-DataAccessRole-*************' )
Annuler la tâche d'importation par lots
Vous pouvez annuler une tâche d'importation par lots en cours à tout moment dans la console Amazon Fraud Detector, à l'aide de l'CancelBatchImportJob
API ou du SDK AWS.
Pour annuler une tâche d'importation par lots dans la console,
-
Ouvrez la console AWS, connectez-vous à votre compte, puis accédez à Amazon Fraud Detector.
-
Dans le volet de navigation de gauche, sélectionnez Events.
-
Choisissez votre type d'événement.
-
Sélectionnez l'onglet Événements enregistrés.
-
Dans le volet Importer les données des événements, choisissez l'ID de tâche d'une tâche d'importation en cours que vous souhaitez annuler.
-
Sur la page de tâche événementielle, cliquez sur Actions et sélectionnez Annuler l'importation des événements.
-
Choisissez Arrêter l'importation des événements pour annuler la tâche d'importation par lots.
Annulation d'une tâche d'importation par lots à l'aide du kit SDK AWS pour Python (Boto3)
L'exemple suivant montre un exemple de demande pour l'CancelBatchImportJob
API. La tâche d'annulation d'importation doit inclure l'ID de tâche d'une tâche d'importation par lots en cours.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.cancel_batch_import_job ( jobId = 'sample_batch' )