Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Speichern von Eventdaten per Batch-Import
Mit der Batch-Importfunktion können Sie mithilfe der Konsole, der API oder des AWS-SDK schnell und einfach große historische Ereignisdatensätze in Amazon Fraud Detector hochladen. Um den Batch-Import zu verwenden, erstellen Sie eine Eingabedatei im CSV-Format, die all Ihre Eventdaten enthält, laden Sie die CSV-Datei in den Amazon S3 S3-Bucket hoch und starten Sie einen Importjob. Amazon Fraud Detector validiert die Daten zunächst anhand des Ereignistyps und importiert dann automatisch den gesamten Datensatz. Nachdem die Daten importiert wurden, können sie für das Training neuer Modelle oder für das erneute Training vorhandener Modelle verwendet werden.
Eingabe- und Ausgabedateien
Die CSV-Eingabedatei muss Header enthalten, die den im zugehörigen Ereignistyp definierten Variablen entsprechen, sowie vier obligatorische Variablen. Weitere Informationen finden Sie unter Bereiten Sie die Ereignisdaten für die Speicherung vor. Die maximale Größe der Eingabedatendatei beträgt 20 Gigabyte (GB) oder etwa 50 Millionen Ereignisse. Die Anzahl der Veranstaltungen hängt von Ihrer Veranstaltungsgröße ab. Wenn der Importjob erfolgreich war, ist die Ausgabedatei leer. Wenn der Import nicht erfolgreich war, enthält die Ausgabedatei die Fehlerprotokolle.
Erstellen einer CSV-Datei
Amazon Fraud Detector importiert nur Daten aus Dateien im komma-separierten Werte- (CSV) -Format vorliegen. Die erste Zeile Ihrer CSV-Datei muss Spaltenüberschriften enthalten, die exakt den im zugehörigen Ereignistyp definierten Variablen entsprechen, sowie vier obligatorische Variablen: EVENT_ID, EVENT_TIMESTAMP, ENTITY_ID und ENTITY_TYPE. Sie können optional auch EVENT_LABEL und LABEL_TIMESTAMP angeben (LABEL_TIMESTAMP ist erforderlich, wenn EVENT_LABEL enthalten ist).
Definieren Sie obligatorische Variablen
Obligatorische Variablen werden als Ereignismetadaten betrachtet und müssen in Großbuchstaben angegeben werden. Ereignismetadaten werden automatisch für das Modelltraining hinzugefügt. In der folgenden Tabelle sind die obligatorischen Variablen, die Beschreibung der einzelnen Variablen und das erforderliche Format für die Variable aufgeführt.
Name | Beschreibung | Voraussetzungen |
---|---|---|
EVENT_ID |
Eine Kennung für das Ereignis. Wenn es sich bei Ihrer Veranstaltung beispielsweise um eine Online-Transaktion handelt, kann die EVENT_ID die Transaktionsreferenznummer sein, die Ihrem Kunden zur Verfügung gestellt wurde. |
|
ZEITSTEMPEL DES EREIGNISSES |
Der Zeitstempel, zu dem das Ereignis aufgetreten ist. Der Zeitstempel muss im ISO-8601-Standard in UTC angegeben werden. |
|
ENTITY_ID |
Eine Kennung für die Entität, das das Ereignis ausführt. |
|
ENTITÄTSTYP |
Die Entität, die die Veranstaltung durchführt, z. B. ein Händler oder ein Kunde |
ENTITY_TYPE ist für Batch-Importaufträge erforderlich |
BEZEICHNUNG DES EREIGNISSES |
Klassifiziert das Ereignis als |
EVENT_LABEL ist erforderlich, wenn LABEL_TIMESTAMP enthalten ist |
LABEL_TIMESTAMP |
Der Zeitstempel, zu dem das Event-Label zuletzt gefüllt oder aktualisiert wurde |
|
Hochladen der CSV-Datei in Amazon S3 hoch, um den Batch-Import hoch
Laden Sie die Datei hoch, nachdem Sie eine CSV-Datei mit Ihren Daten erstellt haben, laden Sie die Datei in Ihren Amazon-S3-Bucket hoch, nachdem Sie eine CSV-Datei mit Ihren Daten erstellt haben.
Hochladen von Ereignisdaten in einen Amazon S3 Bucket hochgeladen
Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon S3-Konsole unter https://console.aws.amazon.com/s3/
. -
Wählen Sie Create Bucket (Bucket erstellen) aus.
Der Assistent Create Bucket (Bucket erstellen) wird geöffnet.
-
Geben Sie unter Bucket name (Bucket-Name) einen DNS-kompatiblen Namen für Ihren Bucket ein.
Der Bucket-Name muss ...:
-
überall in Amazon S3 eindeutig sein.
-
zwischen 3 und 63 Zeichen lang sein,
-
Enthält keine Großbuchstaben.
-
mit einem Kleinbuchstaben oder einer Zahl beginnen.
Der Name eines einmal erstellter Buckets kann nicht nachträglich geändert werden. Weitere Informationen zum Benennen von Buckets finden Sie unter Bucket-Benennungsregeln im Benutzerhandbuch zu Amazon Simple Storage Service.
Wichtig
Vermeiden Sie, vertrauliche Informationen, wie Kontonummern, in den Bucket-Namen einzubeziehen. Der Bucket-Name wird in der URL angezeigt, die auf die Objekte im Bucket verweist.
-
-
Unter Region wählen Sie die AWS-Region aus, in der sich der Bucket befinden soll. Sie müssen dieselbe Region, Asien-Pazifik (Singapur) oder Asien-Pazifik (Sydney), USA Ost (Ohio), USA West (Oregon), USA West (Oregon), USA West (Oregon), Europa (Irland), Asien-Pazifik (Singapur) oder Asien-Pazifik (Sydney).
-
Wählen Sie unter Bucket settings for Block Public Access (Bucket-Einstellungen für den öffentlichen Zugriff) die Einstellungen für den öffentlichen Zugriff aus, die Sie auf den Bucket anwenden möchten.
Sie sollten alle Einstellungen aktiviert lassen. Weitere Informationen zum Verwenden des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen des öffentlichen öffentlichen des öffentlichen
-
Wählen Sie Create Bucket (Bucket erstellen) aus.
Laden Sie die Trainingsdatendatei in Ihren Amazon S3 Bucket hoch. Notieren Sie sich den Amazon S3 S3-Speicherpfad für Ihre Trainingsdatei (z. B. s3://bucketname/object.csv).
Batch-Import von Ereignisdaten in die Amazon Fraud Detector Detector-Konsole
Sie können ganz einfach eine große Anzahl Ihrer Event-Datensätze in die Amazon Fraud Detector Detector-Konsole importieren, indem Sie dieCreateBatchImportJob
API oder das AWS SDK verwenden. Bevor Sie fortfahren, stellen Sie sicher, dass Sie die Anweisungen zur Vorbereitung Ihres Datensatzes als CSV-Datei befolgt haben. Stellen Sie sicher, dass Sie die CSV-Datei auch in einen Amazon S3 Bucket hochgeladen haben.
Verwenden der Amazon Fraud Detector Detector-Konsole
So importieren Sie Ereignisdaten stapelweise in die Konsole
-
Öffnen Sie die AWS-Konsole, melden Sie sich bei Ihrem Konto an und navigieren Sie zu Amazon Fraud Detector.
-
Wählen Sie im linken Navigationsbereich Ereignisse die Option Ereignisse aus.
-
Wählen Sie Ihren Ereignistyp aus.
-
Wählen Sie den Tab Gespeicherte Ereignisse aus.
-
Vergewissern Sie sich im Detailbereich Gespeicherte Ereignisse, dass die Ereigniserfassung aktiviert ist.
-
Wählen Sie im Bereich Ereignisdaten importieren die Option Neuer Import aus.
-
Geben Sie auf der Importseite für neue Ereignisse die folgenden Informationen an:
-
[Empfohlen] Belassen Sie die neue Einstellung Enable Smart Data Validation für diesen Datensatz auf die Standardeinstellung.
-
Wählen Sie als IAM-Rolle für Daten die IAM-Rolle aus, die Sie für den Amazon S3 S3-Bucket erstellt haben, der die CSV-Datei enthält, die Sie importieren möchten.
-
Geben Sie unter Speicherort für Eingabedaten den S3-Speicherort ein, an dem Sie Ihre CSV-Datei haben.
-
Wenn Sie einen separaten Speicherort für Ihre Importergebnisse angeben möchten, klicken Sie auf Separater Datenspeicherort für Eingaben und Ergebnisse und geben Sie einen gültigen Amazon S3 S3-Bucket-Standort an.
Wichtig
Stellen Sie sicher, dass die von Ihnen ausgewählte IAM-Rolle über Leseberechtigungen für Ihren Amazon S3 S3-Eingabe-Bucket und Schreibrechte für Ihren Amazon S3 S3-Ausgabe-Bucket verfügt.
-
-
Wählen Sie Starten.
-
In der Spalte Status im Datenbereich „Ereignisse importieren“ wird der Status Ihres Validierungs- und Importauftrags angezeigt. Das Banner oben bietet eine allgemeine Beschreibung des Status, während Ihr Datensatz zuerst validiert und dann importiert wird.
-
Folgen Sie den Anweisungen unterÜberwachen des Fortschritts der Datensatvalidierung und des Auftrags.
Überwachen des Fortschritts der Datensatvalidierung und des Auftrags
Wenn Sie die Amazon Fraud Detector-Konsole verwenden, um einen Batch-Importauftrag auszuführen, validiert Amazon Fraud Detector Ihren Datensatz standardmäßig vor dem Import. Sie können den Fortschritt und den Status von Validierungs- und Importaufträgen auf der Seite „Neue Ereignisse importieren“ der Amazon Fraud Detector Detector-Konsole überwachen. Ein Banner oben auf der Seite enthält eine kurze Beschreibung der Validierungsergebnisse und den Status des Auftrags. Abhängig von den Validierungsergebnissen und dem Status Ihres Importauftrags müssen Sie möglicherweise Maßnahmen ergreifen, um eine erfolgreiche Validierung und einen erfolgreichen Import Ihres Datensatzes sicherzustellen.
Die folgende Tabelle enthält Einzelheiten zu den Aktionen, die Sie je nach Ergebnis der Validierungs- und Importvorgänge ergreifen müssen.
Banner-Nachricht | Status | Bedeutung | Was soll ich tun |
---|---|---|---|
Die Datenvalidierung hat begonnen | Validierung in Arbeit | SDV hat mit der Validierung Ihres Datensatzes begonnen | Warten Sie, bis sich der Status ändert |
Die Datenüberprüfung kann aufgrund von Fehlern in Ihrem Datensatz nicht fortgesetzt werden. Korrigieren Sie Fehler in Ihrer Datendatei und starten Sie einen neuen Importjob. Weitere Informationen finden Sie im Validierungsbericht | Validierung ist fehlgeschlagen | SDV hat Probleme in Ihrer Datendatei identifiziert. Diese Probleme müssen für einen erfolgreichen Import Ihres Datensatzes behoben werden. | Wählen Sie im Bereich Ereignisdaten importieren die Job-ID aus und sehen Sie sich den Validierungsbericht an. Folgen Sie den Empfehlungen im Bericht, um alle aufgelisteten Fehler zu beheben. Weitere Informationen finden Sie unter Verwendung des Validierungsberichts. |
Der Datenimport wurde gestartet. Erfolgreich abgeschlossene Validierung | Import in Arbeit | Ihr Datensatz hat die Validierung bestanden. AFD hat mit dem Import Ihres Datensatzes begonnen | Warten Sie, bis sich der Status ändert |
Die Validierung wurde mit Warnungen abgeschlossen. Der Datenimport hat begonnen | Import in Arbeit | Bei einigen Daten in Ihrem Datensatz ist die Überprüfung fehlgeschlagen. Die Daten, die die Validierung bestanden haben, erfüllen jedoch die Mindestanforderungen an die Datengröße für den Import. | Überwachen Sie die Nachricht im Banner und warten Sie, bis sich der Status ändert |
Ihre Daten wurden teilweise importiert. Einige der Daten konnten nicht überprüft werden und wurden nicht importiert. Weitere Informationen finden Sie im Validierungsbericht. | Importiert. Der Status zeigt ein Warnsymbol. | Einige der Daten in Ihrer Datendatei, deren Überprüfung fehlgeschlagen ist, wurden nicht importiert. Der Rest der Daten, die die Validierung bestanden haben, wurde importiert. | Wählen Sie im Bereich Ereignisdaten importieren die Job-ID aus und sehen Sie sich den Validierungsbericht an. Folgen Sie den Empfehlungen in der Tabelle mit Warnungen auf Datenebene, um die aufgelisteten Warnungen zu beheben. Sie müssen nicht auf alle Warnungen eingehen. Stellen Sie jedoch sicher, dass Ihr Datensatz mehr als 50% der Daten enthält, die die Validierung für einen erfolgreichen Import bestehen. Nachdem Sie die Warnungen behoben haben, starten Sie einen neuen Importjob. Weitere Informationen finden Sie unter Verwendung des Validierungsberichts. |
Der Datenimport ist aufgrund eines Verarbeitungsfehlers fehlgeschlagen. Starten Sie einen neuen Datenimportjob | Der Import ist fehlgeschlagen | Der Import ist aufgrund eines vorübergehenden Laufzeitfehlers fehlgeschlagen | Starte einen neuen Importjob |
Daten wurden erfolgreich importiert | Importiert | Sowohl die Validierung als auch der Import wurden erfolgreich abgeschlossen | Wählen Sie die Job-ID Ihres Importauftrags aus, um Details anzuzeigen, und fahren Sie dann mit dem Modelltraining fort |
Anmerkung
Wir empfehlen, nach dem erfolgreichen Import des Datensatzes in Amazon Fraud Detector 10 Minuten zu warten, um sicherzustellen, dass er vollständig vom System erfasst wurde.
Bericht zur intelligenten Datenvalidierung
Die Smart Data Validation erstellt nach Abschluss der Validierung einen Validierungsbericht. Der Validierungsbericht enthält Einzelheiten zu allen Problemen, die das SDV in Ihrem Datensatz identifiziert hat, sowie Handlungsempfehlungen zur Behebung der wichtigsten Probleme. Mithilfe des Validierungsberichts können Sie ermitteln, um welche Probleme es sich handelt, wo sich die Probleme im Datensatz befinden, wie schwerwiegend die Probleme sind und wie sie behoben werden können. Der Validierungsbericht wird auch dann erstellt, wenn die Validierung erfolgreich abgeschlossen wurde. In diesem Fall können Sie sich den Bericht ansehen, um zu sehen, ob Probleme aufgeführt sind, und falls ja, entscheiden, ob Sie eines dieser Probleme beheben möchten.
Anmerkung
Die aktuelle Version von SDV scannt Ihren Datensatz auf Probleme, die dazu führen könnten, dass der Batch-Import fehlschlägt. Wenn die Validierung und der Batch-Import erfolgreich sind, kann Ihr Datensatz immer noch Probleme aufweisen, die dazu führen können, dass das Modelltraining fehlschlägt. Wir empfehlen Ihnen, Ihren Validierungsbericht auch dann anzusehen, wenn die Validierung und der Import erfolgreich waren, und alle im Bericht aufgeführten Probleme für ein erfolgreiches Modelltraining zu beheben. Nachdem Sie die Probleme behoben haben, erstellen Sie einen neuen Batch-Importjob.
Zugriff auf den Validierungsbericht
Sie können nach Abschluss der Validierung jederzeit auf den Validierungsbericht zugreifen, indem Sie eine der folgenden Optionen verwenden:
-
Wählen Sie nach Abschluss der Validierung und während der Importaufgabe im oberen Banner die Option Validierungsbericht anzeigen aus.
-
Wählen Sie nach Abschluss des Importauftrags im Bereich Ereignisdaten importieren die Job-ID des gerade abgeschlossenen Importauftrags aus.
Verwendung des Validierungsberichts
Die Seite mit dem Validierungsbericht Ihres Importauftrags enthält die Details dieses Importauftrags, eine Liste kritischer Fehler, falls welche gefunden wurden, eine Liste mit Warnungen zu bestimmten Ereignissen (Zeilen) in Ihrem Datensatz, falls gefunden, und eine kurze Zusammenfassung Ihres Datensatzes, die Informationen wie ungültige Werte und fehlende Werte für jede Variable enthält.
-
Jobdetails importieren
Stellt die Details des Auftrags bereit. Wenn Ihr Importauftrag fehlgeschlagen ist oder Ihr Datensatz teilweise importiert wurde, wählen Sie Gehe zur Ergebnisdatei, um die Fehlerprotokolle der Ereignisse anzuzeigen, die nicht importiert werden konnten.
-
Kritische Fehler
Enthält Einzelheiten zu den wichtigsten Problemen in Ihrem Datensatz, die von SDV identifiziert wurden. Alle in diesem Bereich aufgeführten Probleme sind kritisch und müssen behoben werden, bevor Sie mit dem Import fortfahren. Wenn Sie versuchen, Ihren Datensatz zu importieren, ohne die kritischen Probleme zu beheben, schlägt Ihr Importjob möglicherweise fehl.
Um die kritischen Probleme zu lösen, folgen Sie den Empfehlungen für jede Warnung. Nachdem Sie alle im Bereich Kritische Fehler aufgelisteten Probleme behoben haben, erstellen Sie einen neuen Batch-Importauftrag.
-
Warnungen auf Datenebene
Stellt eine Zusammenfassung der Warnungen für bestimmte Ereignisse (Zeilen) in Ihrem Datensatz bereit. Wenn der Bereich mit Warnungen auf Datenebene gefüllt ist, sind einige Ereignisse in Ihrem Datensatz nicht validiert worden und wurden nicht importiert.
Für jede Warnung wird in der Spalte Beschreibung die Anzahl der Ereignisse angezeigt, bei denen das Problem aufgetreten ist. Und die Beispielereignis-IDs enthalten eine unvollständige Liste von Beispielereignis-IDs, die Sie als Ausgangspunkt verwenden können, um die restlichen Ereignisse zu finden, bei denen das Problem auftritt. Verwenden Sie die Empfehlung für die Warnung, um das Problem zu beheben. Verwenden Sie auch die Fehlerprotokolle aus Ihrer Ausgabedatei für zusätzliche Informationen zu dem Problem. Die Fehlerprotokolle werden für alle Ereignisse generiert, bei denen der Batch-Import fehlgeschlagen ist. Um auf Fehlerprotokolle zuzugreifen, wählen Sie im Bereich Auftragsdetails importieren die Option Gehe zur Ergebnisdatei aus.
Anmerkung
Wenn mehr als 50% der Ereignisse (Zeilen) in Ihrem Datensatz die Überprüfung nicht bestanden haben, schlägt auch der Importauftrag fehl. In diesem Fall müssen Sie die Daten korrigieren, bevor Sie einen neuen Importjob starten.
-
Zusammenfassung des Datensatzes
Bietet eine Zusammenfassung des Validierungsberichts Ihres Datensatzes. Wenn in der Spalte Anzahl der Warnungen mehr als 0 Warnungen angezeigt werden, entscheiden Sie, ob Sie diese Warnungen korrigieren müssen. Wenn in der Spalte Anzahl der Warnungen Nullen angezeigt werden, fahren Sie mit dem Training Ihres Modells fort.
Batch-Import von Ereignisdaten mit AWS SDK for Python (Boto3)
Das folgende Beispiel zeigt eine Beispielanforderung für eine CreateBatchImportJobAPI. Ein Batch-Importauftrag muss eine JobID, InputPath, OutputPath eventTypeNameund enthalten iamRoleArn. Die JobID darf nicht dieselbe ID eines vergangenen Jobs enthalten, es sei denn, der Job hat den Status CREATE_FAILED. Der InputPath und der OutputPath müssen gültige S3-Pfade sein. Sie können die Angabe des Dateinamens im OutputPath deaktivieren, müssen jedoch weiterhin einen gültigen S3-Bucket-Speicherort angeben. Das eventTypeName und iamRoleArn muss existieren. Die IAM-Rolle muss Leseberechtigungen für die Eingabe von Amazon S3 S3-Bucket und Schreibrechte für die Ausgabe von Amazon S3 S3-Bucket gewähren.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.create_batch_import_job ( jobId = 'sample_batch_import', inputPath = 's3://bucket_name/input_file_name.csv', outputPath = 's3://bucket_name/', eventTypeName = 'sample_registration', iamRoleArn: 'arn:aws:iam::************:role/service-role/AmazonFraudDetector-DataAccessRole-*************' )
Batch-Importauftrag abbrechen
Sie können einen laufenden Batch-Importauftrag jederzeit in der Amazon Fraud Detector Detector-Konsole über dieCancelBatchImportJob
API oder das AWS SDK stornieren.
Um einen Batch-Import-Job in der Konsole abzubrechen,
-
Öffnen Sie die AWS-Konsole, melden Sie sich bei Ihrem Konto an und navigieren Sie zu Amazon Fraud Detector.
-
Wählen Sie im linken Navigationsbereich Ereignisse die Option Ereignisse aus.
-
Wählen Sie Ihren Ereignistyp aus.
-
Wählen Sie den Tab Gespeicherte Ereignisse aus.
-
Wählen Sie im Bereich Ereignisdaten importieren die Auftrags-ID eines laufenden Importauftrags aus, den Sie stornieren möchten.
-
Klicken Sie auf der Event-Job-Seite auf Aktionen und wählen Sie Ereignisimport stornieren aus.
-
Wählen Sie Ereignisimport beenden, um den Batch-Importauftrag abzubrechen.
Abbrechen des Batch-Auftrags mit AWS SDK for Python (Boto3)
Das folgende Beispiel zeigt eine Beispielanforderung für dieCancelBatchImportJob
API. Der Importauftrag zum Abbrechen muss die Job-ID eines laufenden Batch-Importauftrags enthalten.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.cancel_batch_import_job ( jobId = 'sample_batch' )