Überwachung Ihrer Datenübertragungen mit Aufgabenberichten - AWS DataSync
AnwendungsfälleAufgabenberichte nur zusammenfassendStandardberichte für AufgabenBeispiele für AufgabenberichteEinschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung Ihrer Datenübertragungen mit Aufgabenberichten

Aufgabenberichte enthalten detaillierte Informationen darüber, welche AWS DataSync Versuche während der Ausführung einer Aufgabe übertragen, übersprungen, verifiziert und gelöscht werden. Weitere Informationen finden Sie unter Wie werden Dateien, Objekte und Verzeichnisse DataSync übertragen.

Aufgabenberichte werden im JSON-Format generiert. Sie können den Detaillierungsgrad Ihrer Berichte anpassen:

  • Aufgabenberichte, die nur zusammenfassend sind, enthalten die erforderlichen Informationen zur Ausführung Ihrer Aufgabe, z. B. wie viele Dateien übertragen wurden und ob die Datenintegrität dieser Dateien überprüft werden DataSync konnte.

  • Standardmäßige Aufgabenberichte enthalten eine Zusammenfassung sowie detaillierte Berichte, in denen alle Dateien, Objekte oder Ordner aufgeführt sind, DataSync die übertragen, übersprungen, überprüft und gelöscht werden sollen. Bei einem Standardaufgabenbericht können Sie auch die Berichtsebene so festlegen, dass nur die Fehler oder die Erfolge und Fehler der Aufgabenausführung angezeigt werden.

Anwendungsfälle

Im Folgenden finden Sie einige Situationen, in denen Aufgabenberichte Ihnen helfen können, Ihre Datenübertragungen zu überwachen und zu prüfen:

  • Identifizieren Sie bei der Migration von Millionen von Dateien schnell Dateien, bei denen DataSync Probleme bei der Übertragung auftreten.

  • Überprüfen Sie chain-of-custody die Prozesse für Ihre Dateien.

Aufgabenberichte nur zusammenfassend

Ein Bericht, der nur eine Zusammenfassung der Ausführung einer Aufgabe darstellt, enthält die folgenden Details:

  • Der AWS-Konto , der die Aufgabenausführung ausgeführt hat

  • Die Quell- und Zielorte

  • Die Gesamtzahl der Dateien, Objekte und Ordner, die übersprungen, übertragen, verifiziert und gelöscht wurden

  • Die Gesamtzahl der übertragenen Byte (logisch und physisch)

  • Wenn die Ausführung der Aufgabe abgeschlossen oder abgebrochen wurde oder ein Fehler aufgetreten ist

  • Die Start- und Endzeit (einschließlich der Gesamtzeit der Übertragung)

  • Die Einstellungen der Aufgabe (z. B. Bandbreitenbeschränkungen, Überprüfung der Datenintegrität und andere Optionen für Ihre DataSync Übertragung)

Standardberichte für Aufgaben

Ein Standard-Aufgabenbericht enthält eine Zusammenfassung Ihrer Aufgabenausführung sowie detaillierte Berichte darüber, welche DataSync Versuche zu übertragen, zu überspringen, zu überprüfen und zu löschen sind.

Berichtsebene

Bei Standardaufgabenberichten können Sie eine der folgenden Berichtsebenen wählen:

  • Nur Fehler

  • Erfolge und Fehler (im Wesentlichen eine Liste von allem, was während der Ausführung Ihrer Aufgabe passiert ist)

Möglicherweise möchten Sie beispielsweise sehen, welche Dateien während Ihrer Übertragung erfolgreich DataSync übersprungen wurden und welche nicht. Dateien, die erfolgreich DataSync übersprungen wurden, könnten Dateien sein, die Sie bewusst ausschließen DataSync möchten, weil sie bereits an Ihrem Zielort vorhanden sind. Ein übersprungener Fehler kann jedoch beispielsweise darauf hinweisen, dass Sie DataSync nicht über die erforderlichen Berechtigungen zum Lesen einer Datei verfügen.

Übertragene Berichte

Eine Liste von Dateien, Objekten und Verzeichnissen, die während der Ausführung Ihrer Aufgabe DataSync versucht haben, zu übertragen. Ein übertragener Bericht enthält die folgenden Details:

  • Die Pfade für die übertragenen Daten

  • Was wurde übertragen (Inhalt, Metadaten oder beides)

  • Die Metadaten, zu denen der Datentyp, die Inhaltsgröße (nur Objekte und Dateien) und mehr gehören

  • Der Zeitpunkt, zu dem ein Element übertragen wurde

  • Die Objektversion (wenn das Ziel ein Amazon S3 S3-Bucket ist, für den Versionierung aktiviert ist)

  • Wenn im Ziel etwas überschrieben wurde

  • Ob ein Artikel erfolgreich übertragen wurde

Anmerkung

Wenn Sie Daten zwischen S3-Buckets verschieben, kann das Präfix, das Sie an Ihrem Quellstandort angeben, in Ihrem Bericht (oder in CloudWatch Amazon-Protokollen) angezeigt werden, auch wenn dieses Präfix nicht als Objekt an Ihrem Zielort existiert. (In der DataSync Konsole stellen Sie möglicherweise auch fest, dass dieses Präfix als übersprungene oder verifizierte Daten angezeigt wird.)

Übersprungene Berichte

Eine Liste von Dateien, Objekten und Verzeichnissen, die in Ihrem Quellverzeichnis DataSync gefunden wurden, aber nicht versucht wurde, sie zu übertragen. Warum Daten DataSync übersprungen werden, kann von verschiedenen Faktoren abhängen, z. B. davon, wie Sie Ihre Aufgabe konfigurieren und welche Speichersystemberechtigungen Sie haben. Hier sind einige Beispiele:

  • Es gibt eine Datei, die an Ihren Quell- und Zielorten vorhanden ist. Die Datei in der Quelle wurde seit der letzten Ausführung der Aufgabe nicht geändert. Da Sie nur Daten übertragen, die sich geändert haben, wird diese Datei DataSync nicht übertragen, wenn Sie Ihre Aufgabe das nächste Mal ausführen.

  • Ein Objekt, das an beiden Speicherorten vorhanden ist, ändert sich in Ihrer Quelle. Wenn Sie Ihre Aufgabe ausführen, wird dieses Objekt in Ihrem Ziel DataSync übersprungen, da Ihre Aufgabe keine Daten im Ziel überschreibt.

  • DataSync überspringt ein Objekt in Ihrer Quelle, das eine Archivspeicherklasse verwendet und nicht wiederhergestellt wird. Sie müssen ein archiviertes Objekt wiederherstellen, um DataSync es lesen zu können.

  • DataSync überspringt eine Datei, ein Objekt oder ein Verzeichnis an Ihrem Quellspeicherort, weil es nicht gelesen werden kann. Wenn dies passiert und nicht zu erwarten ist, überprüfen Sie die Zugriffsberechtigungen Ihres Speichers und stellen Sie sicher, dass gelesen DataSync werden kann, was übersprungen wurde.

Ein übersprungener Bericht enthält die folgenden Details:

  • Die Pfade für übersprungene Daten

  • Der Zeitpunkt, zu dem ein Element übersprungen wurde

  • Der Grund, warum es übersprungen wurde

  • Ob ein Artikel erfolgreich übersprungen wurde

Anmerkung

Übersprungene Berichte können umfangreich sein, wenn sie Erfolge und Fehler enthalten, Sie Ihre Aufgabe so konfigurieren, dass nur die Daten übertragen werden, die sich geändert haben, und Quelldaten bereits im Ziel vorhanden sind.

Verifizierte Berichte

Eine Liste von Dateien, Objekten und Verzeichnissen, die während der Ausführung Ihrer Aufgabe DataSync versucht haben, deren Integrität zu überprüfen. Ein Bericht mit verifizierten Daten enthält die folgenden Details:

  • Die Pfade für verifizierte Daten

  • Der Zeitpunkt, zu dem ein Artikel verifiziert wurde

  • Der Grund für den Bestätigungsfehler (falls vorhanden)

  • Die Quell- und SHA256 Zielprüfsummen (nur Dateien)

  • Ob ein Artikel erfolgreich verifiziert wurde

Beachten Sie Folgendes zu verifizierten Berichten:

  • Wenn Sie Ihre Aufgabe so konfigurieren, dass nur übertragene Daten überprüft werden, DataSync werden in manchen Situationen Verzeichnisse oder Dateien oder Objekte, deren Übertragung fehlschlägt, nicht überprüft. In beiden Fällen enthält dieser Bericht DataSync keine unbestätigten Daten.

  • Wenn Sie den erweiterten Modus verwenden, kann die Überprüfung länger als gewöhnlich dauern, wenn Sie große Objekte übertragen.

Gelöschte Berichte

Eine Liste von Dateien, Verzeichnissen und Objekten, die während der Ausführung Ihrer Aufgabe gelöscht wurden. DataSync generiert diesen Bericht nur, wenn Sie Ihre Aufgabe so konfigurieren, dass Daten am Zielort gelöscht werden, die sich nicht in der Quelle befinden. Ein Bericht über gelöschte Daten enthält die folgenden Details:

  • Die Pfade für gelöschte Daten

  • Ob ein Element erfolgreich gelöscht wurde

  • Der Zeitpunkt, zu dem ein Element gelöscht wurde

Beispiele für Aufgabenberichte

Der Detaillierungsgrad Ihres Aufgabenberichts liegt bei Ihnen. Hier sind einige Beispiele für Berichte über übertragene Daten mit der folgenden Konfiguration:

  • Berichtstyp — Standard

  • Berichtsebene — Erfolge und Fehler

Anmerkung

Berichte verwenden den ISO-8601-Standard für das Zeitstempelformat. Die Zeiten sind in UTC angegeben und werden in Nanosekunden gemessen. Dieses Verhalten unterscheidet sich von der Art und Weise, wie einige andere Messwerte für Aufgabenberichte gemessen werden. Beispielsweise werden Details zur Aufgabenausführung, wie TransferDuration undVerifyDuration, in Millisekunden gemessen.

Aufgabenberichte im erweiterten Modus verwenden ein etwas anderes Schema als Aufgabenberichte im Basismodus. Anhand der folgenden Beispiele können Sie herausfinden, was Sie je nach verwendetem Aufgabenmodus von Ihren Berichten erwarten können.

Beispiel für übertragene Datenberichte mit Erfolgsstatus

Die folgenden Berichte zeigen erfolgreiche Übertragungen für ein Objekt mit dem Namenobject1.txt.

Enhanced mode
{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2024-10-04T14:40:55Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2024-10-04T14:48:39.748862183Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}
Basic mode
{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}
Beispiel für übertragene Datenberichte mit Fehlerstatus

Die folgenden Berichte enthalten Beispiele dafür, wann ein benanntes Objekt nicht übertragen werden DataSync kannobject1.txt.

Enhanced mode

Dieser Bericht zeigt, dass object1.txt aufgrund eines AWS KMS Berechtigungsproblems nicht auf ein Objekt mit dem Namen zugegriffen werden DataSync kann. (Wenn Sie eine solche Fehlermeldung erhalten, finden Sie weitere Informationen unterZugriff auf S3-Buckets mithilfe serverseitiger Verschlüsselung.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2022-10-07T20:48:32Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "TransferTimestamp": "2022-10-09T16:05:11.134040717Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "ErrorCode": "AccessDenied",
        "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action"
    }]
}
Basic mode

Dieser Bericht zeigt, dass ein Objekt mit dem Namen aufgrund eines S3-Bucket-Berechtigungsproblems object1.txt nicht übertragen wurde. (Wenn Sie eine solche Fehlermeldung erhalten, finden Sie weitere Informationen unterBereitstellung des DataSync Zugriffs auf S3-Buckets.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "FailureReason": "S3 Get Object Failed",
        "FailureCode": 40974
    }]
}

Einschränkungen

  • Einzelne Aufgabenberichte dürfen 5 MB nicht überschreiten. Wenn Sie eine große Anzahl von Dateien kopieren, ist Ihr Aufgabenbericht möglicherweise in mehrere Berichte aufgeteilt.

  • Es gibt Situationen, in denen das Erstellen von Aufgabenberichten die Leistung Ihrer Datenübertragung beeinträchtigen kann. Möglicherweise stellen Sie dies fest, wenn Ihre Netzwerkverbindung eine hohe Latenz aufweist und die Dateien, die Sie übertragen, klein sind oder Sie nur Metadatenänderungen kopieren.