Überwachung derAWS DataSync Aktivitäten mit AmazonCloudWatch - AWS DataSync

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung derAWS DataSync Aktivitäten mit AmazonCloudWatch

Sie könnenAWS DataSync mit AmazonCloudWatch überwachen. Dabei werden Rohdaten von gesammelt undDataSync in lesbare Metriken verarbeitet, bei denen es sich nahezu um Echtzeitdaten handelt. Diese Statistiken werden für einen Zeitraum von 15 Monaten gespeichert.

Standardmäßig werdenDataSync Metrikdaten von 5 MinutenCloudWatch an 5-Intervallen von 5 Minuten Weitere Informationen finden Sie unter Was ist AmazonCloudWatch? im CloudWatchAmazon-Benutzerhandbuch.

CloudWatchAmazon-Metriken fürDataSync

AmazonCloudWatch stellt Kennzahlen zur Verfügung, anhand derer Sie Informationen zurDataSync Leistung abrufen und Probleme beheben können. Mithilfe der folgenden Tools können SieDataSync sichCloudWatch Metriken für anzeigen lassen:

  • CloudWatch-Konsole

  • CloudWatch CLI

  • CloudWatch-API

  • DataSyncKonsole (Seite zur Aufgabenausführung)

Weitere Informationen finden Sie unter Verwenden vonCloudWatch Amazon-Metriken im CloudWatchAmazon-Benutzerhandbuch.

DataSync-Metriken verwenden den AWS/DataSync-Namespace und stellen Metriken für folgende Dimension(en) bereit:

  • AgentId— Die eindeutige ID des Agenten.

  • TaskId— Die eindeutige ID der Aufgabe. Er hat die Form task-01234567890abcdef.

Der AWS/DataSync-Namespace enthält die folgenden Metriken.

Metrik Beschreibung

BytesCompressed

Die physische Anzahl der Bytes, die nach der Komprimierung über das Netzwerk übertragen wurden. In den meisten Fällen ist diese Zahl geringer alsBytesTransferred es sei denn, die Daten sind nicht komprimierbar.

Einheit: Byte

BytesPreparedDestination

Die Gesamtzahl der Bytes von Daten, die am Zielspeicherort vorbereitet werden.

Einheit: Byte

BytesPreparedSource

Die Gesamtzahl der Bytes von Daten, die am Quellspeicherort vorbereitet werden.

Einheit: Byte

BytesTransferred

Die Gesamtzahl der Bytes, die an der Übertragung beteiligt sind. Informationen finden SieBytesCompressed

Einheit: Byte

BytesVerifiedDestination

Die Gesamtzahl der Bytes von Daten, die am Zielspeicherort überprüft werden.

Einheit: Byte

BytesVerifiedSource

Die Gesamtzahl der Bytes von Daten, die am Quellspeicherort überprüft werden.

Einheiten: Byte

BytesWritten

Die gesamte logische Größe aller Dateien, die an den Zielspeicherort übertragen wurden.

Einheit: Byte

FilesPreparedDestination

Die Gesamtanzahl der Dateien, die am Zielspeicherort vorbereitet werden.

Einheit: Anzahl

FilesPreparedSource

Die Gesamtanzahl der Dateien, die am Quellspeicherort vorbereitet werden.

Einheit: Anzahl

FilesTransferred

Die tatsächliche Anzahl der Dateien oder Metadaten, die über das Netzwerk übertragen wurden. Dieser Wert wird während derTRANSFERRING Phase fortlaufend berechnet und aktualisiert. Er wird regelmäßig aktualisiert, wenn eine Datei vom Quellspeicherort gelesen und über das Netzwerk gesendet wird.

Wenn während einer Übertragung Fehler auftreten, kann dieser Wert kleiner als EstimatedFilesToTransfer sein. Dieser Wert kann in einigen Fällen auch größer als EstimatedFilesTransferred sein. Dieses Element ist für einige Speicherorttypen implementierungsspezifisch, daher sollten Sie es nicht als Indikator für eine korrekte Dateianzahl oder zur Überwachung Ihrer Aufgabenausführung verwenden.

Einheit: Anzahl

FilesVerifiedDestination

Die Gesamtanzahl der Dateien, die am Zielspeicherort überprüft werden.

Einheit: Anzahl

FilesVerifiedSource

Die Gesamtanzahl der Dateien, die am Quellspeicherort überprüft werden.

Einheit: Anzahl

EventBridgeAmazon-Veranstaltungen fürDataSync

EventBridgeAmazon-Ereignisse beschreiben Änderungen derDataSync Ressourcen. Sie können Regeln einrichten, die diesen Ereignissen entsprechen und sie an eine oder mehrere Zielfunktionen oder Streams weiterleiten. Ereignisse werden auf die bestmögliche Weise ausgegeben.

DataSyncEreignisse übertragen

Die folgendenEventBridge Ereignisse sind fürDataSync Transfers verfügbar.

Agent state changes
Veranstaltung Beschreibung
Online The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
Veranstaltung Beschreibung
Adding DataSync is adding a location.
Available The location is created and is available to use.
Task state changes
Veranstaltung Beschreibung
Available The task was created and is ready to start.
Running The task is in progress and functioning properly.
Unavailable The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
Veranstaltung Beschreibung
Queueing DataSync is waiting for another task that's using the same agent to finish.
Launching DataSync is initializing the task execution.
Preparing DataSync is determining which files need to be transferred.
Transferring DataSync is performing the actual transfer of your data.
Verifying DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success The transfer is successful.
Error The transfer failed.

DataSyncEntdeckungsereignisse

Die folgendenEventBridge Ereignisse sind fürDataSync Discovery verfügbar.

Storage system state changes
Veranstaltung Beschreibung
Storage System Connectivity Status Change The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
Veranstaltung Beschreibung
Discovery Job State Change The status of your discovery job changed. For more information, see Disance-Jobdaten.
Discovery Job Expiration Soon Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

DataSyncErlaubt das Hochladen von Protokollen inCloudWatch Protokollgruppen

DataSyncbenötigt ausreichende Berechtigungen, um Protokolle an IhreCloudWatch Protokollgruppe zu senden. Wenn Sie eine Aufgabe mithilfe der Konsole erstellen,DataSync kann automatisch eine IAM-Ressourcenrichtlinie mit den für Sie richtigen Berechtigungen erstellt werden.

Das folgende Beispiel ist eine Ressourcenrichtlinie, die diese Berechtigungen gewährt.

{ "Statement": [ { "Sid": "DataSyncLogsToCloudWatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents", "logs:CreateLogStream" ], "Principal": { "Service": "datasync.amazonaws.com" }, "Condition": { "ArnLike": { "aws:SourceArn": [ "arn:aws:datasync:region:account-id:task/*" ] }, "StringEquals": { "aws:SourceAccount": "account-id" } }, "Resource": "arn:aws:logs:region:account-id:log-group:*:*" } ], "Version": "2012-10-17" }

Die Richtlinie verwendet Bedingungsanweisungen, um sicherzustellen, dass nurDataSync Aufgaben des angegebenen Kontos Zugriff auf die angegebeneCloudWatch Protokollgruppe haben. Wir empfehlen, in diesen aws:SourceArnZustandsangaben die Kontextschlüssel und die aws:SourceAccountglobalen Bedingungskontextschlüssel zu verwenden, um sich vor dem verwirrten Stellvertreterproblem zu schützen. Weitere Informationen finden Sie unter Vermeidung des Problems des verwirrten Stellvertreters (dienstübergreifend).

Um dieDataSync Aufgabe oder Aufgaben zu spezifizieren, regionersetzen Sie sie durch den RegionalcodeAWS-Region für den Standort der Aufgaben und account-idersetzen Sie ihn durch dieAWS-Konto ID des Kontos, das die Aufgaben enthält. Um dieCloudWatch Protokollgruppe anzugeben, ersetzen Sie dieselben Werte. Sie können dieResource Anweisung auch so ändern, dass sie auf bestimmte Protokollgruppen abzielt. Weitere Informationen zur Verwendung vonSourceArn undSourceAccount finden Sie unter Globale Bedingungsschlüssel im IAM-Benutzerhandbuch.

Um die Richtlinie anzuwenden, speichern Sie diese Richtlinienanweisung in einer Datei auf Ihrem lokalen Computer. Führen Sie dann den folgendenAWS CLI Befehl aus, um die Ressourcenrichtlinie anzuwenden:

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file
Anmerkung

Führen Sie diesen Befehl mit demselbenAWS-Konto Befehl aus, an dem Sie IhrenDataSync Agenten aktiviertAWS-Region haben.

Weitere Informationen finden Sie unter Arbeiten mit Protokollgruppen und Protokollstreams im CloudWatchAmazon-Cloud-Logs-Benutzerhandbuch.

Überwachen Sie IhreDataSync Aufgabe von der Befehlszeile

Sie können IhreDataSync Aufgaben mit dem Unix-StandardprogrammAWS Command Line Interface oder demwatch Unix-Standardprogramm verfolgen.

Überwachen Sie Ihre Aufgabe mithilfe derAWS CLI

Verwenden Sie dendescribe-task-execution Befehl, um den Status IhrerDataSync Aufgabe mit der CLI zu überwachen.

aws datasync describe-task-execution \ --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

Dieser Befehl gibt Informationen ähnlich wie die folgenden zu einer Aufgabenausführung zurück.

{ "BytesCompressed": 0, "BytesTransferred": 0, "BytesWritten": 0, "EstimatedFilesToTransfer": 0, "EstimatedBytesToTransfer": 0, "FilesTransferred": 0, "Options": { "VerifyMode": "POINT_IN_TIME_CONSISTENT", "Atime": "BEST_EFFORT", "Mtime": "PRESERVE", "Uid": "INT_VALUE", "Gid": "INT_VALUE", "PreserveDevices": "NONE", "PosixPermissions": "PRESERVE", "PreserveDeletedFiles": "PRESERVE", "OverwriteMode": "NEVER", "TaskQueueing": "ENABLED" }, "Result": { "PrepareDuration": 4355, "PrepareStatus": "Ok", "TransferDuration": 5889, "TransferStatus": "Ok", "VerifyDuration": 4538, "VerifyStatus": "Pending" }, "StartTime": 1532658526.949, "Status": "VERIFYING", "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f" }

Wenn die Aufgabenausführung erfolgreich ist, ändert sich der Wert von Status zu SUCCESS (ERFOLGREICH). Wenn der Befehl describe-task-execution fehlschlägt, sendet das Ergebnis Fehlercodes, mit deren Hilfe Sie Probleme beheben können. Informationen zu den Fehlercodes finden Sie unter TaskExecutionResultDetail im Abschnitt DataSync-API-Referenz.

Überwachen Sie Ihre Aufgabe mithilfe deswatch Hilfsprogramms

Um den Fortschritt Ihrer Aufgabe in Echtzeit von der Befehlszeile aus zu überwachen, können Sie daswatch Unix-Standarddienstprogramm verwenden. Die Werte für die Dauer der Aufgabenausführung werden in Millisekunden gemessen.

Daswatch Dienstprogramm erkennt denDataSync Alias nicht. Im folgenden Beispiel wird veranschaulicht, wie Sie die CLI direkt in CLI aufrufen.

# pass '-n 1' to update every second and '-d' to highlight differences $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"