Supervisión deAWS DataSync la actividad con AmazonCloudWatch - AWS DataSync

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervisión deAWS DataSync la actividad con AmazonCloudWatch

Puede monitorizarAWS DataSync con AmazonCloudWatch, que recopila y procesa los datos sin formato de y losDataSync convierte en métricas legibles prácticamente en tiempo real. Estas estadísticas se conservan durante un periodo de 15 meses.

De forma predeterminada, los datos deDataSync las métricas de se envían automáticamente aCloudWatch en intervalos de 5 minutos Para obtener más información, consulte ¿Qué es AmazonCloudWatch? en la Guía delCloudWatch usuario de Amazon.

CloudWatchMétricas de Amazon paraDataSync

AmazonCloudWatch proporciona métricas que puede utilizar para obtener información sobreDataSync el rendimiento y solucionar problemas. Puede verCloudWatch las métricasDataSync mediante las siguientes herramientas:

  • Consola de CloudWatch

  • CloudWatch CLI

  • API de CloudWatch

  • DataSyncconsola (página de ejecución de tareas)

Para obtener más información, consulte Uso deCloudWatch las métricas de Amazon en la Guía delCloudWatch usuario de Amazon.

Las métricas de DataSync utilizan el espacio de nombres de AWS/DataSync y proporcionan métricas para las siguientes dimensiones:

  • AgentId— El identificador único del agente.

  • TaskId— El identificador único de la tarea. Adopta el formato task-01234567890abcdef.

El espacio de nombres de AWS/DataSync incluye las siguientes métricas.

Métrica Descripción

BytesCompressed

El número físico de bytes transferidos a través de la red después de aplicar la compresión. En la mayoría de los casos, este número es inferiorBytesTransferred a, a menos que los datos no se puedan comprimir.

Unidades: bytes

BytesPreparedDestination

El número total de bytes de datos que se preparan en la ubicación de destino.

Unidades: bytes

BytesPreparedSource

El número total de bytes de datos que se preparan en la ubicación de origen.

Unidades: bytes

BytesTransferred

El número total de bytes que intervienen. Para ver el número de bytes enviados a través de la red, consulteBytesCompressed

Unidades: bytes

BytesVerifiedDestination

El número total de bytes de datos que se verifican en la ubicación de destino.

Unidades: bytes

BytesVerifiedSource

El número total de bytes de datos que se verifican en la ubicación de origen.

Unidades: bytes

BytesWritten

El tamaño lógico total de todos los archivos que se han transferido a la ubicación de destino.

Unidades: bytes

FilesPreparedDestination

El número total de archivos que se preparan en la ubicación de destino.

Unidad: recuento

FilesPreparedSource

El número total de archivos que se preparan en la ubicación de origen.

Unidad: recuento

FilesTransferred

El número real de archivos o metadatos que se han transferido a través de la red. Este valor se calcula y actualiza de forma continua durante laTRANSFERRING fase. Se actualiza periódicamente cuando se lee cada archivo desde la ubicación de origen y se envía a través de la red.

Si se producen errores durante una transferencia, este valor puede ser inferior a EstimatedFilesToTransfer. Este valor también puede ser mayor que EstimatedFilesTransferred en algunos casos. Este elemento es específico de la implementación para algunos tipos de ubicación, por tanto, no lo utilice como indicador para un número de archivo correcto o para monitorizar la ejecución de tareas.

Unidad: recuento

FilesVerifiedDestination

El número total de archivos que se verifican en la ubicación de destino.

Unidad: recuento

FilesVerifiedSource

El número total de archivos que se verifican en la ubicación de origen.

Unidad: recuento

EventBridgeEventos de Amazon paraDataSync

EventBridgeLos eventos de Amazon describen los cambios enDataSync los recursos. Puede configurar reglas para asignar estos eventos y dirigirlos a una o más secuencias o funciones de destino. Los eventos se emiten en la medida de lo posible.

DataSynceventos de transferencia

Los siguientesEventBridge eventos están disponibles paraDataSync transferencias.

Agent state changes
Evento Descripción
Online The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
Evento Descripción
Adding DataSync is adding a location.
Available The location is created and is available to use.
Task state changes
Evento Descripción
Available The task was created and is ready to start.
Running The task is in progress and functioning properly.
Unavailable The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
Evento Descripción
Queueing DataSync is waiting for another task that's using the same agent to finish.
Launching DataSync is initializing the task execution.
Preparing DataSync is determining which files need to be transferred.
Transferring DataSync is performing the actual transfer of your data.
Verifying DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success The transfer is successful.
Error The transfer failed.

DataSyncEventos de descubrimiento

Los siguientesEventBridge eventos están disponibles paraDataSync Discovery.

Storage system state changes
Evento Descripción
Storage System Connectivity Status Change The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
Evento Descripción
Discovery Job State Change The status of your discovery job changed. For more information, see estados de los de detección.
Discovery Job Expiration Soon Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

DataSyncPermitir subir registros a grupos deCloudWatch registros

DataSyncrequiere permisos suficientes para enviar registros a su grupo deCloudWatch registros. Al crear una tarea mediante la consola,DataSync puede crear automáticamente una política de recursos de IAM con los permisos correctos para usted.

El siguiente ejemplo es una política de recursos que concede estos permisos.

{ "Statement": [ { "Sid": "DataSyncLogsToCloudWatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents", "logs:CreateLogStream" ], "Principal": { "Service": "datasync.amazonaws.com" }, "Condition": { "ArnLike": { "aws:SourceArn": [ "arn:aws:datasync:region:account-id:task/*" ] }, "StringEquals": { "aws:SourceAccount": "account-id" } }, "Resource": "arn:aws:logs:region:account-id:log-group:*:*" } ], "Version": "2012-10-17" }

La política utiliza sentencias de condiciones para garantizar que soloDataSync las tareas de la cuenta especificada tengan acceso al grupo deCloudWatch registros especificado. Recomendamos utilizar las claves de contexto aws:SourceArny la condición aws:SourceAccountglobal en estas declaraciones de condiciones para evitar el confuso problema adjunto. Para obtener más información, consulte Prevención del suplente confuso entre servicios.

Para especificar laDataSync tarea o las tareas, regionsustitúyalo por el código de regiónRegión de AWS donde se encuentran las tareas y account-idsustitúyalo por elCuenta de AWS ID de la cuenta que contiene las tareas. Para especificar el grupo deCloudWatch registros, sustituya los mismos valores. También puede modificar laResource sentencia para que se dirija a grupos de registro específicos. Para obtener más información sobre el usoSourceArn ySourceAccount, consulte las claves de condición globales en la Guía del usuario de IAM.

Para aplicar la política, guarde esta instrucción en un archivo del equipo local. A continuación, ejecute el siguienteAWS CLI comando para aplicar la política de recursos:

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file
nota

Ejecute este comando utilizando el mismoCuenta de AWS yRegión de AWS donde activó suDataSync agente.

Para obtener más información, consulte Trabajar con grupos deCloudWatch registros y

Monitorizar laDataSync tarea desde la línea de comandos

Puede realizar un seguimiento de susDataSync tareas con lawatch utilidad estándar de UnixAWS Command Line Interface o con ella.

Supervise su tarea mediante elAWS CLI

Para supervisar el estado de laDataSync tarea con la CLI, utilice eldescribe-task-execution comando.

aws datasync describe-task-execution \ --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

Este comando devuelve información acerca de la ejecución de una tarea similar a la que se muestra a continuación.

{ "BytesCompressed": 0, "BytesTransferred": 0, "BytesWritten": 0, "EstimatedFilesToTransfer": 0, "EstimatedBytesToTransfer": 0, "FilesTransferred": 0, "Options": { "VerifyMode": "POINT_IN_TIME_CONSISTENT", "Atime": "BEST_EFFORT", "Mtime": "PRESERVE", "Uid": "INT_VALUE", "Gid": "INT_VALUE", "PreserveDevices": "NONE", "PosixPermissions": "PRESERVE", "PreserveDeletedFiles": "PRESERVE", "OverwriteMode": "NEVER", "TaskQueueing": "ENABLED" }, "Result": { "PrepareDuration": 4355, "PrepareStatus": "Ok", "TransferDuration": 5889, "TransferStatus": "Ok", "VerifyDuration": 4538, "VerifyStatus": "Pending" }, "StartTime": 1532658526.949, "Status": "VERIFYING", "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f" }

Si la ejecución de la tarea se realiza correctamente, el valor de Status (Estado) cambia a SUCCESS (CORRECTO). Si se produce un error en el comando describe-task-execution, el resultado envía códigos de error que pueden ayudarle a solucionar problemas. Para obtener información acerca de los códigos de error, consulte TaskExecutionResultDetail en la Referencia de la API de DataSync.

Supervisión de la tarea mediante lawatch utilidad

Para supervisar el progreso de la tarea en tiempo real desde la línea de comandos, puede utilizar lawatch utilidad estándar de Unix. Los valores de duración de la ejecución de tareas se miden en milisegundos.

Lawatch utilidad no reconoce elDataSync alias. El siguiente ejemplo

# pass '-n 1' to update every second and '-d' to highlight differences $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"