Configuración deAWS DataSync transferencias con Azure Blob Storage - AWS DataSync
Acceso a Azure Blob StorageTipos de blobConfiguraciónCreación de suDataSync agenteCreación de su ubicación de transferencia de Azure Blob StorageVisualización de la ubicación de transferencia de Azure Blob StorageActualización de la ubicación de transferencia de Azure Blob StorageGestión de metadatosLimitaciones

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuración deAWS DataSync transferencias con Azure Blob Storage

Esta característica está en versión preliminar para AWS DataSync y está sujeta a cambios.

Para transferir bloques (también conocidos como objetos) desde Azure Blob Storage, debe crear una ubicaciónAWS DataSync de transferencia. A continuación, puede mover sus blobs a cualquier servicioAWS de almacenamiento que loDataSync admita.

Acceso a Azure Blob Storage

Para transferir sus objetos,DataSync necesita permiso para leer su Azure Blob Storage. Sus objetos también deben estar en un nivel de acceso con el queDataSync pueda funcionar.

Tokens de SAS

Un token de firma de acceso compartido (SAS) especifica los permisos de acceso para tu almacenamiento de blob. (Para obtener más información sobre SAS, consulte la documentación de Azure Blob Storage).

Puede generar tokens SAS en diferentes niveles de acceso. DataSyncadmite tokens con los siguientes niveles de acceso:

  • Cuenta

  • Contenedor

  • Carpeta

Para proporcionarDataSync el acceso que necesita para su transferencia, su token SAS debe tener, como mínimo, permisos de lectura y lista. Es posible que también tengas que configurar el token con otros permisos según el nivel de acceso. Por ejemplo, un token con acceso a nivel de cuenta requiere más permisos que un token con acceso a nivel de carpeta.

Permisos de token SAS para acceso a nivel de cuenta

DataSyncrequiere que configure un token de acceso a nivel de cuenta con los siguientes permisos:

  • Servicios permitidos — Blob

  • Tipos de recursos permitidos: contenedor, objeto (si no incluye estos permisos, noDataSync podrá transferir los metadatos del objeto)

  • Permisos permitidos: lectura, lista

  • Permisos de índice de bloques permitidos: lectura/escritura (siDataSync desea copiar etiquetas de objetos)

Permisos de token SAS para acceso a nivel de contenedor

DataSyncrequiere que configure un token de acceso a nivel de contenedor con los siguientes permisos:

Permisos de token SAS para acceso a nivel de carpeta

Si utiliza Azure Data Lake Storage Gen2 con su almacenamiento de blob, puede proporcionarDataSync un token SAS que solo permita el acceso a una carpeta específica de su contenedor.

DataSyncrequiere que configure un token de acceso a nivel de carpeta con los siguientes permisos:

  • Lectura

  • Enumeración

Para obtener más información sobre la configuración de este tipo de token, consulte la documentación de Azure Blob Storage.

Al crear su ubicación de Azure Blob Storage paraDataSync, debe especificar la ruta completa a esta misma carpeta.

Políticas de caducidad de SAS

Asegúrese de que su SAS no caduque antes de finalizar la transferencia. Para obtener información sobre la configuración de una política de caducidad de SAS, consulte la documentación de Azure Blob Storage.

Si el SAS caduca durante la transferencia, ya noDataSync podrá acceder a su ubicación de Azure Blob Storage (es posible que aparezca un error al abrir el directorio). Cuando esto suceda, debe actualizar su ubicación con un nuevo token SAS y reiniciar laDataSync tarea.

Niveles de acceso

DataSyncpuede transferir objetos de Azure Blob Storage en los niveles activo o frío. Omite la transferencia de objetos en el nivel de acceso al archivo. Debe rehidratar los objetos del nivel de archivo al nivel activo o frío antes de poder transferirlos.

Tipos de blob

DataSyncpuede transferir cualquier tipo de bloque, lo que incluye bloques, páginas y anexos. Para obtener más información, consulte la documentación de Azure Blob.

Configuración

Actualmente, solo puede utilizar esta función con laDataSync consolaAWS Command Line Interface, oAWS SDK for Java 2.x.

nota

No es necesario realizar ninguna configuración si utilizas laDataSync consola.

Configuración con elAWS CLI

Las siguientes instrucciones describen cómo configurar la versión 2 deAWS Command Line Interface (AWS CLI) para utilizar esta función.

Para configurar la AWS CLI

  1. Descarga el modeloDataSync de API y descomprime el archivo JSON.

  2. Ejecute el siguiente comando para añadir el modelo de servicio aAWS CLI la configuración.

    En este ejemplo se crea un nombredatasync-azure-blob de servicio. Especifique otro nombre.

    aws configure add-model \
  --service-model file://datasync-service-model.json \
  --service-name datasync-azure-blob

Una vez que haya añadido el modelo, puede utilizar esta función conAWS CLI.

Configuración con elAWS SDK for Java 2.x

Las siguientes instrucciones describen cómo configurar la funciónAWS SDK for Java 2.x para utilizar esta función.

Para configurar el SDK for Java 2.x

  1. Asegúrese de que tiene elAwsJavaSdk-DataSync-2.0.jar archivo. Si no es así, ponte en contacto con tuDataSync punto de contacto.

  2. En tu proyecto de Maven, comprueba si elpom.xml archivo contiene una dependencia explícita del SDK deDataSync Java. Si no hay ninguna, cree la dependencia mediante el siguiente ejemplo:

    <dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>datasync</artifactId>
    <version>2.17.290</version>
</dependency>

  3. Ejecute el siguiente comando:

    mvn org.apache.maven.plugins:maven-install-plugin:3.0.0-M1:install-file \
    --batch-mode -Dfile=/AwsJavaSdk-DataSync-2.0.jar \
    -DgroupId=software.amazon.awssdk \
    -DartifactId=datasync \
    -Dversion=2.17.290 \
    -Dpackaging=jar

    Tenga en cuenta:

    • Asegúrese de utilizar la ruta correcta para elAwsJavaSdk-DataSync-2.0.jar archivo.

    • La2.17.290 versión es un ejemplo.

Creación de suDataSync agente

Necesita unDataSync agente que pueda conectarse a su contenedor de Azure Blob Storage. El agente lee su contenedor y facilita el traslado de sus objetos a élAWS.

Para crear un agente

  1. Descargue e implemente un agente de Amazon EC2 en una nube virtual privada (VPC) de suAWS entorno.

  2. Especifique un punto final del servicio de VPC con el que el agente se comuniqueAWS.

  3. Configure la red para que funcione con puntos de conexión de VPC.

  4. Activa el agente.

Creación de su ubicación de transferencia de Azure Blob Storage

Puede configurarloDataSync para usar un contenedor de Azure Blob Storage existente como ubicación de origen para la transferencia.

Antes de empezar: asegúrese de saber cómoDataSync accede a su Azure Blob Storage y cómo funciona con los niveles de acceso al almacenamiento de bloques.

  1. Abra laAWS DataSync consola en https://console.aws.amazon.com/datasync/.

  2. En el panel de navegación de la izquierda, expande Transferencia de datos y, a continuación, selecciona Ubicaciones y Crear ubicación.

  3. Para el tipo de ubicación, elija Microsoft Azure Blob Storage.

  4. En el caso de los agentes, elija elDataSync agente que pueda conectarse a su contenedor de Azure Blob Storage.

    Puede elegir más de un agente. Para obtener más información, consulte Uso de varios AWS DataSync agentes para la transferencia.

  5. En URL del contenedor, introduce la URL del contenedor implicado en la transferencia.

  6. En Carpeta, introduzca segmentos de ruta si desea limitar la transferencia a un directorio virtual del contenedor (por ejemplo,/my/images).

    DataSyncsolo copia objetos con estos segmentos de ruta.

    importante

    Si su token SAS solo permite el acceso a una carpeta, debe especificar aquí la ruta completa a esta carpeta para que la transferencia funcione.

  7. Para el token SAS, introduzca el token SAS que permite accederDataSync a su almacenamiento de blob.

    El token forma parte de la cadena URI SAS que viene después del URI del recurso de almacenamiento y de un signo de interrogación. Un token tiene un aspecto similar a lo siguiente:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  8. (Opcional) Introduzca valores en los campos Clave y Valor para etiquetar la ubicación.

    Las etiquetas le ayudan a administrar, filtrar y buscar susAWS recursos. Le recomendamos crear al menos una etiqueta de nombre para su ubicación.

  9. Elige Crear ubicación.

nota

En las siguientes instrucciones se utiliza eldatasync-azure-blob comando, pero puede asignarle otro nombre. Para obtener más información, consulte Configuración con elAWS CLI.

  1. Copia el siguientecreate-location-azure-blob comando:

    aws datasync-azure-blob create-location-azure-blob \
  --container-url "https://path/to/container" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data" \
  --tags [{"Key": "key1","Value": "value1"}]

  2. Para el--container-url parámetro, especifique la URL del contenedor de Azure Blob Storage implicado en la transferencia.

  3. Para el--authentication-type parámetro, especifiqueSAS.

  4. Para laToken opción del--sas-configuration parámetro, especifique el token SAS que permite accederDataSync a su almacenamiento de blob.

    El token forma parte de la cadena URI SAS que viene después del URI del recurso de almacenamiento y de un signo de interrogación. Un token tiene un aspecto similar a lo siguiente:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. En el--agent-arns parámetro, especifique el nombre de recurso de Amazon (ARN) delDataSync agente que puede conectarse a su contenedor.

    A continuación se muestra un ejemplo de ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Puede especificar más de un agente. Para obtener más información, consulte Uso de varios AWS DataSync agentes para la transferencia.

  6. Para el--subdirectory parámetro, especifique los segmentos de ruta si desea limitar la transferencia a un directorio virtual del contenedor (por ejemplo,/my/images).

    DataSyncsolo copia objetos con estos segmentos de ruta.

    importante

    Si su token SAS solo permite el acceso a un subdirectorio (o carpeta), debe especificar aquí la ruta completa a este subdirectorio para que la transferencia funcione.

  7. (Opcional) En el--tags parámetro, especifique pares de clave-valor que lo ayudan a administrar, filtrar y buscar su ubicación.

    Le recomendamos crear una etiqueta de nombre para su ubicación.

  8. Ejecute el comando create-location-azure-blob.

    Recibirás una respuesta que muestra el ARN de la ubicación que creaste. Por ejemplo:

    { 
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" 
}

Visualización de la ubicación de transferencia de Azure Blob Storage

Puede obtener detalles sobre su ubicación actual de Azure Blob Storage.

  1. Abra laAWS DataSync consola en https://console.aws.amazon.com/datasync/.

  2. En el panel de navegación izquierdo, elija Ubicaciones.

  3. Elija su ubicación de Azure Blob Storage.

    Puedes ver los detalles de tu ubicación, incluidasDataSync las tareas que se realizan con ella.

nota

En las siguientes instrucciones se utiliza eldatasync-azure-blob comando, pero puede asignarle otro nombre. Para obtener más información, consulte Configuración con elAWS CLI.

  1. Copia el siguientedescribe-location-azure-blob comando:

    aws datasync-azure-blob describe-location-azure-blob \
  --location-arn "your-azure-blob-location-arn"

  2. Para el--location-arn parámetro, especifique el ARN de la ubicación de Azure Blob Storage que creó.

  3. Ejecute el comando describe-location-azure-blob.

    Recibirás una respuesta que te muestra detalles sobre tu ubicación. Por ejemplo:

    {
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
    "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
    "AuthenticationType": "SAS",
    "Subdirectory": "/my/images",
    "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
}

Actualización de la ubicación de transferencia de Azure Blob Storage

Si es necesario, puedes modificar la configuración de tu ubicación.

nota

Esto no podrá efectuarse con laDataSync consola.

nota

En las siguientes instrucciones se utiliza eldatasync-azure-blob comando, pero puede asignarle otro nombre. Para obtener más información, consulte Configuración con elAWS CLI.

  1. Copia el siguienteupdate-location-azure-blob comando:

    aws datasync-azure-blob update-location-azure-blob \
  --location-arn "your-azure-blob-location-arn" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data"

  2. Para el--location-arn parámetro, especifique el ARN de la ubicación de Azure Blob Storage que va a actualizar.

  3. Para el--authentication-type parámetro, especifiqueSAS.

  4. Para laToken opción del--sas-configuration parámetro, especifique el token SAS que permite accederDataSync a su almacenamiento de blob.

    El token forma parte de la cadena URI SAS que viene después del URI del recurso de almacenamiento y de un signo de interrogación. Un token tiene un aspecto similar a lo siguiente:

    sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. En el--agent-arns parámetro, especifique el nombre de recurso de Amazon (ARN) delDataSync agente que desea conectar al contenedor.

    A continuación se muestra un ejemplo de ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Puede especificar más de un agente. Para obtener más información, consulte Uso de varios AWS DataSync agentes para la transferencia.

  6. Para el--subdirectory parámetro, especifique los segmentos de ruta si desea limitar la transferencia a un directorio virtual del contenedor (por ejemplo,/my/images).

    DataSyncsolo copia objetos con estos segmentos de ruta.

    importante

    Si su token SAS solo permite el acceso a un subdirectorio (o carpeta), debe especificar aquí la ruta completa a este subdirectorio para que la transferencia funcione.

Gestión de metadatos

La formaDataSync en que se gestionan los metadatos al transferirlos desde Azure Blob Storage depende de la ubicación de destino.

Cuando tu destino es DataSyncpuede

  • Simple Storage Service (Amazon S3)

Copia los siguientes metadatos al destino:

  • Metadatos de objetos definidos por el usuario

  • Etiquetas de objeto

  • Los siguientes metadatos de objetos definidos por el sistema:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Nota:DataSync copia los metadatos del sistema para todos los objetos durante una transferencia inicial. Si configura la tarea para transferir solo los datos que hayan cambiado,DataSync no copiará los metadatos del sistema en las transferencias posteriores a menos que también se hayan modificado el contenido de un objeto o los metadatos del usuario.

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

Aplique los metadatos POSIX predeterminados a los archivos y carpetas de destino. Este enfoque incluye el uso del ID de usuario de POSIX predeterminado y los valores de ID de grupo.

  • FSx for Windows File Server

  • FSx para ONTAP (mediante SMB)

Aplique los siguientes metadatos al destino:

  • Marcas de tiempo de archivos y carpetas

  • Propiedad que se basa en el usuario de Windows que especificó al crear la ubicación deDataSync destino

  • Permisos heredados del directorio principal

Limitaciones

Actualmente, existen las siguientes limitaciones al mover datos desde Azure Blob Storage conDataSync:

  • Puede crear una ubicación de Azure Blob Storage en cualquier región Región de AWScompatible,DataSync excepto en las regiones de ChinaAWS GovCloud (US) y China.

  • Solo puede usar Azure Blob Storage como ubicación de origen.

  • Al transferir a Amazon S3,DataSync no transferirá objetos de Azure Blob Storage de más de 5 TB.

  • Al realizar la transferencia a Amazon S3,DataSync no transferirá objetos de Azure Blob Storage que tengan metadatos que superen los 2 KB.