Trabajos para exportar datos de Amazon S3 mediante un dispositivo Snowball Edge - AWS Snowball Edge Guía para desarrolladores

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Trabajos para exportar datos de Amazon S3 mediante un dispositivo Snowball Edge

nota

NOTActualmente, se admiten las etiquetas y los metadatos; en otras palabras, se eliminarían todas las etiquetas y los metadatos al exportar objetos de los depósitos de S3.

El origen de datos de un trabajo de exportación consta de uno o más buckets de Amazon S3. Una vez que los datos de una parte del trabajo se hayan trasladado de Amazon S3 a un AWS Snowball Edge dispositivo, puede descargar un informe del trabajo. En este informe se notifican los objetos cuya transferencia al dispositivo no se ha realizado correctamente. Encontrará información adicional en los registros de operaciones correctas o con errores del trabajo.

Puede exportar cualquier cantidad de objetos en cada trabajo de exportación y usar para ello tantos dispositivos como sean necesarios para completar la transferencia. Cada AWS Snowball Edge dispositivo de las piezas de un trabajo de exportación se entrega una tras otra, y los dispositivos subsiguientes se le envían después de que la pieza de trabajo anterior pase al AWS estado En tránsito.

Cuando copia objetos a su destino de datos local desde un dispositivo mediante el adaptador Amazon S3 o el punto de NFS montaje, esos objetos se guardan como archivos. Si copia objetos a una ubicación que ya contiene archivos, los archivos existentes que tengan el mismo nombre se sobrescribirán. El tipo de trabajo de exportación también admite la funcionalidad de computación y almacenamiento local. Esta funcionalidad utiliza la interfaz de archivos o el adaptador de Amazon S3 para leer y escribir datos, y activa funciones Lambda en función de las API acciones de los PUT objetos de Amazon S3 que se ejecutan localmente en el AWS Snowball Edge dispositivo.

Cuando AWS recibimos un dispositivo devuelto, lo borramos por completo siguiendo los estándares NIST 800-88.

importante

Los datos que desee exportar a un dispositivo Snow deben estar en Amazon S3. Todos los datos Amazon S3 Glacier que vaya a exportar al dispositivo Snow deberán descongelarse o trasladarse a la clase de almacenamiento S3 antes de poder exportarlos. Debe hacerlo antes de crear el trabajo de exportación de Snow.

No modifique, actualice ni elimine los objetos de Amazon S3 exportados hasta que haya comprobado que todo el contenido del trabajo completo se ha copiado al destino de datos en las instalaciones.

Al crear un trabajo de exportación, puede exportar un bucket entero de Amazon S3 o solo un rango específico de claves de objetos.

Uso de claves de objeto de Amazon S3 al exportar datos a un dispositivo Snowball Edge

Al crear un trabajo de exportación en Consola de administración de la familia de productos Snow de AWSo con la administración de trabajosAPI, puede exportar un bucket de Amazon S3 completo o un rango específico de claves de objetos. Los nombres de las claves de objetos identifican de forma única los objetos de un bucket. Al exportar un rango, debe definir su longitud proporcionando el primer elemento incluido, el último elemento incluido o ambos.

Los rangos están ordenados en UTF forma binaria de 8 a 8. UTF-8 Los datos binarios se ordenan de la siguiente manera:

  • Los números 0-9 van antes que los caracteres del alfabeto inglés en mayúsculas y minúsculas.

  • Los caracteres del alfabeto inglés en mayúsculas van antes que los caracteres en minúsculas.

  • Los caracteres del alfabeto inglés en minúsculas van al final cuando el listado incluye números y caracteres en mayúsculas.

  • Los caracteres especiales se ordenan entre los demás conjuntos de caracteres.

Para obtener más información sobre las características específicas de UTF -8, consulte UTF-8 en Wikipedia.

Ejemplos de uso de claves de objeto de Amazon S3 al exportar datos a un dispositivo Snowball Edge

Suponga que tiene un depósito que contiene los siguientes objetos y prefijos, ordenados en orden binario UTF -8:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • Aasvogel/arrow/object1

  • Aasvogel/arrow/object2

  • Aasvogel/banana

  • Aasvogel/banker/object1

  • Aasvogel/banker/object2

  • Aasvogel/cherry

  • Banana

  • Car

Inicio de rango especificado Final de rango especificado Objetos del rango que se exportarán
(ninguno) (ninguno) Todos los objetos del bucket
(ninguno) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

(ninguno) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel (ninguno)

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

Aardwolf (ninguno)

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

Aar (ninguno)

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Banana

Car

car (ninguno)

No se exporta ningún objeto y se recibe un mensaje de error al intentar crear el trabajo. Ten en cuenta que el coche se clasifica debajo del coche según UTF -8 valores binarios.

Aar Aarrr

Aardvark

Aardwolf

Aasvogel/arrow

Aasvogel/arrox

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

Aasvogel/arrow/object1

Aasvogel/arrow/object2

Aasvogel/banana

Aasvogel/banker/object1

Aasvogel/banker/object2

Aasvogel/cherry

Suponga que tiene estos tres buckets y desea copiar todos los objetos de folder2.

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

Inicio de rango especificado Final de rango especificado Objetos del rango que se exportarán
folder2/ folder2/ Todos los objetos del bucket folder2.

Prácticas recomendadas para los trabajos que exportan datos de Amazon S3 a un dispositivo Snowball Edge

  • Asegúrese de que los datos estén en Amazon S3 y agrupe los archivos pequeños por lotes

  • Si el bucket contiene millones de objetos, asegúrese de que se han especificado los rangos de claves en la definición del trabajo de exportación

  • Actualice las claves de objeto para eliminar la barra diagonal de sus nombres, ya que los objetos cuyos nombres contienen barras diagonales finales (/ o \) no se transfieren a Snowball Edge

  • En el caso de los buckets de S3, el límite de longitud de los objetos es de 255 caracteres.

  • En el caso de los buckets de S3 con control de versiones, solo se exporta la versión actual de los objetos.

  • Los marcadores de eliminación no se exportan.