Lavori per esportare dati da Amazon S3 utilizzando un dispositivo Snowball Edge - AWS Snowball Edge Guida per gli sviluppatori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Lavori per esportare dati da Amazon S3 utilizzando un dispositivo Snowball Edge

Nota

I tag e i metadati sono NOT attualmente supportati, in altre parole, tutti i tag e i metadati verrebbero rimossi durante l'esportazione di oggetti dai bucket S3.

La tua fonte di dati per un processo di esportazione è uno o più bucket Amazon S3. Dopo aver trasferito i dati per una parte del lavoro da Amazon S3 a un AWS Snowball Edge dispositivo, puoi scaricare un rapporto sul lavoro. In questo rapporto vengono indicati gli oggetti che non sono stati trasferiti nel dispositivo. Ulteriori informazioni sono disponibili nei log delle operazioni riuscite e non riuscite del processo.

Puoi esportare un numero qualsiasi di oggetti per ogni processo di esportazione, utilizzando tutti i dispositivi necessari per completare il trasferimento. Ogni AWS Snowball Edge dispositivo per le parti del lavoro di un processo di esportazione viene consegnato uno dopo l'altro, mentre i dispositivi successivi vengono spediti all'utente dopo che la parte del lavoro precedente è passata AWS allo stato In transito verso.

Quando copi oggetti nella destinazione dei dati locale da un dispositivo utilizzando l'adattatore Amazon S3 o NFS il punto di montaggio, tali oggetti vengono salvati come file. Se copi gli oggetti in un percorso che contiene già dei file, i file esistenti con lo stesso nome vengono sovrascritti. Il tipo di processo esportazione offre anche la funzionalità di storage ed elaborazione locale. Questa funzionalità utilizza l'interfaccia di file o l'adattatore Amazon S3 per leggere e scrivere dati e attiva le funzioni Lambda basate sulle azioni degli API oggetti Amazon S3 eseguite localmente PUT sul dispositivo. AWS Snowball Edge

Quando AWS riceviamo un dispositivo restituito, lo cancelliamo completamente, seguendo gli standard 800-88. NIST

Importante

I dati che desideri esportare su un dispositivo Snow devono trovarsi in Amazon S3. Tutti i dati Amazon S3 Glacier che intendi esportare sul dispositivo Snow dovranno essere scongelati o spostati nella classe di storage S3 prima di poter essere esportati. Eseguite questa operazione prima di creare il processo di esportazione di Snow.

Non modificare, aggiornare o eliminare gli oggetti Amazon S3 esportati finché non avrai verificato che tutti i contenuti dell'intero processo siano stati copiati nella destinazione dei dati locale.

Quando crei un processo di esportazione, puoi esportare un intero bucket Amazon S3 o una gamma specifica di chiavi di oggetti.

Utilizzo delle chiavi oggetto Amazon S3 per l'esportazione di dati su un dispositivo Snowball Edge

Quando crei un processo di esportazione nella Console di gestione della famiglia di servizi AWS Snowo con la gestione dei lavoriAPI, puoi esportare un intero bucket Amazon S3 o una gamma specifica di chiavi di oggetti. I nomi delle chiavi degli oggetti identificano in modo univoco gli oggetti in un bucket. Se esporti un'intervallo, definisci la lunghezza dell'intervallo fornendo un intervallo inclusivo iniziale, un intervallo inclusivo finale o entrambi.

Gli intervalli sono ordinati in modo binario UTF -8. UTF-8 dati binari vengono ordinati nel modo seguente:

  • I numeri da 0 a 9 precedono i caratteri inglesi maiuscoli e minuscoli.

  • I caratteri inglesi maiuscoli vengono prima di tutti i caratteri inglesi minuscoli.

  • I caratteri inglesi minuscoli vengono per ultimi quando ordinati rispetto ai caratteri inglesi maiuscoli e i numeri.

  • I caratteri speciali vengono ordinati tra gli altri set di caratteri.

Per ulteriori informazioni sulle specifiche di -8, vedi -8 su Wikipedia. UTF UTF

Esempi di utilizzo delle chiavi oggetto Amazon S3 durante l'esportazione di dati su un dispositivo Snowball Edge

Supponiamo di avere un bucket contenente i seguenti oggetti e prefissi, ordinati in UTF ordine binario -8:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • AASVogel/arrow/Object1

  • AASVogel/freccia/Oggetto2

  • Aasvogel/banana

  • AASVogel/Banker/Oggetto1

  • AASVogel/Banker/Oggetto2

  • Aasvogel/cherry

  • Banana

  • Car

Inizio dell'intervallo specificato Fine dell'intervallo specificato Oggetti dell'intervallo che verranno esportati
(nessuno) (nessuno) Tutti gli oggetti nel bucket
(nessuno) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

AASVogel/arrow/Object1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/cherry

(nessuno) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

Aasvogel (nessuno)

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/cherry

Banana

Car

Aardwolf (nessuno)

Aardwolf

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/cherry

Banana

Car

Aar (nessuno)

Aardvark

Aardwolf

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/cherry

Banana

Car

car (nessuno)

Nessun oggetto viene esportato e viene visualizzato un messaggio di errore quando cerchi creare il processo. Nota che l'auto è ordinata sotto Car in base a -8 valori binari. UTF

Aar Aarrr

Aardvark

Aardwolf

AASVogel/Arrow

AASVogel/Arrox

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

Aasvogel/apple AASVogel/Banchiere

Aasvogel/apple

AASVogel/freccia/Oggetto 1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

AASVogel/freccia/Oggetto1

AASVogel/freccia/Oggetto2

Aasvogel/banana

AASVogel/Banker/Oggetto1

AASVogel/Banker/Oggetto2

Aasvogel/cherry

Supponiamo di avere questi tre bucket e di voler copiare tutti gli oggetti dalla cartella 2.

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

Inizio dell'intervallo specificato Fine dell'intervallo specificato Oggetti dell'intervallo che verranno esportati
cartella2/ cartella 2/ Tutti gli oggetti in bucket folder2.

Procedure consigliate per lavori di esportazione di dati da Amazon S3 a un dispositivo Snowball Edge

  • Assicurati che i dati siano in Amazon S3, esegui il batch di file di piccole dimensioni prima di ordinare il lavoro

  • Assicurati che gli intervalli chiave siano specificati nella definizione del processo di esportazione se hai milioni di oggetti nel tuo bucket

  • Aggiorna le chiavi oggetto per rimuovere la barra nel nome poiché gli oggetti con barre finali nei nomi (/o\) non vengono trasferiti su Snowball Edge

  • Per i bucket S3, la lunghezza massima degli oggetti è di 255 caratteri.

  • Per i bucket S3 abilitati alla versione, viene esportata solo la versione corrente degli oggetti.

  • I marker di eliminazione non vengono esportati.