Traitement par lots de petits fichiers pour améliorer les performances de transfert de données vers les appareils de la gamme Snow - AWS Snowball Edge Guide du développeur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement par lots de petits fichiers pour améliorer les performances de transfert de données vers les appareils de la gamme Snow

Chaque opération de copie entraîne une surcharge en raison du chiffrement. Pour accélérer le processus de transfert de petits fichiers vers votre AWS Snowball Edge appareil, vous pouvez les regrouper dans une seule archive. Lorsque vous regroupez des fichiers, ils peuvent être extraits automatiquement lorsqu'ils sont importés dans Amazon S3, s'ils ont été regroupés dans l'un des formats d'archive pris en charge.

En général, les fichiers de 1 Mo ou moins doivent être inclus dans des lots. Il n'existe aucune limite stricte au nombre de fichiers que vous pouvez avoir dans un lot, même si nous vous recommandons toutefois de limiter vos lots à environ 10 000 fichiers. La présence de plus de 100 000 fichiers dans un lot peut affecter la rapidité avec laquelle ces fichiers sont importés dans Amazon S3 après le retour de l'appareil. Il est recommandé que la taille totale de chaque lot ne dépasse pas 100 Go.

Le regroupement de fichiers est un processus manuel que vous gérez. Après avoir regroupé vos fichiers, transférez-les sur un appareil Snowball Edge à l'aide de la AWS CLI cp commande associée à l'--metadata snowball-auto-extract=trueoption. La spécification extrait snowball-auto-extract=true automatiquement le contenu des fichiers archivés lorsque les données sont importées dans Amazon S3, à condition que la taille du fichier par lots ne dépasse pas 100 Go.

Note

Les lots supérieurs à 100 Go ne sont pas extraits lors de leur importation dans Amazon S3.

Pour regrouper de petits fichiers

  1. Décidez du format dans lequel vous souhaitez regrouper vos petits fichiers. La fonctionnalité d'extraction automatique prend en charge les formats TAR, ZIP et tar.gz.

  2. Identifiez les petits fichiers que vous souhaitez regrouper, y compris leur taille et le nombre total de fichiers à mettre ensemble.

  3. Batch vos fichiers sur la ligne de commande, comme indiqué dans les exemples suivants.

    • Pour Linux, vous pouvez regrouper les fichiers dans la même ligne de commande que celle utilisée pour transférer vos fichiers vers l'appareil. 

      tar -cf - /Logs/April | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080
      Note

      Vous pouvez également utiliser l'utilitaire d'archivage de votre choix pour regrouper les fichiers dans une ou plusieurs grosses archives. Toutefois, cette approche nécessite davantage de stockage local pour enregistrer les archives avant de les transférer vers l'appliance Snowball.

    • Pour Windows, utilisez l'exemple de commande suivant pour regrouper les fichiers lorsque tous les fichiers se trouvent dans le même répertoire à partir duquel la commande est exécutée :

      7z a -tzip -so "test" | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

      Pour regrouper des fichiers provenant d'un autre répertoire à partir duquel la commande est exécutée, utilisez l'exemple de commande suivant :

      7z a -tzip -so "test" "c:\temp" | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://10.x.x.x:8080
      Note

      Pour Microsoft Windows 2016, le fichier tar n'est pas disponible, mais vous pouvez le télécharger depuis le site Web de Tar pour Windows.

      Vous pouvez en télécharger 7 ZIP sur le ZIP site Web 7.

  4. Répétez l'opération jusqu'à ce que vous ayez archivé tous les petits fichiers que vous souhaitez transférer vers Amazon S3 à l'aide d'un Snowball Edge.

  5. Transférez les fichiers archivés vers le Snowball. Si vous souhaitez que les données soient extraites automatiquement et que vous avez utilisé l'un des formats d'archive pris en charge mentionnés précédemment à l'étape 1, utilisez la AWS CLI cp commande avec l'--metadata snowball-auto-extract=trueoption.

    Note

    S'il existe des fichiers autres que des archives, n'utilisez pas cette commande.

Lors de la création des fichiers d'archive, l'extraction conservera la structure de données actuelle. Cela signifie que si vous créez un fichier d'archive contenant des fichiers et des dossiers, Snowball Edge le recréera lors du processus d'ingestion vers Amazon S3.

Le fichier d'archive sera extrait dans le même répertoire que celui dans lequel il est stocké et les structures de dossiers seront créées en conséquence. N'oubliez pas que lors de la copie de fichiers d'archive, il est important de définir l'indicateur--metadata snowball-auto-extract=true. Sinon, Snowball Edge n'extraira pas les données lors de leur importation dans Amazon S3.

À l'aide de l'exemple de l'étape 3, si la structure de dossiers /Logs/April/ contient des fichiers, et. a.txt b.txt c.txt Si ce fichier d'archive était placé à la racine de/amzn-s3-demo-bucket/, les données ressembleraient à ce qui suit après l'extraction :

/amzn-s3-demo-bucket/Logs/April/a.txt
/amzn-s3-demo-bucket/Logs/April/b.txt
/amzn-s3-demo-bucket/Logs/April/c.txt

Si le fichier d'archive était placé dans/amzn-s3-demo-bucket/Test/, l'extraction ressemblerait à ce qui suit :

/amzn-s3-demo-bucket/Test/Logs/April/a.txt
/amzn-s3-demo-bucket/Test/Logs/April/b.txt
/amzn-s3-demo-bucket/Test/Logs/April/c.txt