Transfert de fichiers à l'aide de l'adaptateur Amazon S3 pour la migration des données vers ou depuis les appareils de la gamme Snow - AWS Snowball Edge Guide du développeur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Transfert de fichiers à l'aide de l'adaptateur Amazon S3 pour la migration des données vers ou depuis les appareils de la gamme Snow

Vous trouverez ci-dessous une présentation de l'adaptateur Amazon S3, que vous pouvez utiliser pour transférer des données par programmation vers et depuis des compartiments S3 déjà présents sur l' AWS Snowball Edge appareil à l'aide d'actions Amazon S3. REST API Ce REST API support Amazon S3 est limité à un sous-ensemble d'actions. Vous pouvez utiliser ce sous-ensemble d'actions avec l'une des AWS SDKs pour transférer des données par programmation. Vous pouvez également utiliser le sous-ensemble de commandes supported AWS Command Line Interface (AWS CLI) pour Amazon S3 pour transférer des données par programmation.

Si votre solution utilise la AWS SDK for Java version 1.11.0 ou une version plus récente, vous devez utiliser ce qui suit : S3ClientOptions

  • disableChunkedEncoding()— Indique que le codage fragmenté n'est pas pris en charge par l'interface.

  • setPathStyleAccess(true)— Configure l'interface pour qu'elle utilise un accès de type chemin pour toutes les demandes.

Pour plus d'informations, consultez Class S3 ClientOptions .Builder dans Amazon AppStream SDK pour Java.

Important

Nous vous recommandons de n'utiliser qu'une seule méthode à la fois pour lire et écrire des données dans un bucket local sur un AWS Snowball Edge appareil. L'utilisation simultanée de l'interface de fichier et de l'adaptateur Amazon S3 sur le même compartiment peut entraîner des conflits de lecture/écriture.

AWS Snowball Quotas de limitedétaille les limites.

Pour que les AWS services fonctionnent correctement sur un Snowball Edge, vous devez autoriser les ports pour les services. Pour plus de détails, consultez Exigences relatives aux ports pour AWS les services sur un appareil Snow Family.

Téléchargement et installation de la AWS CLI version 1.16.14 à utiliser avec l'adaptateur Amazon S3

Actuellement, les appareils Snowball Edge ne prennent en charge que les versions 1.16.14 et antérieures AWS CLI pour une utilisation avec l'adaptateur Amazon S3. Les versions plus récentes ne AWS CLI sont pas compatibles avec l'adaptateur Amazon S3 car elles ne prennent pas en charge toutes les fonctionnalités de l'adaptateur S3.

Note

Si vous utilisez un espace de stockage compatible Amazon S3 sur des appareils Snow Family, vous pouvez utiliser la dernière version du AWS CLI. Pour télécharger et utiliser la dernière version, consultez le guide de AWS Command Line Interface l'utilisateur.

Installez le AWS CLI sur les systèmes d'exploitation Linux

Exécutez cette commande chaînée :

curl "https://s3.amazonaws.com/aws-cli/awscli-bundle-1.16.14.zip" -o "awscli-bundle.zip";unzip awscli-bundle.zip;sudo ./awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws;/usr/local/bin/aws --version;

Installez le AWS CLI sur les systèmes d'exploitation Windows

Téléchargez et exécutez le fichier d'installation correspondant à votre système d'exploitation :

Utilisation des API opérations AWS CLI et sur les appareils Snowball Edge

Lorsque vous utilisez les API opérations AWS CLI ou pour émettre IAM des EC2 commandes Amazon S3 et Amazon sur Snowball Edge, vous devez spécifier la région sous la forme « »snow. Vous pouvez le faire à l'aide AWS configure ou au sein de la commande elle-même, comme dans les exemples suivants.

aws configure --profile abc AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE AWS Secret Access Key [None]: 1234567 Default region name [None]: snow Default output format [None]: json

Ou

aws s3 ls --profile snowballEdge --endpoint http://192.0.2.0:8080 --region snow

Autorisation avec l'APIinterface Amazon S3 pour AWS Snowball

Lorsque vous utilisez l'adaptateur Amazon S3, chaque interaction est signée par défaut avec l'algorithme AWS Signature Version 4. Cette autorisation est utilisée uniquement pour vérifier les données qui voyagent de leur source vers l'interface. Toutes les opérations de chiffrement et de déchiffrement ont lieu dans l'appareil. Les données non chiffrées ne sont jamais stockées sur l'appareil.

Lorsque vous utilisez l'interface, tenez compte des points suivants :

  • Pour obtenir les informations d'identification Amazon S3 locales permettant de signer vos demandes sur l' AWS Snowball Edge appareil, exécutez les snowballEdge list-access-keys commandes client et snowballEdge get-secret-access-keys Snowball Edge. Pour de plus amples informations, veuillez consulter Configuration et utilisation du client Snowball Edge. Ces informations d'identification Amazon S3 locales incluent une paire de clés : une clé d'accès et une clé secrète. Ces clés sont valides uniquement pour les appareils associés à votre tâche. Ils ne peuvent pas être utilisés dans le AWS Cloud car ils n'ont pas d'équivalent AWS Identity and Access Management (IAM).

  • La clé de chiffrement n'est pas modifiée par les AWS informations d'identification que vous utilisez. La signature à l'aide de l'algorithme Signature Version 4 est uniquement utilisée pour vérifier les données voyageant de leur source vers l'interface. Ainsi, cette signature n'entre jamais en ligne de compte dans les clés de chiffrement utilisées pour chiffrer vos données sur le Snowball.

Obtenir et utiliser les informations d'identification Amazon S3 locales sur les appareils Snow Family

Chaque interaction avec un Snowball Edge est signée avec l'algorithme AWS Signature Version 4. Pour de plus amples informations sur l'algorithme, veuillez consulter les informations sur le processus Signature Version 4 dans le Références générales AWS.

Vous pouvez obtenir les informations d'identification Amazon S3 locales pour signer vos demandes sur l'appareil Edge du client Snowball Edge en exécutant les informations du client snowballEdge list-access-keys snowballEdge get-secret-access-key Snowball Edge, voir. Obtenir les informations d'identification d'un appareil Snow Family Ces informations d'identification Amazon S3 locales incluent une paire de clés : un identifiant de clé d'accès et une clé secrète. Ces informations d'identification sont valides uniquement pour les appareils associés à votre tâche. Ils ne peuvent pas être utilisés dans le AWS Cloud car ils n'ont pas d'IAMéquivalent.

Vous pouvez ajouter ces informations d'identification au fichier AWS d'informations d'identification sur votre serveur. Le fichier des profils d'informations d'identification par défaut est généralement situé dans le répertoire ~/.aws/credentials, mais cet emplacement peut varier selon la plate-forme. Ce fichier est partagé par de nombreux AWS SDKs et par le AWS CLI. Vous pouvez enregistrer les informations d'identification locales en utilisant un nom de profil, comme dans l'exemple ci-dessous.

[snowballEdge] aws_access_key_id = AKIAIOSFODNN7EXAMPLE aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Configuration du AWS CLI pour utiliser l'adaptateur S3 sur un appareil de la famille Snow comme point de terminaison

Lorsque vous utilisez le AWS CLI pour envoyer une commande à l' AWS Snowball Edge appareil, vous spécifiez que le point de terminaison est l'adaptateur Amazon S3. Vous pouvez choisir d'utiliser le HTTPS point de terminaison ou un point de HTTP terminaison non sécurisé, comme indiqué ci-dessous.

HTTPSpoint de terminaison sécurisé

aws s3 ls --profile snowballEdge --endpoint https://192.0.2.0:8443 --ca-bundle path/to/certificate

HTTPpoint de terminaison non sécurisé

aws s3 ls --profile snowballEdge --endpoint http://192.0.2.0:8080

Si vous utilisez le HTTPS point de terminaison de8443, vos données sont transférées en toute sécurité de votre serveur vers le Snowball Edge. Ce cryptage est assuré par un certificat généré par le Snowball Edge lorsqu'il reçoit une nouvelle adresse IP. Une fois que vous avez votre certificat, vous pouvez l'enregistrer dans un fichier ca-bundle.pem local. Vous pouvez ensuite configurer votre AWS CLI profil pour inclure le chemin d'accès à votre certificat, comme décrit ci-dessous.

Pour associer votre certificat au point de terminaison de l'interface
  1. Connectez le Snowball Edge à l'alimentation et au réseau, puis allumez-le.

  2. Une fois que la phase de démarrage est terminée, notez son adresse IP sur votre réseau local.

  3. Depuis un terminal de votre réseau, assurez-vous de pouvoir envoyer un ping au Snowball Edge.

  4. Exécutez la commande snowballEdge get-certificate dans votre terminal. Pour plus d'informations sur cette commande, consultez Gestion des certificats de clé publique sur les appareils de la gamme Snow.

  5. Enregistrez la sortie de la commande snowballEdge get-certificate dans un fichier, par exemple ca-bundle.pem.

  6. Exécutez la commande suivante à partir de votre terminal.

    aws configure set profile.snowballEdge.ca_bundle /path/to/ca-bundle.pem

Une fois la procédure terminée, vous pouvez exécuter des CLI commandes avec ces informations d'identification locales, votre certificat et le point de terminaison que vous avez spécifié, comme dans l'exemple suivant.

aws s3 ls --profile snowballEdge --endpoint https://192.0.2.0:8443

Fonctionnalités Amazon S3 non prises en charge pour l'adaptateur Amazon S3 sur les appareils de la famille Snow

À l'aide de l'adaptateur Amazon S3, vous pouvez transférer des données par programmation vers et depuis un Snowball Edge à l'aide d'actions Amazon S3. API Cependant, toutes les fonctionnalités et API actions de transfert Amazon S3 ne sont pas prises en charge pour une utilisation avec un appareil Snowball Edge lors de l'utilisation de l'adaptateur Amazon S3. Par exemple, les fonctionnalités et actions suivantes ne sont pas prises en charge pour une utilisation avec Snowball Edge :

  • TransferManager— Cet utilitaire transfère des fichiers d'un environnement local vers Amazon S3 avec le SDK pour Java. Envisagez plutôt d'utiliser les API actions ou AWS CLI commandes prises en charge avec l'interface.

  • GETBucket (List Objects) Version 2 — Cette implémentation de l'GETaction renvoie une partie ou la totalité (jusqu'à 1 000) des objets d'un bucket. Envisagez d'utiliser l'action GETBucket (List Objects) Version 1 ou la AWS CLI commande ls.

  • ListBuckets— Le point de terminaison ListBuckets avec l'objet n'est pas pris en charge. La commande suivante ne fonctionne pas avec le stockage compatible Amazon S3 sur les appareils de la famille Snow :

    aws s3 ls --endpoint https://192.0.2.0 --profile profile