Migrez les données d'un environnement Hadoop sur site vers Amazon S3 à l'aide de DistCp with AWS PrivateLink for Amazon S3

Créez un point de terminaison AWS PrivateLink pour Amazon S3.

Vérifiez les points de terminaison et recherchez les DNS entrées.

Vérifiez les règles de pare-feu et les configurations de routage.

Pour vérifier que les règles de votre pare-feu sont ouvertes et que votre configuration réseau est correctement configurée, utilisez Telnet pour tester le point de terminaison sur le port 443. Par exemple :

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.88.6...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

...

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.71.141...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

Remarque : si vous utilisez l'entrée Regional, un test réussi montre qu'il DNS y a alternance entre les deux adresses IP que vous pouvez voir dans l'onglet Sous-réseaux pour le point de terminaison sélectionné dans la VPC console Amazon.

Configurez la résolution du nom.

Vous devez configurer la résolution des noms pour permettre à Hadoop d'accéder au point de terminaison de l'interface Amazon S3. Vous ne pouvez pas utiliser le nom du point de terminaison lui-même. Au lieu de cela, vous devez résoudre <your-bucket-name>.s3.<your-aws-region>.amazonaws.com ou*.s3.<your-aws-region>.amazonaws.com. Pour plus d'informations sur cette limitation de dénomination, consultez Présentation du client Hadoop S3A (site Web Hadoop).

Choisissez l'une des options de configuration suivantes :

Configurez l'authentification pour Amazon S3.

Pour vous authentifier auprès d'Amazon S3 via Hadoop, nous vous recommandons d'exporter les informations d'identification de rôle temporaires vers l'environnement Hadoop. Pour plus d'informations, consultez Authentification avec S3 (site Web Hadoop). Pour les tâches de longue durée, vous pouvez créer un utilisateur et attribuer une politique autorisant à placer des données uniquement dans un compartiment S3. La clé d'accès et la clé secrète peuvent être stockées sur Hadoop, accessibles uniquement au DistCp job lui-même et à l'administrateur Hadoop. Pour plus d'informations sur le stockage des secrets, consultez Stockage des secrets avec les fournisseurs d'informations d'identification Hadoop (site Web Hadoop). Pour plus d'informations sur les autres méthodes d'authentification, consultez Comment obtenir les informations d'identification d'un IAM rôle à utiliser pour CLI accéder à un AWS compte dans la documentation AWS IAM d'Identity Center (successeur de Single Sign-On). AWS

Pour utiliser des informations d'identification temporaires, ajoutez-les à votre fichier d'informations d'identification ou exécutez les commandes suivantes pour exporter les informations d'identification vers votre environnement :

export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY

Si vous utilisez une combinaison classique de clé d'accès et de clé secrète, exécutez les commandes suivantes :

export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key

Remarque : Si vous utilisez une combinaison de clé d'accès et de clé secrète, remplacez le fournisseur d'informations d'identification dans les DistCp commandes par "org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider""org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider".

Transférez des données en utilisant DistCp.

Pour DistCp transférer des données, exécutez les commandes suivantes :

hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3.<your-aws-region>.amazonaws.com \
hdfs:///user/root/ s3a://<your-bucket-name>

Remarque : La AWS région du point de terminaison n'est pas automatiquement découverte lorsque vous utilisez la DistCp commande with AWS PrivateLink pour Amazon S3. Hadoop 3.3.2 et les versions ultérieures résolvent ce problème en activant l'option permettant de définir explicitement la AWS région du compartiment S3. Pour plus d'informations, consultez S3A pour ajouter l'option fs.s3a.endpoint.region pour définir la région (site Web Hadoop). AWS

Pour plus d'informations sur les fournisseurs S3A supplémentaires, consultez Configuration générale du client S3A (site Web Hadoop). Par exemple, si vous utilisez le chiffrement, vous pouvez ajouter l'option suivante à la série de commandes ci-dessus en fonction de votre type de chiffrement :

-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]

Remarque : Pour utiliser le point de terminaison de l'interface avec S3A, vous devez créer une entrée d'DNSalias pour le nom régional S3 (par exemple,s3.<your-aws-region>.amazonaws.com) du point de terminaison de l'interface. Consultez la section Configurer l'authentification pour Amazon S3 pour obtenir des instructions. Cette solution de contournement est requise pour Hadoop 3.3.2 et les versions antérieures. Les futures versions de S3A ne nécessiteront pas cette solution de contournement.

Si vous rencontrez des problèmes de signature avec Amazon S3, ajoutez une option permettant d'utiliser la signature Signature Version 4 (Sigv4) :

-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"