Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon S3 sur les Outposts avec Amazon EMR sur les Outposts en local

Amazon EMR est une plate-forme de clusters gérés qui simplifie l'exécution de frameworks de mégadonnées, tels que Apache Hadoop and Apache Spark, AWS pour traiter et analyser de grandes quantités de données. En utilisant ces frameworks et les projets open source associés, vous pouvez traiter les données à des fins d'analyse et de charge de travail de business intelligence. Amazon vous aide EMR également à transformer et à déplacer de grandes quantités de données vers et depuis d'autres banques de AWS données et bases de données, et prend en charge Amazon S3 on Outposts. Pour plus d'informations sur AmazonEMR, consultez Amazon EMR on Outposts dans le guide de EMRgestion Amazon.

Pour Amazon S3 on Outposts, Amazon EMR a commencé à prendre en charge le Apache Hadoop Connecteur S3A en version 7.0.0. Les versions antérieures d'Amazon EMR ne prennent pas en charge le S3 local sur Outposts, et le système de EMR fichiers (EMRFS) n'est pas pris en charge.

Applications prises en charge

Amazon EMR avec Amazon S3 on Outposts prend en charge les applications suivantes :

Pour plus d'informations, consultez le Amazon EMR Release Guide.

Création et configuration d'un bucket Amazon S3 on Outposts

Amazon EMR utilise Amazon S3 on Outposts pour stocker les données d'entrée et de sortie. AWS SDK for Java Vos fichiers EMR journaux Amazon sont stockés dans un emplacement Amazon S3 régional que vous sélectionnez et ne sont pas stockés localement sur l'Outpost. Pour plus d'informations, consultez Amazon EMR Logs dans le guide EMR de gestion Amazon.

Pour se conformer à Amazon S3 et à ses DNS exigences, les compartiments S3 on Outposts sont soumis à des restrictions et limitations de dénomination. Pour de plus amples informations, veuillez consulter Création d'un compartiment S3 on Outposts.

Avec les EMR versions 7.0.0 et ultérieures d'Amazon, vous pouvez utiliser Amazon EMR avec S3 sur Outposts et le système de fichiers S3A.

Prérequis

Autorisations S3 on Outposts — Lorsque vous créez votre profil d'EMRinstance Amazon, votre rôle doit contenir l'espace de noms AWS Identity and Access Management (IAM) pour S3 on Outposts. S3 on Outposts possède son propre espace de noms,. s3-outposts* Pour un exemple de politique utilisant cet espace de noms, consultezConfiguration IAM avec S3 sur Outposts.

Connecteur S3A — Pour configurer votre EMR cluster afin d'accéder aux données d'un bucket Amazon S3 on Outposts, vous devez utiliser le Apache Hadoop Connecteur S3A Pour utiliser le connecteur, assurez-vous que tous vos S3 URIs utilisent le s3a schéma. Si ce n'est pas le cas, vous pouvez configurer l'implémentation du système de fichiers que vous utilisez pour votre EMR cluster afin que votre S3 URIs fonctionne avec le connecteur S3A.

Pour configurer l'implémentation du système de fichiers afin qu'elle fonctionne avec le connecteur S3A, vous utilisez les propriétés de fs.AbstractFileSystem.file_scheme.impl configuration fs.file_scheme.impl et de votre EMR cluster, URIs qui file_scheme correspondent au type de S3 dont vous disposez. Pour utiliser l'exemple suivant, remplacez espaces réservés à la saisie par l'utilisateur avec vos propres informations. Par exemple, pour modifier l'implémentation du système de fichiers pour S3 URIs qui utilise le s3 schéma, spécifiez les propriétés de configuration de cluster suivantes :

[
  {
"Classification": "core-site",
    "Properties": {
    "fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
    "fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
    }
  }
]
    

Pour utiliser S3A, définissez la propriété fs.file_scheme.impl de configuration surorg.apache.hadoop.fs.s3a.S3AFileSystem, puis définissez la fs.AbstractFileSystem.file_scheme.impl propriété sur. org.apache.hadoop.fs.s3a.S3A

Par exemple, si vous accédez au chemins3a://bucket/..., définissez la fs.s3a.impl propriété sur org.apache.hadoop.fs.s3a.S3AFileSystem et définissez la fs.AbstractFileSystem.s3a.impl propriété surorg.apache.hadoop.fs.s3a.S3A.

Commencer à utiliser Amazon EMR avec Amazon S3 sur Outposts

Les rubriques suivantes expliquent comment commencer à utiliser Amazon EMR avec Amazon S3 sur Outposts.

Créer une stratégie d’autorisations

Avant de créer un EMR cluster qui utilise Amazon S3 sur Outposts, vous devez créer une IAM politique à associer au profil d'EC2instance Amazon du cluster. La politique doit disposer d'autorisations pour accéder au point d'accès S3 on Outposts Amazon Resource Name ()ARN. Pour plus d'informations sur la création IAM de politiques pour S3 on Outposts, consultez. Configuration IAM avec S3 sur Outposts

L'exemple de politique suivant montre comment accorder les autorisations requises. Après avoir créé la politique, attachez-la au rôle de profil d'instance que vous utilisez pour créer votre EMR cluster, comme décrit dans la Création et configuration de votre cluster section. Pour utiliser cet exemple, remplacez espaces réservés à la saisie par l'utilisateur avec vos propres informations.

{
"Version":"2012-10-17", 
  "Statement": [
        {
  "Effect": "Allow",
            "Resource": "arn:aws:s3-outposts:us-west-2:111122223333:outpost/op-01ac5d28a6a232904/accesspoint/access-point-name,
            "Action": [
                "s3-outposts:*"
            ]
        }
    ]
    
 }

Création et configuration de votre cluster

Pour créer un cluster qui exécute Spark avec S3 sur Outposts, effectuez les étapes suivantes dans la console.

Présentation des configurations

Le tableau suivant décrit les configurations S3A et les valeurs à spécifier pour leurs paramètres lorsque vous configurez un cluster qui utilise S3 sur Outposts with Amazon. EMR

Le tableau suivant décrit Spark les configurations et les valeurs à spécifier pour leurs paramètres lorsque vous configurez un cluster qui utilise S3 sur Outposts with Amazon. EMR

Considérations

Tenez compte des points suivants lorsque vous intégrez Amazon EMR à S3 sur des buckets Outposts :