Amazon S3 sur Outposts avec Amazon EMR local sur Outposts

Amazon EMR est une plateforme de cluster gérée qui simplifie l’exécution des infrastructures de big data, telles qu’Apache Hadoop et Apache Spark, sur AWS pour traiter et analyser de grandes quantités de données. Grâce à ces infrastructures et des projets open source connexes, vous pouvez traiter des données à des fins d’analytique et pour des charges de travail d’informatique décisionnelle. Amazon EMR aide également à transformer et déplacer de grandes quantités de données vers et à partir d’autres bases de données et magasins de données AWS, et prend en charge Amazon S3 sur Outposts. Pour plus d’informations sur Amazon EMR, consultez Amazon EMR sur Outposts dans le Guide de gestion Amazon EMR.

Pour Amazon S3 sur Outposts, Amazon EMR a commencé à prendre en charge le connecteur Apache Hadoop S3A dans sa version 7.0.0. Les versions antérieures d’Amazon EMR ne prennent pas en charge le service S3 local sur Outposts, et le système de fichiers EMR (EMRFS) n’est pas pris en charge.

Applications prises en charge

Amazon EMR avec Amazon S3 sur Outposts prend en charge les applications suivantes :

Pour plus d’informations, consultez le Guide de version Amazon EMR.

Création et configuration d’un compartiment Amazon S3 sur Outposts

Amazon EMR utilise AWS SDK for Java avec Amazon S3 sur Outposts pour stocker des données d’entrée et de sortie. Vos fichiers journaux Amazon EMR sont stockés dans un emplacement Amazon S3 régional que vous sélectionnez et ne sont pas stockés localement sur l’Outpost. Pour plus d’informations, consultez Journaux Amazon EMR dans le Guide de gestion Amazon EMR.

Pour se conformer aux exigences Amazon S3 et DNS, les compartiments S3 sur Outposts sont soumis à des restrictions et des limitations. Pour en savoir plus, consultez Création d’un compartiment S3 sur Outposts.

À partir d’Amazon EMR version 7.0.0, vous pouvez utiliser Amazon EMR avec S3 sur Outposts et le système de fichiers S3A.

Prérequis

Autorisations S3 sur Outposts : lorsque vous créez votre profil d’instance Amazon EMR, votre rôle doit contenir l’espace de noms AWS Identity and Access Management (IAM) pour S3 sur Outposts. S3 sur Outposts possède son propre espace de noms, s3-outposts*. Pour obtenir un exemple de politique utilisant cet espace de noms, consultez Configuration d’IAM avec S3 sur Outposts.

Connecteur S3A : pour configurer votre cluster EMR pour accéder aux données d’un compartiment Amazon S3 sur Outposts, vous devez utiliser le connecteur Apache Hadoop S3A. Pour utiliser ce connecteur, assurez-vous que tous vos URI S3 utilisent le schéma s3a. Si ce n’est pas le cas, vous pouvez configurer l’implémentation du système de fichiers que vous utilisez pour votre cluster EMR afin que vos URI S3 fonctionnent avec le connecteur S3A.

Pour configurer l’implémentation du système de fichiers afin qu’elle fonctionne avec le connecteur S3A, utilisez les propriétés de configuration fs.file_scheme.impl et fs.AbstractFileSystem.file_scheme.impl pour votre cluster EMR, où file_scheme correspond au type des URI S3 dont vous disposez. Pour utiliser l’exemple suivant, remplacez les user input placeholders par vos propres informations. Par exemple, pour modifier l’implémentation du système de fichiers pour les URI S3 qui utilisent le schéma s3, spécifiez les propriétés de configuration de cluster suivantes :

[
  {
"Classification": "core-site",
    "Properties": {
    "fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
    "fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
    }
  }
]
    

Pour utiliser S3A, définissez la propriété de configuration fs.file_scheme.impl sur org.apache.hadoop.fs.s3a.S3AFileSystem et définissez la propriété fs.AbstractFileSystem.file_scheme.impl sur org.apache.hadoop.fs.s3a.S3A.

Par exemple, si vous accédez au chemin s3a://bucket/..., définissez la propriété fs.s3a.impl sur org.apache.hadoop.fs.s3a.S3AFileSystem et définissez la propriété fs.AbstractFileSystem.s3a.impl sur org.apache.hadoop.fs.s3a.S3A.

Premiers pas avec Amazon EMR et Amazon S3 sur Outposts

Les rubriques suivantes expliquent comment commencer à utiliser Amazon EMR avec Amazon S3 sur Outposts.

Création d’une stratégie d’autorisations

Avant de créer un cluster EMR utilisant Amazon S3 sur Outposts, vous devez créer une politique IAM à attacher au profil d’instance Amazon EC2 pour le cluster. Cette politique doit disposer d’autorisations pour accéder à l’Amazon Resource Name (ARN) du point d’accès S3 sur Outposts. Pour plus d’informations sur la création de politiques IAM pour S3 sur Outposts, consultez Configuration d’IAM avec S3 sur Outposts.

L’exemple de politique suivant montre comment accorder les autorisations requises. Après avoir créé la politique, associez-la au rôle de profil d’instance que vous utilisez pour créer votre cluster EMR, comme décrit dans la section Création et configuration de votre cluster. Pour utiliser cet exemple, remplacez user input placeholders par vos propres informations.

{
"Version":"2012-10-17", 
  "Statement": [
        {
  "Effect": "Allow",
            "Resource": "arn:aws:s3-outposts:us-west-2:111122223333:outpost/op-01ac5d28a6a232904/accesspoint/access-point-name,
            "Action": [
                "s3-outposts:*"
            ]
        }
    ]
    
 }

Création et configuration de votre cluster

Pour créer un cluster qui exécute Spark avec S3 sur Outposts, procédez comme suit dans la console.

Présentation des configurations

Le tableau suivant décrit les configurations S3A et les valeurs à spécifier pour leurs paramètres lorsque vous configurez un cluster qui utilise S3 sur Outposts avec Amazon EMR.

Le tableau suivant décrit les configurations Spark et les valeurs à spécifier pour leurs paramètres lorsque vous configurez un cluster qui utilise S3 sur Outposts avec Amazon EMR.

Considérations

Tenez compte des points suivants lorsque vous intégrez Amazon EMR avec les compartiments S3 sur Outposts :