Création AWS CloudFormation de modèles pour Amazon EMR Studio

Pour créer des modèles de EMR clusters à l'aide de Service Catalog

1. Créez un ou plusieurs CloudFormation modèles. C'est à vous de décider où vous stockez vos modèles. Les modèles étant des fichiers texte formatés, vous pouvez les charger sur Amazon S3 ou les conserver dans votre système de fichiers local. Pour en savoir plus sur les CloudFormation modèles, consultez la section Modèles du guide de AWS CloudFormation l'utilisateur.

   Utilisez les règles suivantes pour nommer vos modèles ou vérifiez vos noms par rapport au modèle [a-zA-Z0-9][a-zA-Z0-9._-]*.

   • Le nom des modèles doit commencer par un chiffre ou une lettre.

   • Les noms des modèles ne peuvent être composés que de lettres, de chiffres, de points (.), de traits de soulignement (_) et de tirets (-).

   Chaque modèle de cluster que vous créez doit inclure les options suivantes :

   Paramètres d'entrée

   • ClusterName — Un nom pour le cluster afin d'aider les utilisateurs à l'identifier une fois qu'il a été provisionné.

   Sortie

   • ClusterId— L'ID du cluster nouvellement provisionnéEMR.

   Voici un exemple de AWS CloudFormation modèle au YAML format pour un cluster à deux nœuds. L'exemple de modèle inclut les options de modèle requises et définit des paramètres d'entrée supplémentaires pour EmrRelease et ClusterInstanceType.

   awsTemplateFormatVersion: 2010-09-09
   
   Parameters:
     ClusterName:
       Type: "String"
       Default: "Example_Two_Node_Cluster"
     EmrRelease:
       Type: "String"
       Default: "emr-6.2.0"
       AllowedValues:
       - "emr-6.2.0"
       - "emr-5.32.0"
     ClusterInstanceType:
       Type: "String"
       Default: "m5.xlarge"
       AllowedValues:
       - "m5.xlarge"
       - "m5.2xlarge"
   
   Resources:
     EmrCluster:
       Type: AWS::EMR::Cluster
       Properties:
         Applications:
         - Name: Spark
         - Name: Livy
         - Name: JupyterEnterpriseGateway
         - Name: Hive
         EbsRootVolumeSize: '10'
         Name: !Ref ClusterName
         JobFlowRole: EMR_EC2_DefaultRole
         ServiceRole: EMR_DefaultRole_V2
         ReleaseLabel: !Ref EmrRelease
         VisibleToAllUsers: true
         LogUri: 
           Fn::Sub: 's3://aws-logs-${AWS::AccountId}-${AWS::Region}/elasticmapreduce/'
         Instances:
           TerminationProtected: false
           Ec2SubnetId: 'subnet-ab12345c'
           MasterInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
           CoreInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
             Market: ON_DEMAND
             Name: Core
   
   Outputs:
     ClusterId:
       Value:
         Ref: EmrCluster
       Description: The ID of the  EMR cluster

2. Créez un portfolio pour vos modèles de cluster dans le même AWS compte que votre Studio.

   1. Ouvrez la AWS Service Catalog console à l'adresse https://console.aws.amazon.com/servicecatalog/.

   2. Dans le menu de navigation de gauche, choisissez Portefeuilles.

   3. Entrez les informations demandées sur la page Créer un portefeuille.

   4. Choisissez Créer. AWS Service Catalog crée le portefeuille et affiche les détails du portefeuille.

3. Suivez les étapes ci-dessous pour ajouter vos modèles de cluster en tant que produits AWS Service Catalog .

   1. Accédez à la page Produits sous Administration dans la console de gestion AWS Service Catalog .

   2. Choisissez Importer un nouveau produit.

   3. Entrez le nom du produit et le propriétaire.

   4. Spécifiez votre fichier modèle sous Détails de la version.

   5. Choisissez Réviser pour vérifier les paramètres de votre produit, puis Créer un produit.

4. Suivez les étapes ci-dessous pour ajouter vos produits à votre portefeuille.

   1. Accédez à la page Produits dans la console de gestion AWS Service Catalog .

   2. Choisissez votre produit, sélectionnez Actions, puis choisissez Ajouter un produit au portefeuille.

   3. Choisissez votre portefeuille, puis choisissez Ajouter un produit au portefeuille.

5. Créez une contrainte de lancement pour vos produits. Une contrainte de lancement est un IAM rôle qui spécifie les autorisations des utilisateurs pour le lancement d'un produit. Vous pouvez adapter vos contraintes de lancement, mais vous devez autoriser les autorisations d'utilisation CloudFormationEMR, Amazon et AWS Service Catalog. Pour plus d'informations et d'instructions, consultez Contraintes de lancement de Service Catalog.

6. Appliquez votre contrainte de lancement à chaque produit de votre portefeuille. Vous devez appliquer la contrainte de lancement à chaque produit individuellement.

   1. Sélectionnez votre portefeuille sur la page Portefeuilles de la console de gestion AWS Service Catalog .

   2. Cliquez sur l'onglet Constraints (Contraintes) puis sur Create constraint (Créer une contrainte).

   3. Sélectionnez votre produit puis choisissez Produit sous Type de contrainte. Choisissez Continuer.

   4. Sélectionnez votre rôle de contrainte de lancement dans la section Contrainte de lancement, puis choisissez Créer.

7. Accordez l'accès à votre portefeuille.

   1. Sélectionnez votre portefeuille sur la page Portefeuilles de la console de gestion AWS Service Catalog .

   2. Développez l'onglet Groupes, rôles et utilisateurs et choisissez Ajouter des groupes, des rôles, des utilisateurs.

   3. Recherchez votre IAM rôle EMR Studio dans l'onglet Rôles, sélectionnez votre rôle, puis choisissez Ajouter un accès.

      Si vous utilisez...	Octroi de l'accès à…
      IAMauthentification	Vos utilisateurs natifs
      IAMfédération	Votre IAM rôle au sein de la fédération
      IAMFédération des centres d'identité	Votre rôle d'utilisateur dans EMR Studio