Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer les EMR CloudFormation modèles Amazon dans le Service Catalog

Cette rubrique part du principe que les administrateurs connaissent bien AWS CloudFormationles portefeuilles et les produits d'Amazon AWS Service Catalog, ainsi que ceux d'Amazon EMR.

Pour simplifier la création de EMR clusters Amazon à partir de Studio, les administrateurs peuvent enregistrer un EMR CloudFormation modèle Amazon en tant que produit dans un AWS Service Catalogportefeuille. Pour mettre le modèle à la disposition des data scientists, ils doivent associer le portefeuille au rôle SageMaker d'exécution utilisé dans Studio ou Studio Classic. Enfin, pour permettre aux utilisateurs de découvrir des modèles, de provisionner des clusters et de se connecter aux EMR clusters Amazon depuis Studio ou Studio Classic, les administrateurs doivent définir les autorisations d'accès appropriées.

Les EMR AWS CloudFormation modèles Amazon peuvent permettre aux utilisateurs finaux de personnaliser divers aspects du cluster. Par exemple, les administrateurs peuvent définir une liste approuvée de types d'instances parmi lesquels les utilisateurs peuvent choisir lors de la création d'un cluster.

Les instructions suivantes utilisent des end-to-end CloudFormation piles pour configurer un domaine Studio ou Studio Classic, un profil utilisateur, un portefeuille Service Catalog et remplir un modèle de EMR lancement Amazon. Les étapes suivantes mettent en évidence les paramètres spécifiques que les administrateurs doivent appliquer dans leur end-to-end stack pour permettre à Studio ou Studio Classic d'accéder aux produits Service Catalog et de provisionner des EMR clusters Amazon.

Pour permettre aux data scientists de découvrir les EMR CloudFormation modèles Amazon et de provisionner des clusters depuis Studio ou Studio Classic, procédez comme suit.

Étape 0 : Vérifiez votre réseau et préparez votre CloudFormation stack

Avant de commencer :

Étape 1 : associez votre portefeuille Service Catalog à SageMaker

Dans votre portefeuille Service Catalog, associez votre ID de portefeuille au rôle SageMaker d'exécution accédant à votre cluster.

Pour ce faire, ajoutez la section suivante (ici au YAML format) à votre pile. Cela donne au rôle SageMaker d'exécution l'accès au portefeuille Service Catalog spécifié contenant des produits tels que des EMR modèles Amazon. Il permet aux rôles assumés par SageMaker de lancer ces produits.

Remplacez SageMakerExecutionRole.Arn and SageMakerStudioEMRProductPortfolio.ID avec leurs valeurs réelles.

SageMakerStudioEMRProductPortfolioPrincipalAssociation:
    Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation
    Properties:
      PrincipalARN: SageMakerExecutionRole.Arn
      PortfolioId: SageMakerStudioEMRProductPortfolio.ID
      PrincipalType: IAM

Étape 2 : référencer un EMR modèle Amazon dans un produit Service Catalog

Dans un produit Service Catalog de votre portefeuille, référencez une ressource de EMR modèle Amazon et assurez-vous de sa visibilité dans Studio ou Studio Classic.

Pour ce faire, faites référence à la ressource du EMR modèle Amazon dans la définition du produit Service Catalog, puis ajoutez le "sagemaker:studio-visibility:emr" jeu de clés de balise suivant à la valeur "true" (voir l'exemple au YAML format).

Dans la définition du produit Service Catalog, le AWS CloudFormation modèle du cluster est référencé viaURL. La balise supplémentaire définie sur true garantit la visibilité des EMR modèles Amazon dans Studio ou Studio Classic.

SMStudioEMRNoAuthProduct:
    Type: AWS::ServiceCatalog::CloudFormationProduct
    Properties:
      Owner: AWS
      Name: SageMaker Studio Domain No Auth EMR
      ProvisioningArtifactParameters:
        - Name: SageMaker Studio Domain No Auth EMR
          Description: Provisions a SageMaker domain and No Auth EMR Cluster
          Info:
            LoadTemplateFromURL: Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yaml
      Tags:
        - Key: "sagemaker:studio-visibility:emr"
          Value: "true"

Étape 3 : paramétrer le modèle Amazon EMR CloudFormation

Le CloudFormation modèle utilisé pour définir le EMR cluster Amazon dans le produit Service Catalog permet aux administrateurs de spécifier des paramètres configurables. Les administrateurs peuvent définir Default des valeurs et des AllowedValues plages pour ces paramètres dans la Parameters section du modèle. Au cours du processus de lancement du cluster, les data scientists peuvent fournir des entrées personnalisées ou effectuer des sélections parmi ces options prédéfinies pour personnaliser certains aspects de leur EMR cluster Amazon.

L'exemple suivant illustre les paramètres d'entrée supplémentaires que les administrateurs peuvent définir lors de la création d'un EMR modèle Amazon.

"Parameters": {
    "EmrClusterName": {
      "Type": "String",
      "Description": "EMR cluster Name."
    },
    "MasterInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR master node.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge"
      ]
    },
    "CoreInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR core nodes.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge",
        "m3.medium",
        "m3.large",
        "m3.xlarge",
        "m3.2xlarge"
      ]
    },
    "CoreInstanceCount": {
      "Type": "String",
      "Description": "Number of core instances in the EMR cluster.",
      "Default": "2",
      "AllowedValues": [
        "2",
        "5",
        "10"
      ]
    },
    "EmrReleaseVersion": {
      "Type": "String",
      "Description": "The release version of EMR to launch.",
      "Default": "emr-5.33.1",
      "AllowedValues": [
        "emr-5.33.1",
        "emr-6.4.0"
      ]
    }
  }

Une fois que les administrateurs ont mis les EMR CloudFormation modèles Amazon à disposition dans Studio, les data scientists peuvent les utiliser pour auto-approvisionner des EMR clusters Amazon. La Parameters section définie dans le modèle se traduit par des champs de saisie sur le formulaire de création de cluster dans Studio ou Studio Classic. Pour chaque paramètre, les data scientists peuvent soit saisir une valeur personnalisée dans la zone de saisie, soit sélectionner l'une des options prédéfinies répertoriées dans un menu déroulant, qui correspond à celle AllowedValues spécifiée dans le modèle.

L'illustration suivante montre le formulaire dynamique assemblé à partir d'un EMR modèle CloudFormation Amazon pour créer un EMR cluster Amazon dans Studio ou Studio Classic.

Consultez Lancer un EMR cluster Amazon depuis Studio ou Studio Classic cette page pour savoir comment lancer un cluster depuis Studio ou Studio Classic à l'aide de ces EMR modèles Amazon.

Étape 4 : configurer les autorisations pour permettre de répertorier et de lancer des EMR clusters Amazon depuis Studio

Enfin, attachez les IAM autorisations requises pour permettre de répertorier les EMR clusters Amazon en cours d'exécution existants et d'auto-provisionner de nouveaux clusters à partir de Studio ou Studio Classic.

Le ou les rôles auxquels vous devez ajouter ces autorisations varient selon que Studio ou Studio Classic et Amazon EMR sont déployés sur le même compte (choisissez Compte unique) ou sur des comptes différents (choisissez Compte croisé).