AWS CloudFormation Vorlagen für Amazon EMR Studio erstellen

So erstellen Sie EMR Clustervorlagen mit Service Catalog

1. Erstellen Sie eine oder mehrere CloudFormation Vorlagen. Wo Sie Ihre Vorlagen speichern, liegt bei Ihnen. Da es sich bei Vorlagen um formatierte Textdateien handelt, können Sie sie auf Amazon S3 hochladen oder in Ihrem lokalen Dateisystem speichern. Weitere Informationen zu CloudFormation Vorlagen finden Sie unter Vorlagen im AWS CloudFormation Benutzerhandbuch.

   Verwenden Sie die folgenden Regeln, um Ihre Vorlagen zu benennen, oder vergleichen Sie Ihre Namen mit dem Muster [a-zA-Z0-9][a-zA-Z0-9._-]*.

   • Vorlagennamen müssen mit einer Ziffer oder einem Buchstaben beginnen.

   • Vorlagennamen dürfen nur aus Buchstaben, Ziffern, Punkten (.), Unterstrichen (_) und Bindestrichen (-) bestehen.

   Jede Cluster-Vorlage, die Sie erstellen, muss die folgenden Optionen enthalten:

   Eingabeparameter

   • ClusterName — Ein Name für den Cluster, der Benutzern hilft, ihn nach der Bereitstellung zu identifizieren.

   Ausgabe

   • ClusterId— Die ID des neu bereitgestellten ClustersEMR.

   Im Folgenden finden Sie eine AWS CloudFormation Beispielvorlage im YAML Format für einen Cluster mit zwei Knoten. Die Beispielvorlage enthält die erforderlichen Vorlagenoptionen und definiert zusätzliche Eingabeparameter für EmrRelease und ClusterInstanceType.

   awsTemplateFormatVersion: 2010-09-09
   
   Parameters:
     ClusterName:
       Type: "String"
       Default: "Example_Two_Node_Cluster"
     EmrRelease:
       Type: "String"
       Default: "emr-6.2.0"
       AllowedValues:
       - "emr-6.2.0"
       - "emr-5.32.0"
     ClusterInstanceType:
       Type: "String"
       Default: "m5.xlarge"
       AllowedValues:
       - "m5.xlarge"
       - "m5.2xlarge"
   
   Resources:
     EmrCluster:
       Type: AWS::EMR::Cluster
       Properties:
         Applications:
         - Name: Spark
         - Name: Livy
         - Name: JupyterEnterpriseGateway
         - Name: Hive
         EbsRootVolumeSize: '10'
         Name: !Ref ClusterName
         JobFlowRole: EMR_EC2_DefaultRole
         ServiceRole: EMR_DefaultRole_V2
         ReleaseLabel: !Ref EmrRelease
         VisibleToAllUsers: true
         LogUri: 
           Fn::Sub: 's3://aws-logs-${AWS::AccountId}-${AWS::Region}/elasticmapreduce/'
         Instances:
           TerminationProtected: false
           Ec2SubnetId: 'subnet-ab12345c'
           MasterInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
           CoreInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
             Market: ON_DEMAND
             Name: Core
   
   Outputs:
     ClusterId:
       Value:
         Ref: EmrCluster
       Description: The ID of the  EMR cluster

2. Erstellen Sie ein Portfolio für Ihre Cluster-Vorlagen in demselben AWS Konto wie Ihr Studio.

   1. Öffnen Sie die AWS Service Catalog Konsole unter https://console.aws.amazon.com/servicecatalog/.

   2. Wählen Sie im linken Navigationsmenü Portfolios.

   3. Geben Sie auf der Seite Portfolio erstellen die erforderlichen Informationen ein.

   4. Wählen Sie Erstellen. AWS Service Catalog erstellt das Portfolio und zeigt die Portfoliodetails an.

3. Führen Sie die folgenden Schritte aus, um Ihre Cluster-Vorlagen als AWS Service Catalog -Produkte hinzuzufügen.

   1. Navigieren Sie in der AWS Service Catalog -Managementkonsole unter Administration zur Seite Produkte.

   2. Wählen Sie Neues Produkt hochladen.

   3. Geben Sie einen Produktnamen und einen Eigentümer ein.

   4. Geben Sie Ihre Vorlagendatei unter Versionsdetails an.

   5. Wähle Überprüfen, um deine Produkteinstellungen zu überprüfen, und wähle dann Produkt erstellen.

4. Führen Sie die folgenden Schritte aus, um Ihre Produkte zu Ihrem Portfolio hinzuzufügen.

   1. Navigieren Sie in der AWS Service Catalog -Managementkonsole unter Administration zur Seite Produkte.

   2. Wählen Sie Ihr Produkt aus, klicken Sie auf Aktionen und anschließend auf Produkt zum Portfolio hinzufügen.

   3. Wählen Sie Ihr Portfolio aus und klicken Sie dann auf Produkt zum Portfolio hinzufügen.

5. Legen Sie eine Beschränkung für die Markteinführung deiner Produkte fest. Eine Startbeschränkung ist eine IAM Rolle, die Benutzerberechtigungen für die Markteinführung eines Produkts festlegt. Sie können Ihre Startbeschränkungen anpassen, müssen jedoch Berechtigungen zur Nutzung CloudFormation von Amazon EMR und gewähren AWS Service Catalog. Weitere Informationen und Anweisungen finden Sie unter Startbeschränkungen für den Service Catalog.

6. Wenden Sie Ihre Markteinführungsbeschränkung auf jedes Produkt in Ihrem Portfolio an. Sie müssen die Markteinführungsbeschränkung auf jedes Produkt einzeln anwenden.

   1. Wählen Sie Ihr Portfolio auf der Portfolio-Seite in der AWS Service Catalog -Managementkonsole aus.

   2. Wählen Sie die Registerkarte Constraints (Einschränkungen) und dann Create constraint (Einschränkung erstellen).

   3. Wählen Sie Ihr Produkt aus und wählen Sie unter Einschränkungstyp die Option Starten aus. Klicken Sie auf Weiter.

   4. Wählen Sie Ihre Startbeschränkungsrolle im Abschnitt Startbeschränkung aus, und wählen Sie dann Erstellen.

7. Gewähren Sie Zugriff auf Ihr Portfolio.

   1. Wählen Sie Ihr Portfolio auf der Portfolio-Seite in der AWS Service Catalog -Managementkonsole aus.

   2. Erweitern Sie den Tab Gruppen, Rollen und Benutzer und wählen Sie Gruppen, Rollen, Benutzer hinzufügen aus.

   3. Suchen Sie auf der Registerkarte Rollen nach Ihrer EMR IAM Studio-Rolle, wählen Sie Ihre Rolle aus und klicken Sie auf Zugriff hinzufügen.

      Wenn Sie …	Zugriff gewähren auf …
      IAMAuthentifizierung	Ihre nativen Benutzer
      IAMFöderation	Deine IAM Rolle für die Föderation
      IAMIdentity Center-Verbund	Ihre EMRStudio-Benutzerrolle