EMRAmazon-Integration mit EC2 Platzierungsgruppen

Wenn Sie einen Amazon-Cluster mit EMR mehreren primären Knoten auf Amazon startenEC2, haben Sie die Möglichkeit, Platzierungsgruppenstrategien zu verwenden, um festzulegen, wie die Primärknoten-Instances zum Schutz vor Hardwareausfällen bereitgestellt werden sollen.

Platzierungsgruppenstrategien werden ab EMR Amazon-Version 5.23.0 als Option für Cluster mit mehreren primären Knoten unterstützt. Derzeit werden nur Primärkotentypen von der Platzierungsgruppenstrategie unterstützt, und die SPREAD-Strategie wird auf diese Primärknoten angewendet. Bei dieser SPREAD-Strategie wird eine kleine Gruppe von Instances auf separater zugrundeliegender Hardware platziert, um den Verlust mehrerer Primärknoten im Falle eines Hardwarefehlers zu verhindern. Beachten Sie, dass eine Anforderung zum Starten einer Instance fehlschlagen kann, wenn es nicht genügend eindeutige Hardware zur Erfüllung der Anforderung gibt. Weitere Informationen zu EC2 Platzierungsstrategien und Einschränkungen finden Sie unter Platzierungsgruppen im EC2Benutzerhandbuch für Linux-Instances.

Amazon gibt ein anfängliches Limit EC2 von 500 Clustern mit aktivierter Platzierungsgruppenstrategie, die pro AWS Region gestartet werden können. Wenden Sie sich an den AWS Support, um eine Erhöhung der Anzahl der zulässigen Platzierungsgruppen zu beantragen. Sie können EC2 Platzierungsgruppen identifizieren, die Amazon EMR erstellt, indem Sie das Schlüssel-Wert-Paar verfolgen, das Amazon mit der EMR Amazon-Platzierungsgruppenstrategie EMR verknüpft. Weitere Informationen zu EC2 Cluster-Instance-Tags finden Sie unter. Cluster-Instances in Amazon anzeigen EC2

Hängen Sie die von der Platzierungsgruppe verwaltete Richtlinie an Amazon an EMRrole

Die Platzierungsgruppenstrategie erfordert eine verwaltete Richtlinie namensAmazonElasticMapReducePlacementGroupPolicy, die es Amazon ermöglicht, Platzierungsgruppen auf Amazon EMR zu erstellen, zu löschen und zu beschreibenEC2. Sie müssen AmazonElasticMapReducePlacementGroupPolicy sich der Service-Rolle für Amazon zuordnen, EMR bevor Sie einen EMR Amazon-Cluster mit mehreren Primärknoten starten.

Sie können die AmazonEMRServicePolicy_v2 verwaltete Richtlinie alternativ der EMR Amazon-Servicerolle anstelle der verwalteten Richtlinie für die Platzierungsgruppe zuordnen. AmazonEMRServicePolicy_v2ermöglicht den gleichen Zugriff auf Platzierungsgruppen bei Amazon EC2 wie derAmazonElasticMapReducePlacementGroupPolicy. Weitere Informationen finden Sie unter Servicerolle für Amazon EMR (EMRRolle).

Die AmazonElasticMapReducePlacementGroupPolicy verwaltete Richtlinie ist der folgende JSON Text, der von Amazon erstellt und verwaltet wirdEMR.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Resource":"*",
         "Effect":"Allow",
         "Action":[
            "ec2:DeletePlacementGroup",
            "ec2:DescribePlacementGroups"
         ]
      },
      {
         "Resource":"arn:aws:ec2:*:*:placement-group/pg-*",
         "Effect":"Allow",
         "Action":[
            "ec2:CreatePlacementGroup"
         ]
      }
   ]
}

Starten Sie einen EMR Amazon-Cluster mit mehreren Primärknoten mithilfe der Platzierungsgruppenstrategie

Um einen EMR Amazon-Cluster mit mehreren primären Knoten mit einer Platzierungsgruppenstrategie zu starten, fügen Sie die von der Platzierungsgruppe verwaltete Richtlinie der EMR Amazon-Rolle AmazonElasticMapReducePlacementGroupPolicy hinzu. Weitere Informationen finden Sie unter Hängen Sie die von der Platzierungsgruppe verwaltete Richtlinie an Amazon an EMRrole.

Jedes Mal, wenn Sie diese Rolle verwenden, um einen EMR Amazon-Cluster mit mehreren primären Knoten zu starten, EMR versucht Amazon, einen Cluster mit einer SPREAD Strategie zu starten, die auf seine primären Knoten angewendet wird. Wenn Sie eine Rolle verwenden, der die Richtlinie zur Verwaltung der Platzierungsgruppe nicht AmazonElasticMapReducePlacementGroupPolicy zugeordnet ist, EMR versucht Amazon, einen EMR Amazon-Cluster mit mehreren primären Knoten ohne Platzierungsgruppenstrategie zu starten.

Wenn Sie einen EMR Amazon-Cluster mit mehreren Primärknoten starten, wobei der placement-group-configs Parameter Amazon EMRAPI oder verwendetCLI, startet Amazon den Cluster EMR nur, wenn Amazon die Platzierungsgruppen-verwaltete Richtlinie AmazonElasticMapReducePlacementGroupPolicy angehängt EMRrole hat. Wenn Amazon die Richtlinie EMRrole nicht angehängt hat, schlägt der Start des EMR Amazon-Clusters mit mehreren Primärknoten fehl.

Starten Sie einen Cluster mit mehreren Primärknoten ohne eine Platzierungsgruppenstrategie

Überprüfen Sie die Konfiguration der Platzierungsgruppenstrategie, die an den Cluster mit mehreren Primärknoten angehängt ist

Sie können den Amazon EMR Describe-Cluster verwendenAPI, um die Konfiguration der Platzierungsgruppenstrategie zu sehen, die dem Cluster mit mehreren primären Knoten zugeordnet ist.

aws emr describe-cluster --cluster-id "j-xxxxx"
{
   "Cluster":{
      "Id":"j-xxxxx",
      ...
      ...
      "PlacementGroups":[
         {
            "InstanceRole":"MASTER",
            "PlacementStrategy":"SPREAD"
         }
      ]
   }
}