Geben Sie SageMaker KI-Schulungsjobs Zugriff auf Ressourcen in Ihrer Amazon VPC

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie einen Trainingsauftrag für Amazon VPC-Zugang

Um den Zugriff auf Ihre Trainingsaufträge zu kontrollieren, führen Sie sie in einer Amazon-VPC mit privaten Subnetzen aus, die keinen Internetzugang haben.

Sie konfigurieren den Trainingsjob so, dass er in der VPC ausgeführt wird, indem Sie dessen Subnetze und Sicherheitsgruppe angeben. IDs Sie müssen das Subnetz für den Container des Trainingsauftrags nicht angeben. Amazon SageMaker AI ruft das Trainingscontainer-Image automatisch aus Amazon ECR ab.

Wenn Sie einen Trainingsjob erstellen, können Sie die Subnetze und Sicherheitsgruppen in Ihrer VPC mithilfe der Amazon SageMaker AI-Konsole oder der API angeben.

Um die API zu verwenden, geben Sie die Subnetze und die Sicherheitsgruppe IDs im VpcConfig Parameter des Vorgangs an. CreateTrainingJob SageMaker KI verwendet die Subnetz- und Sicherheitsgruppendetails, um die Netzwerkschnittstellen zu erstellen, und hängt sie an die Trainingscontainer an. Die Netzwerkschnittstellen versorgen das Trainingscontainer mit einer Netzwerkverbindung innerhalb Ihrer VPC. Dadurch kann der Trainingsauftrag eine Verbindung zu Ressourcen herstellen, die in Ihrer VPC vorhanden sind.

Im Folgenden finden Sie ein Beispiel für den VpcConfig-Parameter, den Sie in Ihren Aufruf der CreateTrainingJob-Operation aufnehmen:

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Konfigurieren Sie Ihre private VPC für SageMaker KI-Training

Beachten Sie bei der Konfiguration der privaten VPC für Ihre SageMaker KI-Schulungsjobs die folgenden Richtlinien. Informationen zur Einrichtung einer VPC finden Sie unter Arbeiten mit VPCs und Subnetzen im Amazon VPC-Benutzerhandbuch.

Stellen Sie sicher, dass die Subnetze genügend IP-Adressen haben

Trainings-Instances, die keinen Elastic Fabric Adapter (EFA) verwenden, sollten mindestens 2 private IP-Adressen haben. Trainings-Instances, die einen EFA verwenden, sollten mindestens 5 private IP-Adressen haben. Weitere Informationen finden Sie unter Mehrere IP-Adressen im EC2 Amazon-Benutzerhandbuch.

Ihre VPC-Subnetze sollten mindestens zwei private IP-Adressen für jede Instance in einem Trainingsauftrag haben. Weitere Informationen finden Sie unter VPC and Subnet Sizing for IPv4 im Amazon VPC-Benutzerhandbuch.

Erstellen eines Amazon S3 VPC-Endpunkts

Wenn Sie Ihre VPC so konfigurieren, dass Trainingscontainer keinen Zugriff auf das Internet haben, können sie keine Verbindung zu den Amazon-S3-Buckets herstellen, die Ihre Trainingsdaten enthalten, es sei denn, Sie erstellen einen VPC-Endpunkt, der den Zugriff erlaubt. Durch das Erstellen eines VPC-Endpunkts, geben Sie den Trainingscontainern Zugriff auf die Buckets, in denen Sie Ihre Daten und Modellartefakte speichern. Wir empfehlen, dass Sie auch eine benutzerdefinierte Richtlinie erstellen, die nur Anforderungen von Ihrer privaten VPC erlaubt, auf Ihre S3-Buckets zuzugreifen. Weitere Informationen finden Sie unter Endpunkte für Amazon S3.

Verwenden einer benutzerdefinierten Endpunktrichtline zum Einschränken des Zugriffs auf S3

Standardmäßig wird über die Endpunktrichtlinie allen Benutzern oder Services in Ihrer VPC Vollzugriff auf S3 gewährt. Um den Zugriff auf S3 einzuschränken, erstellen Sie eine benutzerdefinierte Endpunktrichtlinie. Weitere Informationen finden Sie unter Verwendung von Endpunktrichtlinien für Amazon S3. Sie können auch eine Bucket-Richtlinie verwenden, um den Zugriff auf Ihre S3-Buckets auf den Datenverkehr zu beschränken, der von Ihrer Amazon VPC kommt. Weitere Informationen finden Sie unter Verwendung von Amazon S3 Bucket Richtlinien.

Einschränken der Paketinstallation auf den Trainingscontainer

Mit der Standardrichtlinie für Endpunkte können Benutzer Pakete aus den Amazon Linux- und Amazon Linux-2-Repositorys auf dem Trainingscontainer installieren. Wenn Sie nicht möchten, dass Benutzer Pakete von diesem Repository installieren, erstellen Sie eine benutzerdefinierte Endpunkt-Richtlinie, die ausdrücklich den Zugriff auf die Amazon Linux- und Amazon Linux-2-Repositorys verweigert. Nachfolgend finden Sie eine Beispielrichtlinie, die den Zugriff auf diese Repositorys verweigert:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Konfigurieren der Routing-Tabellen

Verwenden Sie die Standard-DNS-Einstellungen für Ihre Endpunkt-Routing-Tabelle, sodass die standardmäßige Amazon S3 S3-Auflösung URLs (z. B.http://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket) gewährleistet ist. Wenn Sie keine Standard-DNS-Einstellungen verwenden, stellen Sie sicher, URLs dass die, die Sie zur Angabe der Speicherorte der Daten in Ihren Trainingsaufgaben verwenden, durch die Konfiguration der Endpunkt-Routing-Tabellen aufgelöst werden. Informationen über Routing-Tabellen für VPC-Endpunkte finden Sie unter Routing für Gateway-Endpunkte im Amazon VPC Benutzerhandbuch.

Konfigurieren der VPC-Sicherheitsgruppe

In verteilten Trainings müssen Sie die Kommunikation zwischen den verschiedenen Containern desselben Trainingsauftrags zulassen. Konfigurieren Sie dazu eine Regel für Ihre Sicherheitsgruppe, mit der eingehende Verbindungen zwischen Mitgliedern derselben Sicherheitsgruppe zugelassen werden. Stellen Sie bei EFA-fähigen Instances sicher, dass sowohl eingehende als auch ausgehende Verbindungen den gesamten Datenverkehr aus derselben Sicherheitsgruppe zulassen. Weitere Informationen finden Sie unter Sicherheitsgruppenregeln im Amazon Virtual Private Cloud Benutzerhandbuch.

Herstellen einer Verbindung mit Ressourcen außerhalb Ihrer VPC

Wenn Sie Ihre VPC so konfigurieren, dass sie keinen Internetzugriff hat, haben Trainingsaufträge, die diese VPC verwenden, keinen Zugriff auf Ressourcen außerhalb Ihrer VPC. Wenn der Trainingsauftrag Ressourcen außerhalb Ihrer VPC benötigt, stellen Sie mithilfe einer der folgenden Optionen den entsprechenden Zugriff her:

Überwachen Sie Amazon SageMaker Training Jobs mit CloudWatch Protokollen und Metriken

Amazon SageMaker AI stellt CloudWatch Amazon-Protokolle und -Metriken zur Überwachung von Trainingsaufträgen bereit. CloudWatch bietet Metriken zu CPU, GPU, Arbeitsspeicher, GPU-Speicher und Festplatte sowie Ereignisprotokollierung. Weitere Informationen zur Überwachung von SageMaker Amazon-Schulungsjobs finden Sie unter Metriken für die Überwachung von Amazon SageMaker AI mit Amazon CloudWatch undSageMaker KI-Jobs und Endpunktmetriken.