Geben Sie SageMaker Schulungsjobs Zugriff auf Ressourcen in Ihrem Amazon VPC - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Geben Sie SageMaker Schulungsjobs Zugriff auf Ressourcen in Ihrem Amazon VPC

Anmerkung

Für Trainingsjobs können Sie nur Subnetze mit einer Standardtenancy konfigurieren, VPC in der Ihre Instance auf gemeinsam genutzter Hardware läuft. Weitere Informationen zum Tenancy-Attribut für finden Sie unter Dedicated VPCs Instances.

Einen Schulungsjob für Amazon VPC Access konfigurieren

Um den Zugriff auf Ihre Trainingsjobs zu kontrollieren, führen Sie sie in einem Amazon VPC mit privaten Subnetzen aus, die keinen Internetzugang haben.

Sie konfigurieren den Trainingsjob für die Ausführung in, VPC indem Sie dessen Subnetze und Sicherheitsgruppe angeben. IDs Sie müssen das Subnetz für den Container des Trainingsauftrags nicht angeben. Amazon SageMaker ruft das Trainingscontainer-Image automatisch von Amazon ECR ab.

Wenn Sie einen Schulungsjob erstellen, können Sie die Subnetze und Sicherheitsgruppen in Ihrem VPC mithilfe der SageMaker Amazon-Konsole oder der API angeben.

Um das zu verwendenAPI, geben Sie die Subnetze und die Sicherheitsgruppe IDs im VpcConfig Parameter des CreateTrainingJobVorgangs an. SageMaker verwendet die Subnetz- und Sicherheitsgruppendetails, um die Netzwerkschnittstellen zu erstellen, und fügt sie den Trainingscontainern hinzu. Die Netzwerkschnittstellen bieten den Trainingscontainern eine Netzwerkverbindung innerhalb Ihres. VPC Auf diese Weise kann der Trainingsjob eine Verbindung zu Ressourcen herstellen, die in Ihrem vorhanden sindVPC.

Im Folgenden finden Sie ein Beispiel für den VpcConfig-Parameter, den Sie in Ihren Aufruf der CreateTrainingJob-Operation aufnehmen:

VpcConfig: { "Subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ], "SecurityGroupIds": [ "sg-0123456789abcdef0" ] }

Konfigurieren Sie Ihr VPC Privatkonto für SageMaker Schulungen

Beachten Sie bei der Konfiguration von Private VPC für Ihre SageMaker Trainingsjobs die folgenden Richtlinien. Informationen zur Einrichtung von finden Sie unter Arbeiten mit VPCs und Subnetzen im VPCAmazon-Benutzerhandbuch. VPC

Stellen Sie sicher, dass die Subnetze genügend IP-Adressen haben

Trainingsinstanzen, die keinen Elastic Fabric Adapter (EFA) verwenden, sollten mindestens 2 private IP-Adressen haben. Trainingsinstanzen, die einen verwenden, EFA sollten mindestens 5 private IP-Adressen haben. Weitere Informationen finden Sie unter Mehrere IP-Adressen im EC2 Amazon-Benutzerhandbuch.

Ihre VPC Subnetze sollten mindestens zwei private IP-Adressen für jede Instance in einem Trainingsjob haben. Weitere Informationen finden Sie unter VPCund Subnet Sizing for IPv4 im VPCAmazon-Benutzerhandbuch.

Erstellen Sie einen Amazon S3 VPC S3-Endpunkt

Wenn Sie Ihre VPC so konfigurieren, dass Trainingscontainer keinen Zugriff auf das Internet haben, können sie keine Verbindung zu den Amazon S3 S3-Buckets herstellen, die Ihre Trainingsdaten enthalten, es sei denn, Sie erstellen einen VPC Endpunkt, der den Zugriff ermöglicht. Indem Sie einen VPC Endpunkt erstellen, ermöglichen Sie Ihren Trainingscontainern den Zugriff auf die Buckets, in denen Sie Ihre Daten und Modellartefakte speichern. Wir empfehlen Ihnen, auch eine benutzerdefinierte Richtlinie zu erstellen, die nur Anfragen von Ihrem privaten Konto VPC auf Ihre S3-Buckets zulässt. Weitere Informationen finden Sie unter Endpunkte für Amazon S3.

So erstellen Sie einen VPC S3-Endpunkt:
  1. Öffnen Sie die VPC Amazon-Konsole unter https://console.aws.amazon.com/vpc/.

  2. Wählen Sie im Navigationsbereich Endpoints (Endpunkte) und anschließend Create Endpoint (Endpunkt erstellen) aus.

  3. Suchen Sie nach Service Name nach com.amazonaws.region.s3, wo region ist der Name der Region, in der Sie VPC wohnen.

  4. Wählen Sie den Gateway-Typ.

  5. Wählen Sie für den aus VPC, den VPC Sie für diesen Endpunkt verwenden möchten.

  6. Für Configure route tables wählen Sie die Routing-Tabellen, die von dem Endpunkt verwendet werden sollen. Der VPC Service fügt jeder ausgewählten Routentabelle automatisch eine Route hinzu, die jeglichen S3-Verkehr auf den neuen Endpunkt weiterleitet.

  7. Wählen Sie unter Richtlinie die Option Vollzugriff aus, um allen Benutzern oder Diensten innerhalb von vollen Zugriff auf den S3-Dienst zu gewährenVPC. Wählen Sie Custom (Benutzerdefiniert) aus, um den Zugriff weiter einzuschränken. Weitere Informationen finden Sie unter Verwenden einer benutzerdefinierten Endpunktrichtline zum Einschränken des Zugriffs auf S3.

Verwenden einer benutzerdefinierten Endpunktrichtline zum Einschränken des Zugriffs auf S3

Die standardmäßige Endpunktrichtlinie ermöglicht vollen Zugriff auf S3 für jeden Benutzer oder Dienst in IhremVPC. Um den Zugriff auf S3 einzuschränken, erstellen Sie eine benutzerdefinierte Endpunktrichtlinie. Weitere Informationen finden Sie unter Verwendung von Endpunktrichtlinien für Amazon S3. Sie können auch eine Bucket-Richtlinie verwenden, um den Zugriff auf Ihre S3-Buckets auf den Datenverkehr zu beschränken, der von Ihrem Amazon VPC stammt. Weitere Informationen finden Sie unter Verwendung von Amazon S3 Bucket Richtlinien.

Einschränken der Paketinstallation auf den Trainingscontainer

Mit der Standardrichtlinie für Endpunkte können Benutzer Pakete aus den Amazon Linux- und Amazon Linux-2-Repositorys auf dem Trainingscontainer installieren. Wenn Sie nicht möchten, dass Benutzer Pakete von diesem Repository installieren, erstellen Sie eine benutzerdefinierte Endpunkt-Richtlinie, die ausdrücklich den Zugriff auf die Amazon Linux- und Amazon Linux-2-Repositorys verweigert. Nachfolgend finden Sie eine Beispielrichtlinie, die den Zugriff auf diese Repositorys verweigert:

{ "Statement": [ { "Sid": "AmazonLinuxAMIRepositoryAccess", "Principal": "*", "Action": [ "s3:GetObject" ], "Effect": "Deny", "Resource": [ "arn:aws:s3:::packages.*.amazonaws.com/*", "arn:aws:s3:::repo.*.amazonaws.com/*" ] } ] } { "Statement": [ { "Sid": "AmazonLinux2AMIRepositoryAccess", "Principal": "*", "Action": [ "s3:GetObject" ], "Effect": "Deny", "Resource": [ "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" ] } ] }

Konfigurieren der Routing-Tabellen

Verwenden Sie die DNS Standardeinstellungen für Ihre Endpunkt-Routing-Tabelle, sodass die Standardlösung von Amazon S3 URLs (z. B.http://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket) funktioniert. Wenn Sie keine DNS Standardeinstellungen verwenden, stellen Sie sicher, URLs dass die, die Sie zur Angabe der Speicherorte der Daten in Ihren Trainingsaufgaben verwenden, durch die Konfiguration der Endpunkt-Routing-Tabellen behoben werden. Informationen zu VPC Endpunkt-Routing-Tabellen finden Sie unter Routing für Gateway-Endpunkte im VPCAmazon-Benutzerhandbuch.

Konfigurieren Sie die VPC Sicherheitsgruppe

In verteilten Trainings müssen Sie die Kommunikation zwischen den verschiedenen Containern desselben Trainingsauftrags zulassen. Konfigurieren Sie dazu eine Regel für Ihre Sicherheitsgruppe, mit der eingehende Verbindungen zwischen Mitgliedern derselben Sicherheitsgruppe zugelassen werden. Stellen Sie bei Instanzen mit EFA aktivierter Option sicher, dass sowohl eingehende als auch ausgehende Verbindungen den gesamten Datenverkehr aus derselben Sicherheitsgruppe zulassen. Weitere Informationen finden Sie unter Sicherheitsgruppenregeln im Amazon Virtual Private Cloud Benutzerhandbuch.

Connect zu Ressourcen außerhalb Ihres her VPC

Wenn Sie Ihren VPC so konfigurieren, dass er keinen Internetzugang hat, trainieren Sie Jobs, die das verwenden, haben VPC keinen Zugriff auf Ressourcen außerhalb IhresVPC. Wenn Ihr Schulungsjob Zugriff auf Ressourcen außerhalb Ihres eigenen benötigtVPC, bieten Sie eine der folgenden Optionen für den Zugriff an:

  • Wenn Ihre Ausbildungsstelle Zugriff auf einen AWS Dienst benötigt, der VPC Schnittstellenendpunkte unterstützt, erstellen Sie einen Endpunkt, um eine Verbindung zu diesem Dienst herzustellen. Eine Liste der Dienste, die Schnittstellenendpunkte unterstützen, finden Sie unter VPCEndpoints im Amazon Virtual Private Cloud Cloud-Benutzerhandbuch. Informationen zum Erstellen eines VPC VPCSchnittstellenendpunkts finden Sie unter Interface Endpoints (AWS PrivateLink) im Amazon Virtual Private Cloud Cloud-Benutzerhandbuch.

  • Wenn Ihr Ausbildungsjob Zugriff auf einen AWS Service benötigt, der keine VPC Schnittstellenendpunkte unterstützt, oder auf eine Ressource außerhalb von AWS, erstellen Sie ein NAT Gateway und konfigurieren Sie Ihre Sicherheitsgruppen so, dass ausgehende Verbindungen zugelassen werden. Informationen zur Einrichtung eines NAT Gateways für Ihr VPC finden Sie unter Szenario 2: VPC mit öffentlichen und privaten Subnetzen (NAT) im Amazon Virtual Private Cloud Cloud-Benutzerhandbuch.

Überwachen Sie Amazon SageMaker Training Jobs mit CloudWatch Protokollen und Metriken

Amazon SageMaker stellt CloudWatch Amazon-Protokolle und -Metriken zur Überwachung von Trainingsaufträgen zur Verfügung. CloudWatch bietet Speicher- CPUGPU, GPU Arbeitsspeicher- und Festplattenmetriken sowie Ereignisprotokollierung. Weitere Informationen zur Überwachung von SageMaker Amazon-Schulungsjobs finden Sie unter Metriken für die Überwachung von Amazon SageMaker mit Amazon CloudWatch undSageMaker Jobs und Endpunktmetriken.