Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Zugriff auf einen Trainingscontainer über AWS Systems Manager für Remote-Debugging
Sie können sich sicher über AWS Systems Manager (SSM) mit SageMaker Trainingscontainern verbinden. Auf diese Weise erhalten Sie Zugriff auf Shell-Ebene, um Trainingsaufträge zu debuggen, die im Container ausgeführt werden. Sie können auch Befehle und Antworten protokollieren, die an Amazon gestreamt werden CloudWatch. Wenn Sie Ihre eigene Amazon Virtual Private Cloud (VPC) zum Trainieren eines Modells verwenden, können Sie verwenden, AWS PrivateLink um einen VPC-Endpunkt für SSM einzurichten und eine private Verbindung zu Containern über SSM herzustellen.
Sie können eine Verbindung zu SageMaker Framework Containers
Einrichten von IAM-Berechtigungen
Um SSM in Ihrem SageMaker Trainingscontainer zu aktivieren, müssen Sie eine IAM-Rolle für den Container einrichten. Damit Sie oder Benutzer in Ihrem AWS Konto über SSM auf die Trainingscontainer zugreifen können, müssen Sie IAM-Benutzer mit Berechtigungen zur Verwendung von SSM einrichten.
IAM-Rolle
Damit ein SageMaker Trainingscontainer mit dem SSM-Agenten beginnen kann, geben Sie eine IAM-Rolle mit SSM-Berechtigungen an.
Um das Remote-Debugging für Ihren Trainingsauftrag zu aktivieren, SageMaker muss den SSM-Agenten im Trainingscontainer starten, wenn der Trainingsauftrag beginnt. Damit der SSM-Agent mit dem SSM-Service kommunizieren kann, fügen Sie der IAM-Rolle, die Sie zum Ausführen Ihres Trainingsauftrags verwenden, die folgende Richtlinie hinzu.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ssmmessages:CreateControlChannel", "ssmmessages:CreateDataChannel", "ssmmessages:OpenControlChannel", "ssmmessages:OpenDataChannel" ], "Resource": "*" } ] }
IAM-Benutzer
Fügen Sie die folgende Richtlinie hinzu, um einem IAM-Benutzer SSM-Sitzungsberechtigungen zum Herstellen einer Verbindung mit einem SSM-Ziel zu erteilen. In diesem Fall ist das SSM-Ziel ein SageMaker Trainingscontainer.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ssm:StartSession", "ssm:TerminateSession" ], "Resource": "*" } ] }
Sie können IAM-Benutzer so einschränken, dass sie sich nur mit Containern für bestimmte Trainingsaufträge verbinden können, indem Sie den Condition
Schlüssel hinzufügen, wie im folgenden Richtlinienbeispiel gezeigt.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ssm:StartSession", "ssm:TerminateSession" ], "Resource": [ "*" ], "Condition": { "StringLike": { "ssm:resourceTag/aws:ssmmessages:target-id": [ "sagemaker-training-job:*" ] } } } ] }
Sie können den sagemaker:EnableRemoteDebug
Bedingungsschlüssel auch explizit verwenden, um das Remote-Debugging einzuschränken. Im Folgenden finden Sie ein Beispiel für eine Richtlinie für IAM-Benutzer zum Einschränken des Remote-Debuggings.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "DenyRemoteDebugInTrainingJob", "Effect": "Allow", "Action": [ "sagemaker:CreateTrainingJob", "sagemaker:UpdateTrainingJob" ], "Resource": "*", "Condition": { "BoolIfExists": { "sagemaker:EnableRemoteDebug": false } } } ] }
Weitere Informationen finden Sie unter Bedingungsschlüssel für Amazon SageMaker in der AWS Service-Autorisierungs-Referenz.
So aktivieren Sie Remote-Debugging für einen SageMaker Trainingsauftrag
In diesem Abschnitt erfahren Sie, wie Sie das Remote-Debugging aktivieren, wenn Sie einen Trainingsauftrag in Amazon starten oder aktualisieren SageMaker.
Zugriff auf Ihren Trainingscontainer
Sie können auf einen Trainingscontainer zugreifen, wenn der SecondaryStatus
des entsprechenden Trainingsauftrags istTraining
. Die folgenden Codebeispiele zeigen, wie Sie den Status Ihres Trainingsauftrags mithilfe der DescribeTrainingJob
-API überprüfen, wie Sie die Trainingsauftragsprotokolle in überprüfen CloudWatchund wie Sie sich beim Trainingscontainer anmelden.
So überprüfen Sie den Status eines Trainingsauftrags
So finden Sie den Hostnamen eines Trainingscontainers
Um über SSM eine Verbindung zum Trainingscontainer herzustellen, verwenden Sie dieses Format für die Ziel-ID: sagemaker-training-job:<training-job-name>_algo-<n>
, wobei der Name des Container-Hosts algo-<n>
ist. Wenn Ihr Auftrag auf einer einzelnen Instance ausgeführt wird, ist der Host immer algo-1
. Wenn Sie einen verteilten Schulungsauftrag auf mehreren Instances ausführen, SageMaker erstellt eine gleiche Anzahl von Hosts und Protokollstreams. Wenn Sie beispielsweise 4 Instances verwenden, SageMaker erstellt algo-1
, algo-2
algo-3
, und algo-4
. Sie müssen bestimmen, welchen Protokollstream Sie debuggen möchten, und seine Hostnummer. Gehen Sie wie folgt vor, um auf Protokollstreams zuzugreifen, die einem Trainingsauftrag zugeordnet sind.
Öffnen Sie die Amazon- SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/
. -
Wählen Sie im linken Navigationsbereich Training und dann Training-Jobs aus.
-
Wählen Sie in der Liste Schulungsaufträge den Schulungsauftrag aus, den Sie debuggen möchten. Die Seite mit den Trainingsauftragsdetails wird geöffnet.
-
Wählen Sie im Abschnitt Überwachen die Option Protokolle anzeigen aus. Die zugehörige Liste der Protokollstreams für Trainingsaufträge wird in der - CloudWatch Konsole geöffnet.
-
Protokollstreamnamen werden im
<training-job-name>/algo-<n>-<time-stamp>
Format angezeigt, wobei den Hostnamenalgo-<n>
darstellt.
Weitere Informationen dazu, wie Konfigurationsinformationen für verteilte Schulungen mit mehreren Instances SageMaker verwaltet, finden Sie unter Konfiguration verteilter Schulungen.
So greifen Sie auf den Trainingscontainer zu
Verwenden Sie den folgenden Befehl im Terminal, um die SSM-Sitzung (aws ssm start-session
) zu starten und eine Verbindung zum Trainingscontainer herzustellen.
aws ssm start-session --target sagemaker-training-job:
<training-job-name>
_algo-<n>
Wenn der Name des Trainingsauftrags beispielsweise lautet training-job-test-remote-debug
und der Hostname lautetalgo-1
, wird die Ziel-ID zu sagemaker-training-job:training-job-test-remote-debug_algo-1
. Wenn die Ausgabe dieses Befehls ähnlich ist wie Starting session with SessionId:xxxxx
, ist die Verbindung erfolgreich.
SSM-Zugriff mit AWS PrivateLink
Wenn Ihre Trainingscontainer in einer Amazon Virtual Private Cloud ausgeführt werden, die nicht mit dem öffentlichen Internet verbunden ist, können Sie verwenden, AWS PrivateLink um SSM zu aktivieren. AWS PrivateLink schränkt den gesamten Netzwerkverkehr zwischen Ihren Endpunkt-Instances, SSM und Amazon EC2 auf das Amazon-Netzwerk ein. Weitere Informationen zum Einrichten des SSM-Zugriffs mit AWS PrivateLink finden Sie unter Einrichten eines Amazon-VPC-Endpunkts für Session Manager.
Protokollieren von SSM-Sitzungsbefehlen und -ergebnissen
Nachdem Sie die Anweisungen unter Erstellen eines Session Manager-Voreinstellungsdokuments (Befehlszeile) befolgt haben, können Sie SSM-Dokumente erstellen, die Ihre Einstellungen für SSM-Sitzungen definieren. Sie können SSM-Dokumente verwenden, um Sitzungsoptionen zu konfigurieren, einschließlich Datenverschlüsselung, Sitzungsdauer und Protokollierung. Sie können beispielsweise angeben, ob Sitzungsprotokolldaten in einem Amazon Simple Storage Service (Amazon S3)-Bucket oder in einer Amazon- CloudWatch Logs-Gruppe gespeichert werden sollen. Sie können Dokumente erstellen, die allgemeine Einstellungen für alle Sitzungen für ein AWS Konto und definieren AWS-Region, oder Dokumente, die Einstellungen für einzelne Sitzungen definieren.
Fehlerbehebung durch Überprüfen von Fehlerprotokollen von SSM
Amazon lädt Fehler vom SSM-Agenten in Ihre CloudWatch Protokolle in der /aws/sagemaker/TrainingJobs
Protokollgruppe SageMaker hoch. SSM-Agent-Protokollstreams werden in diesem Format benannt: <job-name>/algo-<n>-<timestamp>/ssm
. Wenn Sie beispielsweise einen Schulungsauftrag mit zwei Knoten mit dem Namen erstellentraining-job-test-remote-debug
, training-job-test-remote-debug/algo-<n>-<timestamp>/ssm
werden das Schulungsauftragsprotokoll training-job-test-remote-debug/algo-<n>-<timestamp>
und mehrere SSM-Agent-Fehlerprotokolle in Ihre CloudWatch -Protokolle hochgeladen. In diesem Beispiel können Sie die */ssm
Protokollstreams überprüfen, um SSM-Probleme zu beheben.
training-job-test-remote-debug/algo-1-1680535238 training-job-test-remote-debug/algo-2-1680535238 training-job-test-remote-debug/algo-1-1680535238/ssm training-job-test-remote-debug/algo-2-1680535238/ssm
Überlegungen
Beachten Sie Folgendes, wenn Sie SageMaker Remote-Debugging verwenden.
-
Remote-Debugging wird für SageMaker Algorithmus-Container oder Container von SageMaker auf nicht unterstützt AWS Marketplace.
-
Sie können keine SSM-Sitzung für Container starten, für die die Netzwerkisolierung aktiviert ist, da die Isolierung ausgehende Netzwerkaufrufe verhindert.