Schritt 4: Schulen eines Modells

So führen Sie einen Modelltrainingsauftrag aus

1. Importieren Sie das Amazon SageMaker Python SDK und rufen Sie zunächst die Basisinformationen aus Ihrer aktuellen SageMaker Sitzung ab.

   import sagemaker
   
   region = sagemaker.Session().boto_region_name
   print("AWS Region: {}".format(region))
   
   role = sagemaker.get_execution_role()
   print("RoleArn: {}".format(role))

   Dies gibt folgende Informationen zurück:

   • region— Die aktuelle AWS Region, in der die SageMaker Notebook-Instance ausgeführt wird.

   • role – Die von der Notebook-Instance verwendete IAM-Rolle.

   Anmerkung

   Überprüfen Sie die SageMaker Python-SDK-Version, indem Sie Folgendes ausführensagemaker.__version__. Dieses Tutorial basiert auf sagemaker>=2.20. Wenn das SDK veraltet ist, installieren Sie die neueste Version, indem Sie den folgenden Befehl ausführen:

   ! pip install -qU sagemaker

   Wenn Sie diese Installation in Ihren bestehenden SageMaker Studio- oder Notebook-Instanzen ausführen, müssen Sie den Kernel manuell aktualisieren, um die Installation des Versionsupdates abzuschließen.

2. Erstellen Sie mithilfe der sagemaker.estimator.Estimator Klasse einen XGBoost-Schätzer. Im folgenden Beispielcode wird der XGBoost-Schätzer xgb_model benannt.

   from sagemaker.debugger import Rule, ProfilerRule, rule_configs
   from sagemaker.session import TrainingInput
   
   s3_output_location='s3://{}/{}/{}'.format(bucket, prefix, 'xgboost_model')
   
   container=sagemaker.image_uris.retrieve("xgboost", region, "1.2-1")
   print(container)
   
   xgb_model=sagemaker.estimator.Estimator(
       image_uri=container,
       role=role,
       instance_count=1,
       instance_type='ml.m4.xlarge',
       volume_size=5,
       output_path=s3_output_location,
       sagemaker_session=sagemaker.Session(),
       rules=[
           Rule.sagemaker(rule_configs.create_xgboost_report()),
           ProfilerRule.sagemaker(rule_configs.ProfilerReport())
       ]
   )

   Um den SageMaker Schätzer zu erstellen, geben Sie die folgenden Parameter an:

   • image_uri – Geben Sie den Image-URI des Trainingscontainers an. In diesem Beispiel wird der SageMaker XGBoost-Trainingscontainer-URI mit angegeben. sagemaker.image_uris.retrieve

   • role— Die AWS Identity and Access Management (IAM-) Rolle, SageMaker mit der Aufgaben in Ihrem Namen ausgeführt werden (z. B. das Lesen von Trainingsergebnissen, das Aufrufen von Modellartefakten aus Amazon S3 und das Schreiben von Trainingsergebnissen in Amazon S3).

   • instance_count und instance_type – Typ und Anzahl der für das Modelltraining zu verwendenden Amazon-EC2-ML-Compute-Instances. Für diese Trainingsübung verwenden Sie eine einzelne ml.m4.xlarge Instance mit 4 CPUs, 16 GB Arbeitsspeicher, einem Amazon Elastic Block Store (Amazon EBS)-Speicher und einer hohen Netzwerkleistung. Weitere Informationen zu EC2-Rechen-Instance-Typen finden Sie unter Amazon-EC2-Instance-Typen. Weitere Informationen zur Abrechnung finden Sie unter SageMaker Amazon-Preise.

   • volume_size – Die Größe des EBS-Speichervolumens (in GB), das an das Trainings-Instance angefügt werden soll. Diese muss groß genug sein, um Trainingsdaten speichern zu können, wenn Sie den File-Modus verwenden (der File-Modus ist der Standardwert). Wenn Sie diesen Parameter nicht angeben, ist sein Wert standardmäßig 30.

   • output_path— Der Pfad zum S3-Bucket, in dem das Modellartefakt und die Trainingsergebnisse SageMaker gespeichert werden.

   • sagemaker_session— Das Sitzungsobjekt, das Interaktionen mit SageMaker API-Vorgängen und anderen AWS Diensten verwaltet, die der Trainingsjob verwendet.

   • rules— Geben Sie eine Liste der integrierten SageMaker Debugger-Regeln an. In diesem Beispiel erstellt die create_xgboost_report() Regel einen XGBoost-Bericht, der Einblicke in den Trainingsfortschritt und die Ergebnisse bietet, und die ProfilerReport() Regel erstellt einen Bericht über die Nutzung der EC2-Rechenressourcen. Weitere Informationen finden Sie unter SageMaker Debugger XGBoost-Schulungsbericht.

   Tipp

   Wenn Sie ein verteiltes Training von großen Deep-Learning-Modellen wie Convolutional Neural Networks (CNN) und Natural Language Processing (NLP) -Modellen (Natural Language Processing) durchführen möchten, verwenden Sie SageMaker Distributed für Daten- oder Modellparallelität. Weitere Informationen finden Sie unter Verteilte Schulungen bei Amazon SageMaker.

3. Legen Sie die Hyperparameterwerte für den XGBoost-Algorithums fest, indem Sie die set_hyperparameters-Methode des Schätzers aufrufen. Eine vollständige Liste der XGBoost-Hyperparameter finden Sie unter XGBoost-Hyperparameter.

   xgb_model.set_hyperparameters(
       max_depth = 5,
       eta = 0.2,
       gamma = 4,
       min_child_weight = 6,
       subsample = 0.7,
       objective = "binary:logistic",
       num_round = 1000
   )

   Tipp

   Sie können die Hyperparameter auch mithilfe der Hyperparameter-Optimierungsfunktion optimieren. SageMaker Weitere Informationen finden Sie unter Führen Sie eine automatische Modelloptimierung durch mit SageMaker.

4. Verwenden Sie die TrainingInput Klasse, um einen Dateneingabefluss für das Training zu konfigurieren. Der folgende Beispielcode zeigt, wie Sie TrainingInput Objekte für die Verwendung der Trainings- und Validierungsdatensätze konfigurieren, die Sie im Teilen Sie den Datensatz in Trainings-, Validierungs- und Testdatensätze auf Abschnitt auf Amazon S3 hochgeladen haben.

   from sagemaker.session import TrainingInput
   
   train_input = TrainingInput(
       "s3://{}/{}/{}".format(bucket, prefix, "data/train.csv"), content_type="csv"
   )
   validation_input = TrainingInput(
       "s3://{}/{}/{}".format(bucket, prefix, "data/validation.csv"), content_type="csv"
   )

5. Um das Modelltraining zu starten, rufen Sie die fit Methode des Schätzers mit den Trainings- und Validierungsdatensätzen auf. Wenn Sie wait=True einstellen, zeigt die fit Methode Fortschrittsprotokolle an und wartet, bis das Training abgeschlossen ist.

   xgb_model.fit({"train": train_input, "validation": validation_input}, wait=True)

   Weitere Informationen zum Modelltraining finden Sie unter Trainiere ein Modell mit Amazon SageMaker. Dieser Tutorial-Trainingsauftrag kann bis zu 10 Minuten dauern.

   Nach Abschluss des Trainingsjobs können Sie einen XGBoost-Trainingsbericht und einen vom Debugger generierten Profilerstellungsbericht herunterladen. SageMaker Der XGBoost-Trainingsbericht bietet Ihnen Einblicke in den Trainingsfortschritt und die Ergebnisse, z. B. die Verlustfunktion in Bezug auf die Iteration, die Bedeutung der Merkmale, die Konfusionsmatrix, Genauigkeitskurven und andere statistische Ergebnisse des Trainings. Im XGBoost-Trainingsbericht finden Sie zum Beispiel die folgende Verlustkurve, die deutlich darauf hinweist, dass ein Überfitnessproblem vorliegt.

   

   Führen Sie den folgenden Code aus, um den S3-Bucket-URI anzugeben, unter dem die Debugger-Trainingsberichte generiert werden, und überprüfen Sie, ob die Berichte vorhanden sind.

   rule_output_path = xgb_model.output_path + "/" + xgb_model.latest_training_job.job_name + "/rule-output"
   ! aws s3 ls {rule_output_path} --recursive

   Laden Sie die Debugger-XGBoost-Trainings- und Profilerstellungsberichte in den aktuellen Workspace herunter:

   ! aws s3 cp {rule_output_path} ./ --recursive

   Führen Sie das folgende IPython-Skript aus, um den Dateilink des XGBoost-Trainingsberichts abzurufen:

   from IPython.display import FileLink, FileLinks
   display("Click link below to view the XGBoost Training report", FileLink("CreateXgboostReport/xgboost_report.html"))

   Das folgende IPython-Skript gibt den Dateilink des Debugger-Profilerstellungsberichts zurück, der Zusammenfassungen und Details zur Ressourcenauslastung der EC2-Instance, zu den Ergebnissen der Erkennung von Systemengpässen und zur Profilerstellung für Python-Operationen enthält:

   profiler_report_name = [rule["RuleConfigurationName"] 
                           for rule in xgb_model.latest_training_job.rule_job_summary() 
                           if "Profiler" in rule["RuleConfigurationName"]][0]
   profiler_report_name
   display("Click link below to view the profiler report", FileLink(profiler_report_name+"/profiler-output/profiler-report.html"))

   Tipp

   Wenn die HTML-Berichte in der JupyterLab Ansicht keine Diagramme rendern, müssen Sie oben in den Berichten die Option HTML vertrauen auswählen.

   Um Trainingsprobleme wie Überanpassung, verschwindende Gradienten und andere Probleme zu identifizieren, die die Konvergenz Ihres Modells verhindern, verwenden Sie den SageMaker Debugger und ergreifen Sie automatisierte Maßnahmen, während Sie Prototypen erstellen und Ihre ML-Modelle trainieren. Weitere Informationen finden Sie unter Verwenden Sie Amazon SageMaker Debugger zum Debuggen und Verbessern der Modellleistung. Eine vollständige Analyse der Modellparameter finden Sie im Beispielnotizbuch Explainability with Amazon SageMaker Debugger.