SageMaker Konfigurieren Sie einen Clarify-Verarbeitungsauftrag

Anmerkung

Amazon SageMaker Clarify steht neuen Kunden nicht mehr offen. Bestehende Kunden können den Service weiterhin wie gewohnt nutzen. AWS investiert weiterhin in Sicherheits- und Verfügbarkeitsverbesserungen für Clarify, aber wir planen nicht, neue Funktionen einzuführen. Weitere Informationen finden Sie unter Klären Sie die Verfügbarkeit, ändern.

Um Ihre Daten und Modelle mithilfe von SageMaker Clarify auf Verzerrungen und Erklärbarkeit zu analysieren, müssen Sie einen SageMaker Clarify-Verarbeitungsauftrag konfigurieren. Diese Anleitung zeigt, wie Sie den Namen des Eingabedatensatzes, den Namen der Analysekonfigurationsdatei und den Ausgabespeicherort für einen Verarbeitungsauftrag angeben. Um den Verarbeitungscontainer, die Auftragseingaben, -ausgaben, Ressourcen und andere Parameter zu konfigurieren, haben Sie zwei Möglichkeiten. Sie können entweder die SageMaker CreateProcessingJob AI-API oder die SageMaker AI-Python-SDK-API verwenden. SageMaker ClarifyProcessor

Informationen zu Parametern, die allen Verarbeitungsaufträgen gemeinsam sind, finden Sie in der SageMaker Amazon-API-Referenz.

Die folgenden Anweisungen zeigen, wie Sie jeden Teil der SageMaker Clarify-spezifischen Konfiguration mithilfe der CreateProcessingJob API bereitstellen.

Geben Sie den Uniform Research Identifier (URI) eines SageMaker Clarify-Container-Images in den AppSpecification Parameter ein, wie im folgenden Codebeispiel gezeigt.
```
{
    "ImageUri": "the-clarify-container-image-uri"
}                    
```
Anmerkung
Der URI muss ein vorgefertigtes SageMaker Clarify-Container-Image identifizieren. ContainerEntrypointund ContainerArguments werden nicht unterstützt. Weitere Informationen zu SageMaker Clarify-Container-Images finden Sie unterVorgefertigte SageMaker Clarify-Container.
Geben Sie im Parameter sowohl die Konfiguration für Ihre Analyse als auch die ProcessingInputs Parameter für Ihren Eingabedatensatz an.
1. Geben Sie den Speicherort der Konfigurationsdatei für die JSON-Analyse an, die die Parameter für die Verzerrungsanalyse und die Erklärbarkeitsanalyse enthält. Der InputName Parameter des ProcessingInput Objekts muss analysis_config wie im folgenden Codebeispiel dargestellt sein.
```
{
    "InputName": "analysis_config",
    "S3Input": {
        "S3Uri": "s3://your-bucket/analysis_config.json",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/config"
    }
}
```
  Weitere Informationen zum Schema der Analyse-Konfigurationsdatei finden Sie unter Analyse-Konfigurationsdateien.
2. Geben Sie den Speicherort des Eingabedatensatzes an. Der InputName Parameter des ProcessingInput Objekts muss dataset sein. Dieser Parameter ist optional, wenn Sie den „dataset_uri“ in der Analysekonfigurationsdatei angegeben haben. Die folgenden Werte sind in der S3Input Konfiguration erforderlich.
  1. S3Urikann entweder ein Amazon S3-Objekt oder ein S3-Präfix sein.
  2. S3InputMode muss vom Typ File sein.
  3. S3CompressionType muss vom Typ None sein (der Standardwert).
  4. S3DataDistributionType muss vom Typ FullyReplicated sein (der Standardwert).
  5. S3DataType kann S3Prefix oder ManifestFile sein. Zur Verwendung ManifestFile sollte der S3Uri Parameter den Speicherort einer Manifestdatei angeben, die dem Schema aus dem SageMaker API-Referenzabschnitt https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_S3DataSource.html#sagemaker-Type-S3DataSource-S3Uri S3Uri folgt. Diese Manifestdatei muss die S3-Objekte auflisten, die die Eingabedaten für den Auftrag enthalten.
  Der folgende Code zeigt ein Beispiel für eine Eingabekonfiguration.
```
{
    "InputName": "dataset",
    "S3Input": {
        "S3Uri": "s3://your-bucket/your-dataset.csv",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/data"
    }
}
```
Geben Sie die Konfiguration für die Ausgabe des Verarbeitungsauftrag im ProcessingOutputConfig Parameter an. In der Outputs Konfiguration ist ein einzelnes ProcessingOutput Objekt erforderlich. Folgendes ist für die Ausgabekonfiguration erforderlich:
1. OutputName muss analysis_result sein.
2. S3Urimuss ein S3-Präfix für den Ausgabespeicherort sein.
3. muss S3UploadMode auf EndOfJob festgelegt sein.
Die folgende Ausgabe des Befehls zeigt ein Beispiel dieses Zustands:
```
{
    "Outputs": [{ 
        "OutputName": "analysis_result",
        "S3Output": { 
            "S3Uri": "s3://your-bucket/result/",
            "S3UploadMode": "EndOfJob",
            "LocalPath": "/opt/ml/processing/output"
         }
     }]
}                
```
Geben Sie im ProcessingResources Parameter die Konfiguration ClusterConfig für die Ressourcen an, die Sie in Ihrem Verarbeitungsjob verwenden. Die folgenden Parameter sind innerhalb des ClusterConfig Objekts erforderlich.
1. InstanceCount gibt die Anzahl der Rechen-Instances im Cluster an, der den Verarbeitungsauftrag ausführt. Geben Sie einen Wert größer als 1 an, um die verteilte Verarbeitung zu aktivieren.
2. InstanceType bezieht sich auf die Ressourcen, die Ihren Verarbeitungsauftrag ausführen. Da die SageMaker AI-SHAP-Analyse rechenintensiv ist, sollte die Verwendung eines Instanztyps, der für Berechnungen optimiert ist, die Laufzeit für Analysen verbessern. Für den SageMaker Clarify-Verarbeitungsjob werden keine GPUs verwendet.
In der folgenden Abbildung sehen Sie ein Beispiel für die Registerkarte Configuration (Konfiguration).
```
{
    "ClusterConfig": {
         "InstanceCount": 1,
         "InstanceType": "ml.m5.xlarge",
         "VolumeSizeInGB": 20
     }
}
```
Geben Sie die Konfiguration des Netzwerks, das Sie für Ihren Verarbeitungsauftrag verwenden, innerhalb des NetworkConfig Objekts an. Die folgenden Werte sind für die Konfiguration erforderlich.
1. EnableNetworkIsolationmuss auf False (Standard) gesetzt werden, damit SageMaker Clarify bei Bedarf einen Endpunkt für Vorhersagen aufrufen kann.
2. Wenn sich das Modell oder der Endpunkt, den Sie für den SageMaker Clarify-Job bereitgestellt haben, in einer Amazon Virtual Private Cloud (Amazon VPC) befindet, muss sich der SageMaker Clarify-Job ebenfalls in derselben VPC befinden. Geben Sie die VPC mit an. VpcConfig Darüber hinaus muss die VPC über Endpunkte für einen Amazon S3-Bucket, einen SageMaker AI-Service und SageMaker einen AI Runtime-Service verfügen.
  
  Wenn die verteilte Verarbeitung aktiviert ist, müssen Sie auch die Kommunikation zwischen verschiedenen Instances im selben Verarbeitungsjob zulassen. Konfigurieren Sie dazu eine Regel für Ihre Sicherheitsgruppe, mit der eingehende Verbindungen zwischen Mitgliedern derselben Sicherheitsgruppe zugelassen werden. Weitere Informationen finden Sie unter Gewähren Sie Amazon SageMaker Clarify Jobs Zugriff auf Ressourcen in Ihrer Amazon VPC.
Der folgende Code gibt ein Beispiel für eine Netzwerkkonfiguration.
```
{
    "EnableNetworkIsolation": False,
    "VpcConfig": {
        ...
    }
}              
```
Legen Sie mithilfe des StoppingCondition Parameters die maximale Zeit fest, für die der Auftrag ausgeführt werden soll. Die längste Zeit, die ein SageMaker Clarify-Job ausgeführt werden kann, beträgt 7 Tage oder 604800 Sekunden. Wenn der Auftrag nicht innerhalb dieser Frist abgeschlossen werden kann, wird er gestoppt und es werden keine Analyseergebnisse bereitgestellt. Die folgende Konfiguration begrenzt beispielsweise die maximale Zeit, für die der Auftrag ausgeführt werden kann, auf 3600 Sekunden.
```
{
    "MaxRuntimeInSeconds": 3600
}
```

Geben Sie eine IAM-Rolle für den RoleArn Parameter an. Die Rolle muss in einer Vertrauensbeziehung zu Amazon SageMaker AI stehen. Sie kann verwendet werden, um die in der folgenden Tabelle aufgeführten SageMaker API-Operationen auszuführen. Wir empfehlen, die von Amazon SageMaker AIFullAccess verwaltete Richtlinie zu verwenden, die vollen Zugriff auf SageMaker KI gewährt. Weitere Informationen zu dieser Richtlinie finden Sie unter AWS verwaltete Richtlinie: AmazonSageMakerFullAccess. Wenn Sie Bedenken haben, Vollzugriff zu gewähren, hängen die erforderlichen Mindestberechtigungen davon ab, ob Sie einen Modell- oder einen Endpunktnamen angeben. Die Verwendung eines Endpunktnamens ermöglicht es, SageMaker KI weniger Berechtigungen zu gewähren.

Die folgende Tabelle enthält API-Operationen, die vom SageMaker Clarify-Verarbeitungsauftrag verwendet werden. Auf X unter Modellname und Endpunktname wird der API-Vorgang angegeben, der für jede Eingabe erforderlich ist.

API-Operation	Modellname	Endpoint name (Endpunktname)	Wofür wird sie verwendet
ListTags	X		Die Tags des Auftrages werden auf den Schattenendpunkt angewendet.
CreateEndpointConfig	X		Erstellen Sie die Endpunktkonfiguration mit dem von Ihnen angegebenen Modellnamen
CreateEndpoint	X		Erstellen Sie einen Schattenendpunkt mithilfe der Endpunktkonfiguration.
DescribeEndpoint	X	X	Beschreiben Sie den Endpunkt anhand seines Status. Der Endpunkt InService muss für die Bearbeitung von Anfragen verwendet werden.
InvokeEndpoint	X	X	Rufen Sie den Endpunkt für Vorhersagen auf.

Weitere Informationen zu erforderlichen Berechtigungen finden Sie unter Amazon SageMaker AI API-Berechtigungen: Referenz für Aktionen, Berechtigungen und Ressourcen.

Weitere Informationen zur Übergabe von Rollen an SageMaker KI finden Sie unterRollen weitergeben.

Nachdem Sie die einzelnen Teile der Konfiguration des Verarbeitungsauftrags erstellt haben, kombinieren Sie sie, um den Auftrag zu konfigurieren.

Das folgende Codebeispiel zeigt, wie ein SageMaker Clarify-Verarbeitungsauftrag mithilfe des AWS SDK für Python gestartet wird.


sagemaker_client.create_processing_job(
    ProcessingJobName="your-clarify-job-name",
    AppSpecification={
        "ImageUri": "the-clarify-container-image-uri",
    },
    ProcessingInputs=[{
            "InputName": "analysis_config",
            "S3Input": {
                "S3Uri": "s3://your-bucket/analysis_config.json",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/config",
            },
        }, {
            "InputName": "dataset",
            "S3Input": {
                "S3Uri": "s3://your-bucket/your-dataset.csv",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/data",
            },
        },
    ],
    ProcessingOutputConfig={
        "Outputs": [{ 
            "OutputName": "analysis_result",
            "S3Output": { 
               "S3Uri": "s3://your-bucket/result/",
               "S3UploadMode": "EndOfJob",
               "LocalPath": "/opt/ml/processing/output",
            },   
        }],
    },
    ProcessingResources={
        "ClusterConfig": {
            "InstanceCount": 1,
            "InstanceType": "ml.m5.xlarge",
            "VolumeSizeInGB": 20,
        },
    },
    NetworkConfig={
        "EnableNetworkIsolation": False,
        "VpcConfig": {
            ...
        },
    },
    StoppingCondition={
        "MaxRuntimeInSeconds": 3600,
    },
    RoleArn="arn:aws:iam::<your-account-id>:role/service-role/AmazonSageMaker-ExecutionRole",
)

Ein Beispielnotizbuch mit Anweisungen zum Ausführen eines SageMaker Clarify-Verarbeitungsauftrags mithilfe des AWS SDK für Python finden Sie unter Fairness und Erklärbarkeit mit SageMaker Clarify mithilfe des AWS SDK für Python. Jeder im Notebook verwendete S3-Bucket muss sich in derselben AWS Region befinden wie die Notebook-Instance, die darauf zugreift.

Sie können einen SageMaker Clarify-Verarbeitungsauftrag auch mithilfe der API SageMaker ClarifyProcessor im SageMaker Python SDK konfigurieren. Weitere Informationen finden Sie unter Führen Sie SageMaker Clarify Processing-Jobs für Verzerrungsanalyse und Erklärbarkeit aus.

Themen

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Klären Sie die Verfügbarkeit, ändern

SageMaker Container klären