Bereitstellen eines Modells

Wenn Sie ein Modell von bereitstellen JumpStart, hostet SageMaker KI das Modell und stellt einen Endpunkt bereit, den Sie für Inferenzen verwenden können. JumpStart bietet auch ein Beispiel-Notizbuch, mit dem Sie nach der Bereitstellung auf das Modell zugreifen können.

Modell-Bereitstellungskonfiguration

Nachdem Sie ein Modell ausgewählt haben, wird die Registerkarte des Modells geöffnet. Wählen Sie im Bereich Modell bereitstellen die Option Bereitstellungskonfiguration aus, um die Modellbereitstellung zu konfigurieren.

Der Standard-Instance-Typ für die Bereitstellung eines Modells hängt vom Modell ab. Der Instance-Typ ist die Hardware, auf der der Trainingsauftrag ausgeführt wird. Im folgenden Beispiel ist die Instance ml.p2.xlarge die Standard-Instance für dieses spezielle BERT-Modell.

Sie können auch den Endpunktnamen ändern, key;value Ressourcen-Tags hinzufügen, das jumpstart- Präfix für alle JumpStart Ressourcen im Zusammenhang mit dem Modell aktivieren oder deaktivieren und einen Amazon S3 S3-Bucket zum Speichern von Modellartefakten angeben, die von Ihrem SageMaker KI-Endpunkt verwendet werden.

Wählen Sie Sicherheitseinstellungen, um die AWS Identity and Access Management (IAM) -Rolle, Amazon Virtual Private Cloud (Amazon VPC) und die Verschlüsselungsschlüssel für das Modell anzugeben.

Sicherheit bei der Modellbereitstellung

Wenn Sie ein Modell mit bereitstellen JumpStart, können Sie eine IAM-Rolle, Amazon VPC und Verschlüsselungsschlüssel für das Modell angeben. Wenn Sie keine Werte für diese Einträge angeben: Die Standard-IAM-Rolle ist Ihre Studio Classic-Laufzeitrolle; Standardverschlüsselung wird verwendet; es wird keine Amazon VPC verwendet.

IAM-Rolle

Sie können eine IAM-Rolle auswählen, die im Rahmen von Schulungs- und Hosting-Jobs übergeben wird. SageMaker KI verwendet diese Rolle, um auf Trainingsdaten und Modellartefakte zuzugreifen. Wenn Sie keine IAM-Rolle auswählen, stellt SageMaker KI das Modell mithilfe Ihrer Studio Classic-Laufzeitrolle bereit. Weitere Informationen zu IAM-Rollen finden Sie unter AWS Identity and Access Management für Amazon SageMaker AI.

Die Rolle, die Sie übergeben, muss Zugriff auf die Ressourcen haben, die das Modell benötigt, und muss alle der folgenden Elemente enthalten.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

IAM-Rolle finden

Wenn Sie diese Option auswählen, müssen Sie aus der Dropdown-Liste eine vorhandene IAM-Rolle auswählen.

Eingabe-IAM-Rolle

Wenn Sie diese Option auswählen, müssen Sie den ARN für eine bestehende IAM-Rolle manuell eingeben. Wenn Ihre Studio Classic-Runtime-Rolle oder Amazon VPC den iam:list* Anruf blockieren, müssen Sie diese Option verwenden, um eine vorhandene IAM-Rolle zu verwenden.

Amazon VPC

Alle JumpStart Modelle werden im Netzwerkisolationsmodus ausgeführt. Nachdem der Modellcontainer erstellt wurde, können keine weiteren Aufrufe mehr getätigt werden. Sie können eine Amazon-VPC auswählen, die im Rahmen von Schulungsjobs und Hosting-Jobs bestanden wurde. SageMaker KI verwendet diese Amazon VPC, um Ressourcen aus Ihrem Amazon S3 S3-Bucket zu übertragen und abzurufen. Diese Amazon VPC unterscheidet sich von der Amazon VPC, die den Zugriff auf das öffentliche Internet von Ihrer Studio Classic-Instance aus einschränkt. Weitere Informationen zur Studio Classic Amazon VPC finden Sie unterStudio-Notebooks in einer VPC mit externen Ressourcen Connect.

Die Amazon VPC, die Sie übergeben, benötigt keinen Zugriff auf das öffentliche Internet, aber sie benötigt Zugriff auf Amazon S3. Der Amazon VPC-Endpunkt für Amazon S3 muss mindestens Zugriff auf die folgenden Ressourcen gewähren, die für das Modell benötigt werden.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Wenn Sie keine Amazon VPC auswählen, wird keine Amazon VPC verwendet.

VPC suchen

Wenn Sie diese Option auswählen, müssen Sie eine bestehende Amazon VPC aus der Dropdown-Liste auswählen. Nachdem Sie eine Amazon VPC ausgewählt haben, müssen Sie ein Subnetz und eine Sicherheitsgruppe für Ihre Amazon VPC auswählen. Weitere Informationen zu Subnetzen und Sicherheitsgruppen finden Sie unter Überblick über Subnetze VPCs und Subnetze.

VPC eingeben

Wenn Sie diese Option wählen, müssen Sie das Subnetz und die Sicherheitsgruppe, aus denen Ihre Amazon VPC besteht, manuell auswählen. Wenn Ihre Studio Classic-Runtime-Rolle oder Amazon VPC den ec2:list* Anruf blockiert, müssen Sie diese Option verwenden, um das Subnetz und die Sicherheitsgruppe auszuwählen.

Verschlüsselungsschlüssel

Sie können einen AWS KMS Schlüssel auswählen, der im Rahmen von Schulungs- und Hosting-Jobs übergeben wird. SageMaker KI verwendet diesen Schlüssel, um das Amazon EBS-Volume für den Container und das neu verpackte Modell in Amazon S3 für das Hosten von Jobs und die Ausgabe für Trainingsjobs zu verschlüsseln. Weitere Informationen zu AWS KMS Schlüsseln finden Sie unter AWS KMS Schlüssel.

Der Schlüssel, den Sie übergeben, muss der IAM-Rolle vertrauen, die Sie übergeben. Wenn Sie keine IAM-Rolle angeben, muss der AWS KMS Schlüssel Ihrer Studio Classic-Laufzeitrolle vertrauen.

Wenn Sie keinen AWS KMS Schlüssel auswählen, bietet SageMaker AI eine Standardverschlüsselung für die Daten im Amazon EBS-Volume und die Amazon S3 S3-Artefakte.

Verschlüsselungsschlüssel suchen

Wenn Sie diese Option auswählen, müssen Sie vorhandene AWS KMS Schlüssel aus der Drop-down-Liste auswählen.

Verschlüsselungsschlüssel eingeben

Wenn Sie diese Option auswählen, müssen Sie die AWS KMS Schlüssel manuell eingeben. Wenn Ihre Studio Classic-Ausführungsrolle oder Amazon VPC den kms:list* Anruf blockieren, müssen Sie diese Option verwenden, um vorhandene AWS KMS Schlüssel auszuwählen.

Konfigurieren Sie Standardwerte für Modelle JumpStart

Sie können Standardwerte für Parameter wie IAM-Rollen und KMS-Schlüssel konfigurieren VPCs, um sie für die JumpStart Modellbereitstellung und das Training vorab auszufüllen. Nach der Konfiguration der Standardwerte stellt die Benutzeroberfläche von Studio Classic automatisch Ihre angegebenen Sicherheitseinstellungen und Tags für JumpStart Modelle bereit, um Bereitstellungs- und Trainingsabläufe zu vereinfachen. Administratoren und Endbenutzer können die in einer Konfigurationsdatei angegebenen Standardwerte im YAML-Format initialisieren.

Standardmäßig verwendet das SageMaker Python-SDK zwei Konfigurationsdateien: eine für den Administrator und eine für den Benutzer. Mithilfe der Administrator-Konfigurationsdatei können Administratoren eine Reihe von Standardwerten festlegen. Endbenutzer können die in der Administrator-Konfigurationsdatei festgelegten Werte überschreiben und mithilfe der Endbenutzer-Konfigurationsdatei zusätzliche Standardwerte festlegen. Weitere Informationen finden Sie unter Standardspeicherort der Konfigurationsdatei.

Das folgende Codebeispiel listet die Standardspeicherorte der Konfigurationsdateien auf, wenn Sie das SageMaker Python-SDK in Amazon SageMaker Studio Classic verwenden.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

Die in der Benutzer-Konfigurationsdatei angegebenen Werte überschreiben die in der Administrator-Konfigurationsdatei festgelegten Werte. Die Konfigurationsdatei ist für jedes Benutzerprofil innerhalb einer Amazon SageMaker AI-Domain einzigartig. Die Studio Classic-Anwendung des Benutzerprofils ist direkt mit dem Benutzerprofil verknüpft. Weitere Informationen finden Sie unter Benutzerprofile der Domäne.

Administratoren können optional über JupyterServer Lebenszykluskonfigurationen Konfigurationsstandards für JumpStart Modelltraining und -bereitstellung festlegen. Weitere Informationen finden Sie unter Erstellen und Zuordnen einer Lebenszykluskonfiguration.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value