モデルのデプロイ

JumpStart からモデルをデプロイすると、SageMaker AI はモデルをホストし、推論に使用できるエンドポイントをデプロイします。JumpStart には、デプロイ後のモデルにアクセスするために使用できるサンプルノートブックも用意されています。

モデルのデプロイ設定

モデルを選択すると、モデルのタブが開きます。[モデルのデプロイ] ペインで、[デプロイ設定] を選択して、モデルのデプロイを設定します。

モデルのデプロイのデフォルトインスタンスタイプは、モデルによって異なります。インスタンスタイプは、トレーニングジョブを実行するハードウェアです。次の例では、ml.p2.xlarge インスタンスがこの特定の BERT モデルのデフォルトです。

また、エンドポイント名の変更、key;valueリソースタグの追加、モデルに関連する JumpStart リソースのjumpstart-プレフィックスのアクティブ化または非アクティブ化、SageMaker AI エンドポイントで使用されるモデルアーティファクトを保存するための Amazon S3 バケットを指定することもできます。

セキュリティ設定を選択して、モデルの AWS Identity and Access Management (IAM ) ロール、Amazon Virtual Private Cloud (Amazon VPC)、および暗号化キーを指定します。

モデルのデプロイのセキュリティ

JumpStart でモデルをデプロイする場合、モデルの IAM ロール、Amazon VPC、暗号化キーを指定できます。これらのエントリに値を指定しないと、デフォルトの IAM ロール (Studio Classic ランタイムロール) とデフォルトの暗号化が使用されます。Amazon VPC は使用されません。

IAM ロール

トレーニングジョブおよびホスティングジョブの一部として渡す IAM ロールを選択できます。SageMaker AI はこのロールを使用してトレーニングデータとモデルアーティファクトにアクセスします。IAM ロールを選択しない場合、SageMaker AI は Studio Classic ランタイムロールを使用してモデルをデプロイします。IAM ロールの詳細については、「AWS Identity and Access Management for Amazon SageMaker AI」を参照してください。

ロールを渡す場合、ロールにはモデルが必要とするリソースへのアクセス権があること、および以下のすべてが含まれていることが必要です。

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

IAM ロールの検索

このオプションを選択した場合は、ドロップダウンリストから既存の IAM ロールを選択する必要があります。

IAM ロールの入力

このオプションを選択した場合は、既存の IAM ロールの ARN を手動で入力する必要があります。Studio Classic ランタイムロールまたは Amazon VPC によって iam:list* 呼び出しがブロックされる場合は、このオプションを使用して既存の IAM ロールを使用する必要があります。

Amazon VPC

すべての JumpStart モデルは、ネットワーク分離モードで実行します。モデルコンテナの作成後は、追加の呼び出しをできなくなります。トレーニングジョブやホスティングジョブの一部として渡す Amazon VPC を選択できます。SageMaker AI はこの Amazon VPC を使用して、Amazon S3 バケットからリソースをプッシュおよびプルします。この Amazon VPC は、Studio Classic インスタンスからパブリックインターネットへのアクセスを制限する Amazon VPC とは異なります。Studio Classic Amazon VPC の詳細については、「VPC 内の Studio ノートブックを外部リソースに接続する」を参照してください。

渡す Amazon VPC には、パブリックインターネットへのアクセス権は必要ありませんが、Amazon S3 へのアクセス権が必要です。Amazon S3 の Amazon VPC エンドポイントは、少なくとも、モデルが必要とする以下のリソースへのアクセスを許可する必要があります。

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Amazon VPC を選択しない場合、Amazon VPC は使用されません。

VPC の検索

このオプションを選択した場合は、ドロップダウンリストから既存の Amazon VPC を選択する必要があります。Amazon VPC を選択したら、Amazon VPC のサブネットとセキュリティグループを選択する必要があります。サブネットとセキュリティグループの詳細については、「VPC とサブネットの概要」を参照してください。

VPC の入力

このオプションを選択した場合は、Amazon VPC を構成するサブネットとセキュリティグループを手動で選択する必要があります。Studio Classic ランタイムロールまたは Amazon VPC によって ec2:list* 呼び出しがブロックされる場合は、このオプションを使用してサブネットとセキュリティグループを選択する必要があります。

暗号化キー

トレーニングジョブおよびホスティングジョブの一部として渡される AWS KMS キーを選択できます。SageMaker AI は、このキーを使用してコンテナの Amazon EBS ボリュームを暗号化し、Amazon S3 で再パッケージされたモデルを使用してジョブをホストし、出力をトレーニングジョブに使用します。 AWS KMS キーの詳細については、AWS KMS 「 キー」を参照してください。

渡すキーは、渡す IAM ロールを信頼する必要があります。IAM ロールを指定しない場合、 AWS KMS キーは Studio Classic ランタイムロールを信頼する必要があります。

AWS KMS キーを選択しない場合、SageMaker AI は Amazon EBS ボリュームと Amazon S3 アーティファクトのデータに対してデフォルトの暗号化を提供します。

暗号化キーの検索

このオプションを選択した場合は、ドロップダウンリストから既存の AWS KMS キーを選択する必要があります。

暗号化キーの入力

このオプションを選択した場合は、 AWS KMS キーを手動で入力する必要があります。Studio Classic 実行ロールまたは Amazon VPC がkms:list* 呼び出しをブロックする場合は、このオプションを使用して既存の AWS KMS キーを選択する必要があります。

JumpStart モデルのデフォルト値を設定する

IAM ロール、VPC、KMS キーなどのパラメータのデフォルト値を設定して、JumpStart モデルのデプロイとトレーニングに事前入力することができます。デフォルト値を設定すると、指定されたセキュリティ設定とタグが JumpStart モデルに自動的に適用されるので、デプロイとトレーニングのワークフローが簡素化されます。管理者とエンドユーザーは、設定ファイルに指定されているデフォルト値を YAML 形式で初期化できます。

デフォルトでは、SageMaker Python SDK は 2 つの設定ファイルを使用します。1 つは管理者用、もう 1 つはユーザー用です。管理者設定ファイルを使用して、管理者は一連のデフォルト値を定義できます。エンドユーザーは、管理者設定ファイルに設定されている値を上書きし、エンドユーザー設定ファイルを使用して追加のデフォルト値を設定できます。詳細については、「デフォルトの設定ファイルの場所」を参照してください。

次のサンプルコードは、Amazon SageMaker Studio Classic で SageMaker Python SDK を使用する場合の設定ファイルのデフォルトの場所を示しています。

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

ユーザー設定ファイルに指定された値は、管理者設定ファイルに設定された値を上書きします。設定ファイルは、Amazon SageMaker AI ドメイン内の各ユーザープロファイルに固有です。ユーザープロファイルの Studio Classic アプリケーションは、そのユーザープロファイルに直接関連付けられます。詳細については、「ドメインのユーザープロファイル」を参照してください。

管理者はオプションで、JupyterServer ライフサイクル設定を通じて JumpStart モデルトレーニングとデプロイ設定のデフォルトを設定できます。詳細については、「ライフサイクル設定の作成と関連付け」を参照してください。

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value