Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Menerapkan titik akhir inferensi menggunakan API, AWS CLI
<a name="use-training-plan-for-inference-endpoints-using-api-cli-sdk"></a>

Untuk menggunakan rencana SageMaker pelatihan pada titik akhir SageMaker inferensi, tentukan `MlReservationArn` parameter dengan ARN sumber daya rencana pelatihan yang diinginkan di `CapacityReservationConfig` saat memanggil operasi API. [`CreateEndpointConfig`](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html) Anda dapat menggunakan tepat satu paket per titik akhir inferensi.

**penting**  
`InstanceType`Bidang yang ditetapkan di `ProductionVariants` bagian `CreateEndpointConfig` permintaan harus sesuai dengan rencana pelatihan Anda. `InstanceType`

## Buat konfigurasi titik akhir dengan reservasi rencana pelatihan
<a name="inference-endpoint-create-config"></a>

Buat konfigurasi titik akhir yang mengikat titik akhir inferensi Anda ke kapasitas cadangan. Sertakan `CapacityReservationConfig` objek di `ProductionVariants` bagian, atur `MlReservationArn` ke rencana pelatihan Anda ARN.

```
aws sagemaker create-endpoint-config \
  --endpoint-config-name "{{ftp-ep-config}}" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "{{my-model}}",
          "InitialInstanceCount": {{1}},
          "InstanceType": "{{ml.p4d.24xlarge}}",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "{{arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint}}"
          }
      }]'
```

`CapacityReservationPreference`Pengaturan `capacity-reservations-only` memastikan titik akhir hanya berjalan pada kapasitas cadangan dan berhenti melayani lalu lintas ketika reservasi berakhir.

## Terapkan titik akhir pada kapasitas cadangan
<a name="inference-endpoint-deploy"></a>

Dengan konfigurasi titik akhir siap, terapkan titik akhir.

```
aws sagemaker create-endpoint \
  --endpoint-name "{{my-endpoint}}" \
  --endpoint-config-name "{{ftp-ep-config}}"
```

Titik akhir sekarang berjalan sepenuhnya dalam kapasitas rencana pelatihan yang dicadangkan. Setelah titik akhir mencapai `InService` status, Anda dapat memanggilnya untuk inferensi.

## Memanggil titik akhir
<a name="inference-endpoint-invoke"></a>

Selama jendela reservasi aktif, titik akhir beroperasi secara normal dengan akses kapasitas yang dapat diprediksi.

```
aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "{{my-endpoint}}" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json
```

## Perbarui titik akhir
<a name="inference-endpoint-update"></a>

SageMaker AI mendukung beberapa skenario pembaruan sambil mempertahankan koneksi ke kapasitas cadangan.

**Perbarui ke versi model baru**  
Anda dapat memperbarui ke versi model baru sambil mempertahankan kapasitas cadangan yang sama.

```
aws sagemaker create-endpoint-config \
  --endpoint-config-name "{{ftp-ep-config-v2}}" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "{{my-model-v2}}",
          "InitialInstanceCount": {{1}},
          "InstanceType": "{{ml.p4d.24xlarge}}",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "{{arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint}}"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "{{my-endpoint}}" \
  --endpoint-config-name "{{ftp-ep-config-v2}}"
```

**Bermigrasi dari rencana pelatihan ke kapasitas sesuai permintaan**  
Untuk mentransisikan titik akhir di luar periode reservasi, Anda dapat bermigrasi ke kapasitas sesuai permintaan.

```
aws sagemaker create-endpoint-config \
  --endpoint-config-name "{{ondemand-ep-config}}" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "{{my-model}}",
          "InitialInstanceCount": {{1}},
          "InstanceType": "{{ml.p4d.24xlarge}}",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "{{my-endpoint}}" \
  --endpoint-config-name "{{ondemand-ep-config}}"
```

## Skala titik akhir
<a name="inference-endpoint-scale"></a>

Jika Anda memesan kapasitas lebih dari yang digunakan sebelumnya, Anda dapat meningkatkan skala dalam batas reservasi.

```
aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "{{my-endpoint}}" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'
```

**penting**  
Jika Anda mencoba untuk skala melebihi kapasitas cadangan, permintaan gagal dengan `ValidationException` menunjukkan bahwa jumlah instans yang diminta melebihi kapasitas cadangan.

## Hapus titik akhir
<a name="inference-endpoint-delete"></a>

Saat Anda tidak lagi membutuhkan titik akhir inferensi, hapus bersama dengan konfigurasi titik akhir.

```
aws sagemaker delete-endpoint \
  --endpoint-name "{{my-endpoint}}"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "{{ftp-ep-config}}"
```

**catatan**  
Menghapus titik akhir tidak membatalkan reservasi rencana pelatihan.
Kapasitas cadangan tetap dialokasikan sampai jendela reservasi rencana pelatihan berakhir.
Anda dapat membuat titik akhir baru menggunakan ARN reservasi rencana pelatihan yang sama jika kapasitas tersedia dan reservasi aktif.
Anda dikenakan biaya untuk periode reservasi penuh terlepas dari kapan Anda menghapus titik akhir.