Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Setelah Anda membuat model, buat konfigurasi titik akhir. Anda kemudian dapat menerapkan model Anda menggunakan spesifikasi dalam konfigurasi titik akhir Anda. Dalam konfigurasi, Anda menentukan apakah Anda menginginkan titik akhir real-time atau tanpa server. Untuk membuat konfigurasi titik akhir tanpa server, Anda dapat menggunakan konsol Amazon SageMaker AI
Untuk membuat konfigurasi titik akhir (menggunakan API)
Contoh berikut menggunakan AWS SDK for Python (Boto3) untuk memanggil
-
Untuk
EndpointConfigName, pilih nama untuk konfigurasi titik akhir. Nama harus unik dalam akun Anda di Wilayah. -
(Opsional) Untuk
KmsKeyId, gunakan ID kunci, ARN kunci, nama alias, atau alias ARN untuk AWS KMS kunci yang ingin Anda gunakan. SageMaker AI menggunakan kunci ini untuk mengenkripsi gambar Amazon ECR Anda. -
Untuk
ModelName, gunakan nama model yang ingin Anda terapkan. Itu harus model yang sama yang Anda gunakan di Buat model langkah. -
Untuk
ServerlessConfig:-
Atur
MemorySizeInMBke2048. Untuk contoh ini, kami mengatur ukuran memori menjadi 2048 MB, tetapi Anda dapat memilih salah satu nilai berikut untuk ukuran memori Anda: 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, atau 6144 MB. -
Atur
MaxConcurrencyke20. Untuk contoh ini, kami menetapkan konkurensi maksimum menjadi 20. Jumlah maksimum pemanggilan bersamaan yang dapat Anda atur untuk titik akhir tanpa server adalah 200, dan nilai minimum yang dapat Anda pilih adalah 1. -
(Opsional) Untuk menggunakan Provisioned Concurrency, atur
ProvisionedConcurrencyke 10. Untuk contoh ini, kita mengatur Provisioned Concurrency ke 10.ProvisionedConcurrencyAngka untuk titik akhir tanpa server harus lebih rendah dari atau sama dengan angka.MaxConcurrencyAnda dapat membiarkannya kosong jika Anda ingin menggunakan titik akhir Inferensi Tanpa Server sesuai permintaan. Anda dapat menskalakan Konkurensi Ketentuan secara dinamis. Untuk informasi selengkapnya, lihat Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server.
-
response = client.create_endpoint_config(
EndpointConfigName="<your-endpoint-configuration>",
KmsKeyId="arn:aws:kms:us-east-1:123456789012:key/143ef68f-76fd-45e3-abba-ed28fc8d3d5e",
ProductionVariants=[
{
"ModelName": "<your-model-name>",
"VariantName": "AllTraffic",
"ServerlessConfig": {
"MemorySizeInMB": 2048,
"MaxConcurrency": 20,
"ProvisionedConcurrency": 10,
}
}
]
)Untuk membuat konfigurasi titik akhir (menggunakan konsol)
-
Masuk ke konsol Amazon SageMaker AI
. -
Di tab navigasi, pilih Inferensi.
-
Selanjutnya, pilih Konfigurasi titik akhir.
-
Pilih Buat konfigurasi titik akhir.
-
Untuk nama konfigurasi Endpoint, masukkan nama yang unik dalam akun Anda di Wilayah.
-
Untuk Jenis titik akhir, pilih Tanpa Server.
-
Untuk varian Produksi, pilih Tambah model.
-
Di bawah Tambahkan model, pilih model yang ingin Anda gunakan dari daftar model dan kemudian pilih Simpan.
-
Setelah menambahkan model Anda, di bawah Tindakan, pilih Edit.
-
Untuk ukuran Memori, pilih ukuran memori yang Anda inginkan dalam GB.
-
Untuk Max Concurrency, masukkan pemanggilan bersamaan maksimum yang Anda inginkan untuk titik akhir. Nilai maksimum yang dapat Anda masukkan adalah 200 dan minimum adalah 1.
-
(Opsional) Untuk menggunakan Provisioned Concurrency, masukkan jumlah pemanggilan bersamaan yang diinginkan di bidang pengaturan Konkurensi yang Disediakan. Jumlah pemanggilan bersamaan yang disediakan harus kurang dari atau sama dengan jumlah pemanggilan bersamaan maksimum.
-
Pilih Simpan.
-
(Opsional) Untuk Tag, masukkan pasangan nilai kunci jika Anda ingin membuat metadata untuk konfigurasi titik akhir Anda.
-
Pilih Buat konfigurasi titik akhir.
