Terapkan model yang telah dioptimalkan sebelumnya

Untuk menerapkan model yang telah dioptimalkan sebelumnya

1. Di Studio, di menu navigasi di sebelah kiri, pilih JumpStart.

2. Pada halaman Semua model publik, pilih salah satu model yang telah dioptimalkan sebelumnya.

3. Pada halaman detail model, pilih Deploy.

4. Pada halaman penerapan, beberapa JumpStart model mengharuskan Anda untuk menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau persyaratan lisensi di bagian Perjanjian Lisensi. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk Saya menerima EULA, dan baca syarat dan ketentuan.

   Untuk informasi selengkapnya, lihat Perjanjian lisensi pengguna akhir.

5. Untuk nama Endpoint dan jumlah instans awal, terima nilai default atau setel yang kustom.

6. Untuk tipe Instance, pertahankan nilai default. Jika tidak, Anda tidak dapat menerapkan konfigurasi yang telah dioptimalkan sebelumnya.

7. Di bawah Model, perluas konfigurasi model. Studio menampilkan tabel yang menyediakan konfigurasi yang telah dioptimalkan sebelumnya yang dapat Anda pilih. Setiap opsi memiliki metrik untuk latensi dan throughput. Pilih opsi yang paling sesuai dengan kebutuhan aplikasi Anda.

8. Pilih Deploy.

Untuk menyiapkan proyek Anda

1. Dalam kode aplikasi Anda, impor pustaka yang diperlukan. Contoh berikut mengimpor SDK untuk Python (Boto3). Ini juga mengimpor modul dari SageMaker AI Python SDK yang Anda gunakan untuk mendefinisikan dan bekerja dengan model:

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session

2. Inisialisasi sesi SageMaker AI. Contoh berikut menggunakan Session() kelas:

   sagemaker_session = Session()

Untuk menentukan model Anda

1. Buat SchemaBuilder instance, dan berikan sampel input dan output. Anda menyediakan instance ini ke ModelBuilder kelas ketika Anda mendefinisikan model. Dengan itu, SageMaker AI secara otomatis menghasilkan fungsi marshalling untuk membuat serial dan deserialisasi input dan output.

   Untuk informasi selengkapnya tentang penggunaan SchemaBuilder dan ModelBuilder kelas, lihatBuat model di Amazon SageMaker AI dengan ModelBuilder.

   Contoh berikut memberikan sampel input dan output string ke SchemaBuilder kelas:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Tentukan model Anda ke SageMaker AI. Contoh berikut menetapkan parameter untuk menginisialisasi ModelBuilder instance:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   Contoh ini menggunakan JumpStart model. Ganti jumpstart-model-id dengan ID JumpStart model, sepertimeta-textgeneration-llama-3-70b.

Untuk mengambil metrik benchmark

1. Untuk menentukan konfigurasi pra-optimasi mana yang ingin Anda terapkan, cari opsi yang disediakan SageMaker AI. Contoh berikut menampilkannya:

   model_builder.display_benchmark_metrics()

   display_benchmark_metrics()Metode ini mencetak tabel seperti berikut:

   | Instance Type   | Config Name   |   Concurrent Users |   Latency, TTFT (P50 in sec) |   Throughput (P50 in tokens/sec/user) |
   |:----------------|:--------------|-------------------:|-----------------------------:|--------------------------------------:|
   | ml.g5.48xlarge  | lmi-optimized |                  1 |                         2.25 |                                 49.70 |
   | ml.g5.48xlarge  | lmi-optimized |                  2 |                         2.28 |                                 21.10 |
   | ml.g5.48xlarge  | lmi-optimized |                  4 |                         2.37 |                                 14.10 |
   . . .
   | ml.p4d.24xlarge | lmi-optimized |                  1 |                         0.10 |                                137.40 |
   | ml.p4d.24xlarge | lmi-optimized |                  2 |                         0.11 |                                109.20 |
   | ml.p4d.24xlarge | lmi-optimized |                  4 |                         0.13 |                                 85.00 |
   . . .

   Di kolom pertama, tabel mencantumkan jenis instance potensial yang dapat Anda gunakan untuk meng-host JumpStart model yang Anda pilih. Untuk setiap jenis instance, di bawahConfig Name, ini mencantumkan nama konfigurasi yang telah dioptimalkan sebelumnya. Konfigurasi yang disediakan SageMaker AI diberi namalmi-optimized. Untuk setiap jenis dan konfigurasi instans, tabel menyediakan metrik benchmark. Metrik ini menunjukkan throughput dan latensi yang akan didukung model Anda untuk jumlah pengguna bersamaan yang berbeda.

2. Berdasarkan metrik benchmark, pilih jenis instans dan nama konfigurasi yang paling mendukung kebutuhan kinerja Anda. Anda akan menggunakan nilai-nilai ini ketika Anda membuat konfigurasi penerapan.

Untuk menerapkan model yang telah dioptimalkan sebelumnya

1. Buat konfigurasi penerapan. Contoh berikut menggunakan ModelBuilder contoh. Ini meneruskan tipe instance dan nama konfigurasi ke set_deployment_config() metode:

   model_builder.set_deployment_config(
       config_name="config-name", 
       instance_type="instance-type",
   )

   Ganti config-name dengan nama konfigurasi dari tabel, seperti sepertilmi-optimized. Ganti instance-type dengan tipe instance dari tabel, sepertiml.p4d.24xlarge.

2. Bangun model Anda. Contoh berikut menggunakan .build() metode ModelBuilder instance:

   optimized_model = model_builder.build()

   .build()Metode mengembalikan instance deployableModel.

3. Terapkan model Anda ke titik akhir inferensi. Contoh berikut menggunakan .deploy() metode Model instance:

   predictor = optimized_model.deploy(accept_eula=True)

   deploy()Metode mengembalikan Predictor instance, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke model.

Untuk menguji model Anda dengan permintaan inferensi

• Setelah Anda menerapkan model Anda ke titik akhir inferensi, uji prediksi model. Contoh berikut mengirimkan permintaan inferensi dengan menggunakan Predictor instance:

  predictor.predict(sample_input)

  Model mengembalikan teks yang dihasilkannya dengan respons seperti berikut:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}