Buat pekerjaan pengoptimalan inferensi

Untuk mulai membuat pekerjaan pengoptimalan

1. Di SageMaker AI Studio, buat pekerjaan pengoptimalan melalui salah satu jalur berikut:

   • Untuk membuat pekerjaan untuk JumpStart model, lakukan hal berikut:

     1. Di menu navigasi, pilih JumpStart.

     2. Pada halaman Semua model publik, pilih penyedia model, lalu pilih salah satu model yang mendukung pengoptimalan.

     3. Pada halaman detail model, pilih Optimalkan. Tombol ini diaktifkan hanya untuk model yang mendukung pengoptimalan.

     4. Pada halaman pekerjaan Buat optimasi inferensi, beberapa JumpStart model mengharuskan Anda untuk menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau ketentuan lisensi di bagian Perjanjian lisensi. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk Saya menerima EULA, dan baca syarat dan ketentuannya.

   • Untuk membuat pekerjaan untuk JumpStart model yang disetel dengan baik, lakukan hal berikut:

     1. Di menu navigasi, di bawah Pekerjaan, pilih Pel atihan.

     2. Pada halaman Pekerjaan Pelatihan, pilih nama pekerjaan yang Anda gunakan untuk menyempurnakan JumpStart model. Pekerjaan ini memiliki jenis JumpStart pelatihan di kolom Jenis pekerjaan.

     3. Pada halaman detail untuk pekerjaan pelatihan, pilih Optimalkan.

   • Untuk membuat pekerjaan untuk model kustom, lakukan hal berikut:

     1. Di menu navigasi, di bawah Pekerjaan, pilih Pengoptimalan inferensi.

     2. Pilih Buat pekerjaan baru.

     3. Pada halaman pekerjaan pengoptimalan inferensi buat, pilih Tambahkan model.

     4. Di jendela Add model, pilih Custom Model.

     5. Pilih salah satu opsi berikut:

        Gunakan model yang sudah ada - Pilih opsi ini untuk mengoptimalkan model yang telah Anda buat di SageMaker AI.

        Nama model yang ada - masukkan nama model SageMaker AI Anda.

        Dari S3 - Pilih opsi ini untuk menyediakan artefak model dari Amazon S3. Untuk URI S3, masukkan URI untuk lokasi di Amazon S3 tempat Anda menyimpan artefak model.

     6. (Opsional) Untuk nama model keluaran , Anda dapat memasukkan nama kustom untuk model yang dioptimalkan yang dibuat oleh pekerjaan. Jika Anda tidak memberikan nama, Studio akan secara otomatis membuat nama berdasarkan pilihan Anda.

2. Pada halaman pekerjaan pengoptimalan inferensi buat, untuk Nama pekerjaan, Anda dapat menerima nama default yang diberikan SageMaker AI. Atau, untuk memasukkan nama pekerjaan khusus, pilih bidang Nama pekerjaan, dan pilih Masukkan nama pekerjaan.

Untuk mengatur konfigurasi pengoptimalan

1. Untuk tipe instans Deployment, pilih jenis instans yang ingin Anda optimalkan modelnya.

   Jenis instance mempengaruhi teknik pengoptimalan apa yang dapat Anda pilih. Untuk sebagian besar jenis yang menggunakan perangkat keras GPU, teknik yang didukung adalah Ku antisasi dan decoding spekulatif. Jika Anda memilih instance yang menggunakan silikon khusus, seperti instance AWS Inferentia ml.inf2.8xlarge, teknik yang didukung adalah Kompilasi, yang dapat Anda gunakan untuk mengkompilasi model untuk jenis perangkat keras tertentu.

2. Pilih satu atau lebih teknik pengoptimalan yang disediakan Studio:

   • Jika Anda memilih Kuantisasi, pilih tipe data untuk tipe data presisi.

   • Jika Anda memilih Decoding Spekulatif, pilih salah satu opsi berikut:

     • Gunakan model draf SageMaker AI — Pilih untuk menggunakan model draf yang SageMaker disediakan AI.

       catatan

       Jika Anda memilih untuk menggunakan model draf SageMaker AI, Anda juga harus mengaktifkan isolasi jaringan. Studio menyediakan opsi ini di bawah Keamanan.

     • Pilih model JumpStart dra f — Pilih untuk memilih model dari JumpStart katalog untuk digunakan sebagai model draf Anda.

     • Pilih model draf Anda sendiri — Pilih untuk menggunakan model draf Anda sendiri, dan berikan URI S3 yang menemukannya.

   • Jika Anda memilih Pemuatan model cepat, Studio menampilkan variabel OPTION_TENSOR_PARALLEL_DEGREE lingkungan. Gunakan bidang Nilai untuk mengatur derajat paralelisme tensor. Nilai harus secara merata membagi jumlah GPU dalam instans yang Anda pilih untuk jenis instans Deployment. Misalnya, untuk memecah model Anda saat menggunakan instance dengan 8 GPU, gunakan nilai 2, 4, atau 8.

   • Jika Anda menyet el jenis instans Deployment ke instance AWS Inferentia atau AWS Trainium, Studio mungkin menunjukkan bahwa Compilation adalah salah satu opsi yang didukung. Dalam hal ini, Studio memilih opsi ini untuk Anda.

3. Untuk Output, masukkan URI lokasi di Amazon S3. Di sana, SageMaker AI menyimpan artefak dari model yang dioptimalkan yang diciptakan oleh pekerjaan Anda.

4. (Opsional) Per luas opsi Lanjutan untuk kontrol setelan yang lebih halus seperti peran IAM, VPC, dan variabel lingkungan. Untuk informasi selengkapnya, lihat Opsi lanjutan di bawah ini.

5. Setelah selesai mengonfigurasi pekerjaan, pilih Buat pekerjaan.

   Studio menampilkan halaman detail pekerjaan, yang menunjukkan status pekerjaan dan semua pengaturannya.

Untuk mengatur proyek Anda

1. Dalam kode aplikasi Anda, impor pustaka yang diperlukan. Contoh berikut mengimpor SDK untuk Python (Boto3). Ini juga mengimpor kelas dari SageMaker AI Python SDK yang Anda gunakan untuk mendefinisikan dan bekerja dengan model:

   import boto3
   from sagemaker.serve.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.core.helper.session_helper import Session
   from pathlib import Path

2. Inisialisasi sesi SageMaker AI. Contoh berikut menggunakan Session() kelas:

   sagemaker_session = Session()

Untuk menentukan model Anda

1. Buat SchemaBuilder instance, dan berikan sampel input dan output. Anda menyediakan instance ini ke ModelBuilder kelas saat Anda mendefinisikan model. Dengan itu, SageMaker AI secara otomatis menghasilkan fungsi menyusun untuk serialisasi dan deserialisasi input dan output.

   Untuk informasi selengkapnya tentang menggunakan ModelBuilder kelas SchemaBuilder dan, lihatBuat model di Amazon SageMaker AI dengan ModelBuilder.

   Contoh berikut memberikan contoh input dan output string ke SchemaBuilder kelas:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Tentukan model Anda ke SageMaker AI. Contoh berikut menetapkan parameter untuk menginisialisasi ModelBuilder instance:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   Contoh ini menggunakan JumpStart model. Ganti jumpstart-model-id dengan ID JumpStart model, sepertimeta-textgeneration-llama-3-70b.

   catatan

   Jika Anda ingin mengoptimalkan dengan decoding spekulatif, dan Anda ingin menggunakan draf SageMaker AI, Anda harus mengaktifkan isolasi jaringan. Untuk mengaktifkannya, sertakan argumen berikut saat Anda menginisialisasi ModelBuilder instance:

   enable_network_isolation=True,

   Untuk informasi selengkapnya tentang isolasi jaringan, lihatIsolasi Jaringan.

Untuk mengoptimalkan dengan kuantisasi

1. Untuk menjalankan pekerjaan kuantisasi, gunakan optimize() metode, dan atur quantization_config argumen. Contoh berikut ditetapkan OPTION_QUANTIZE sebagai variabel lingkungan dalam wadah pengoptimalan:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   Dalam contoh ini, ganti instance-type dengan instance ML, sepertiml.p4d.24xlarge. Ganti s3://output-path dengan jalur ke lokasi S3 tempat Anda menyimpan model yang dioptimalkan yang dibuat oleh pekerjaan.

   optimize()Metode mengembalikan Model objek, yang dapat Anda gunakan untuk menerapkan model Anda ke titik akhir.

2. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan deploy() metode:

   endpoint = model_builder.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   Dalam contoh ini, ganti instance-type dengan instance ML, sepertiml.p4d.24xlarge.

   deploy()Metode mengembalikan Endpoint objek, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.

Untuk mengoptimalkan dengan decoding spekulatif menggunakan model dra SageMaker f AI

Saat Anda mengoptimalkan model Anda dengan decoding spekulatif, Anda dapat memilih untuk menggunakan model draf yang disediakan SageMaker AI, atau Anda dapat menggunakan model Anda sendiri. Contoh berikut menggunakan model draf SageMaker AI.

1. Untuk menjalankan tugas decoding spekulatif, gunakan optimize() metode, dan atur speculative_decoding_config argumen. Contoh berikut menetapkan ModelProvider kunci SAGEMAKER untuk menggunakan model draf yang SageMaker disediakan AI.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   Dalam contoh ini, ganti instance-type dengan instance ML, sepertiml.p4d.24xlarge.

   optimize()Metode mengembalikan Model objek, yang dapat Anda gunakan untuk menerapkan model Anda ke titik akhir.

2. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan deploy() metode:

   endpoint = model_builder.deploy(accept_eula=True)

   deploy()Metode mengembalikan Endpoint objek, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.

Untuk mengoptimalkan dengan decoding spekulatif menggunakan model draf khusus

Sebelum Anda dapat memberikan draf model kustom Anda ke SageMaker AI, Anda harus terlebih dahulu mengunggah artefak model ke Amazon S3.

Contoh berikut menunjukkan satu cara yang mungkin untuk menyediakan model draf kustom. Contoh mengunduh model draf dari Hugging Face Hub, mengunggahnya ke Amazon S3, dan memberikan URI S3 ke speculative_decoding_config argumen.

1. Jika Anda ingin mengunduh model dari Hugging Face Hub, tambahkan pust huggingface_hub aka ke proyek Anda, dan unduh model dengan snapshot_download() metode tersebut. Contoh berikut mengunduh model ke direktori lokal:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   Dalam contoh ini, ganti model-id dengan ID model Hugging Face Hub, sepertimeta-llama/Meta-Llama-3-8B. Ganti download-dir dengan direktori lokal. Ganti hf-access-token dengan token akses pengguna Anda. Untuk mempelajari cara mendapatkan token akses Anda, lihat Token akses pengguna di dokumentasi Hugging Face.

   Untuk informasi selengkapnya tentang huggingface_hub pustaka, lihat pustaka klien Hub di dokumentasi Hugging Face.

2. Untuk membuat model yang Anda unduh tersedia untuk SageMaker AI, unggah ke Amazon S3. Contoh berikut mengunggah model dengan sagemaker_session objek:

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   Dalam contoh ini, ganti prefix dengan kualifikasi yang membantu Anda membedakan model draf di S3, sepertispec-dec-custom-draft-model.

   upload_data()Metode mengembalikan URI S3 untuk artefak model.

3. Untuk menjalankan tugas decoding spekulatif, gunakan optimize() metode, dan atur speculative_decoding_config argumen. Contoh berikut menetapkan ModelSource kunci ke URI S3 dari model draf kustom:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   Dalam contoh ini, ganti instance-type dengan instance ML, sepertiml.p4d.24xlarge.

   optimize()Metode mengembalikan Model objek, yang dapat Anda gunakan untuk menerapkan model Anda ke titik akhir.

4. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan deploy() metode:

   endpoint = model_builder.deploy(accept_eula=True)

   deploy()Metode mengembalikan Endpoint objek, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.

Untuk mengoptimalkan dengan kompilasi

1. Untuk menjalankan pekerjaan kompilasi, gunakan optimize() metode, dan atur compilation_config argumen. Contoh berikut menggunakan OverrideEnvironment kunci untuk mengatur variabel lingkungan yang diperlukan dalam wadah pengoptimalan:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   Dalam contoh ini, atur instance-type ke tipe instance ML dengan perangkat keras yang dipercepat. Misalnya, untuk inferensi dipercepat dengan AWS Inferentia, Anda dapat mengatur tipe ke instance Inf2, seperti. ml.inf2.48xlarge Ganti s3://output-path dengan jalur ke lokasi S3 tempat Anda menyimpan model yang dioptimalkan yang dibuat oleh pekerjaan.

2. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan deploy() metode:

   endpoint = model_builder.deploy(accept_eula=True)

   deploy()Metode mengembalikan Endpoint objek, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.

Untuk menguji model Anda dengan permintaan inferensi

• Untuk mengirim permintaan inferensi pengujian ke model yang Anda gunakan, invoke() gunakan metode Endpoint objek. Contoh berikut meneruskan sample_input variabel yang juga diteruskan ke SchemaBuilder kelas dalam contoh untuk menentukan model Anda:

  import json
  
  response = endpoint.invoke(body=json.dumps(sample_input), content_type="application/json")
  result = json.loads(response.body.read().decode('utf-8'))

  Input sampel memiliki prompt,"What is the largest planet in the solar system?". invoke()Metode mengembalikan respons yang dihasilkan model, seperti yang ditunjukkan oleh contoh berikut:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}