Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Impor model dengan Impor Model Kustom
Impor Model Kustom dalam rilis pratinjau untuk Amazon Bedrock dan dapat berubah sewaktu-waktu. |
Anda dapat membuat model kustom di Amazon Bedrock dengan menggunakan fitur Impor Model Kustom untuk mengimpor Model Foundation yang telah Anda sesuaikan di lingkungan lain, seperti Amazon SageMaker. Misalnya, Anda mungkin memiliki model yang telah Anda buat di Amazon SageMaker yang memiliki bobot model kepatutan. Anda sekarang dapat mengimpor model itu ke Amazon Bedrock dan kemudian memanfaatkan fitur Amazon Bedrock untuk melakukan panggilan inferensi ke model.
Anda dapat menggunakan model yang Anda impor sesuai permintaan atau throughput yang disediakan. Gunakan InvokeModelWithResponseStreamoperasi InvokeModelor untuk membuat panggilan inferensi ke model. Untuk informasi selengkapnya, lihat Gunakan API untuk memanggil model dengan satu prompt.
catatan
Untuk rilis pratinjau, Impor Model Kustom hanya tersedia di AWS Wilayah AS Timur (Virginia N.). Anda tidak dapat menggunakan Impor Model Kustom dengan fitur Amazon Bedrock berikut.
Agen untuk Amazon Bedrock
Basis pengetahuan untuk Amazon Bedrock
Pagar pembatas untuk Amazon Bedrock
Inferensi Batch
AWS CloudFormation
Sebelum Anda dapat menggunakan Impor Model Kustom, Anda harus terlebih dahulu meminta kenaikan kuota untuk Imported models per account kuota. Untuk informasi selengkapnya, lihat Meminta peningkatan kuota.
Dengan Impor Model Kustom Anda dapat membuat model kustom yang mendukung pola berikut.
-
Model Pra-pelatihan yang disetel dengan baik atau Lanjutan — Anda dapat menyesuaikan bobot model menggunakan data eksklusif, tetapi mempertahankan konfigurasi model dasar.
-
Adaptasi Anda dapat menyesuaikan model ke domain Anda untuk kasus penggunaan di mana model tidak digeneralisasi dengan baik. Adaptasi domain memodifikasi model untuk menggeneralisasi domain target dan menangani perbedaan di seluruh domain, seperti industri keuangan yang ingin membuat model yang menggeneralisasi harga dengan baik. Contoh lain adalah adaptasi bahasa. Misalnya Anda dapat menyesuaikan model untuk menghasilkan tanggapan dalam bahasa Portugis atau Tamil. Paling sering, ini melibatkan perubahan pada kosakata model yang Anda gunakan.
-
Dilatih sebelumnya dari awal — Selain menyesuaikan bobot dan kosakata model, Anda juga dapat mengubah parameter konfigurasi model seperti jumlah kepala perhatian, lapisan tersembunyi, atau panjang konteks. Anda dapat mengurangi presisi dengan menggunakan kuantisasi pasca pelatihan atau dengan membuat model gabungan dari bobot dasar dan adaptor.
Arsitektur yang didukung
Model yang Anda impor harus dalam salah satu arsitektur berikut.
-
Mistral- Arsitektur berbasis Transformer khusus decoder dengan Sliding Window Attention (SWA) dan opsi untuk Grouped Query Attention (GQA). Untuk informasi lebih lanjut, lihat Mistral di dokumentasi
Hugging Face. -
Flan— Versi arsitektur T5 yang disempurnakan, model transformator berbasis encoder-decoder. Untuk informasi selengkapnya, lihat Flan T5
di dokumentasi Hugging Face. -
Llama 2dan Llama3 — Versi perbaikan Llama dengan Grouped Query Attention (GQA). Untuk informasi selengkapnya, lihat Llama 2
dan Llama 3 di dokumentasi Hugging Face.
Sumber impor
Anda mengimpor model ke Amazon Bedrock dengan membuat pekerjaan impor model di konsol Amazon Bedrock. Dalam pekerjaan Anda menentukan URI Amazon S3 untuk sumber file model. Atau, jika Anda membuat model di Amazon SageMaker, Anda dapat menentukan SageMaker model. Selama pelatihan model, pekerjaan impor secara otomatis mendeteksi arsitektur model Anda.
Jika Anda mengimpor dari bucket Amazon S3, Anda harus menyediakan file model dalam format Hugging Face bobot. Anda dapat membuat file dengan menggunakan pustaka transformator Hugging Face. Untuk membuat file model untuk Llama model, lihat convert_llama_weights_to_hf.py
Untuk mengimpor model dari Amazon S3, Anda minimal memerlukan file berikut yang dibuat oleh library transformator Hugging Face.
-
.safetensor — bobot model dalam format Safesensor. Safetensors adalah format yang dibuat oleh Hugging Face yang menyimpan bobot model sebagai tensor. Anda harus menyimpan tensor untuk model Anda dalam file dengan ekstensi.
.safetensorsUntuk informasi lebih lanjut, lihat Safetensors. Untuk informasi tentang mengonversi bobot model ke format Safetensor, lihat Mengonversi bobot menjadi pengaman. catatan
Saat ini Amazon Bedrock hanya mendukung bobot model dengan presisi FP32 dan FP16. Amazon Bedrock akan menolak bobot model jika Anda menyediakannya dengan presisi lain.
config.json — Sebagai contoh, lihat dan. LlamaConfigMistralConfig
-
tokenizer_config.json — Sebagai contoh, lihat. LlamaTokenizer
tokenizer.json
tokenizer.model
Mengimpor model
Prosedur berikut menunjukkan cara membuat model kustom dengan mengimpor model yang telah Anda sesuaikan. Pekerjaan impor model dapat memakan waktu beberapa menit. Selama pekerjaan, Amazon Bedrock memvalidasi bahwa model yang menggunakan arsitektur model yang kompatibel.
Untuk mengirimkan pekerjaan impor model, lakukan langkah-langkah berikut.
Minta kenaikan kuota untuk
Imported models per accountkuota. Untuk informasi selengkapnya, lihat Meminta peningkatan kuota.-
Jika Anda mengimpor file model dari Amazon S3, konversikan model ke Hugging Face format.
Jika model Anda adalah Mistral AI model, gunakan convert_mistral_weights_to_hf.py
. -
Jika model Anda adalah Llama model, lihat convert_llama_weights_to_hf.py
. Unggah file model ke bucket Amazon S3 di akun Anda AWS . Untuk informasi selengkapnya, lihat Mengunggah objek ke bucket Anda.
-
Di konsol Amazon Bedrock, pilih Model impor di bawah model Foundation dari panel navigasi kiri.
Pilih tab Model.
Pilih model Impor.
-
Di tab Imported, pilih Impor model untuk membuka halaman model Impor.
-
Di bagian Detail model, lakukan hal berikut:
-
Dalam nama Model masukkan nama untuk model.
-
(Opsional) Untuk mengaitkan tag dengan model, perluas bagian Tag dan pilih Tambahkan tag baru.
-
-
Di bagian Impor nama pekerjaan, lakukan hal berikut:
-
Di Nama Job masukkan nama untuk pekerjaan impor model.
-
(Opsional) Untuk mengaitkan tag dengan model khusus, perluas bagian Tag dan pilih Tambahkan tag baru.
-
Dalam pengaturan impor Model, lakukan salah satu hal berikut.
-
Jika Anda mengimpor file model dari bucket Amazon S3, pilih bucket Amazon S3 dan masukkan lokasi Amazon S3 di lokasi S3. Secara opsional, Anda dapat memilih Browse S3 untuk memilih lokasi file.
-
Jika Anda mengimpor model Anda dari Amazon SageMaker, pilih SageMaker model Amazon dan kemudian pilih SageMaker model yang ingin Anda impor dalam SageMaker model.
-
-
Di bagian Akses layanan, pilih salah satu dari berikut ini:
-
Membuat dan menggunakan peran layanan baru — Masukkan nama untuk peran layanan.
-
Gunakan peran layanan yang ada — Pilih peran layanan dari daftar drop-down. Untuk melihat izin yang dibutuhkan peran layanan yang ada, pilih Lihat detail izin.
Untuk informasi selengkapnya tentang menyiapkan peran layanan dengan izin yang sesuai, lihatBuat peran layanan untuk impor model.
-
-
Pilih Impor.
Pada halaman Model kustom, pilih Diimpor.
-
Di bagian Pekerjaan, periksa status pekerjaan impor. Nama model yang Anda pilih mengidentifikasi pekerjaan impor model. Pekerjaan selesai jika nilai Status untuk model Selesai.
-
Dapatkan ID model untuk model Anda dengan melakukan hal berikut.
-
Pada halaman Model yang diimpor, pilih tab Model.
-
Salin ARN untuk model yang ingin Anda gunakan dari kolom ARN.
-
-
Gunakan model Anda untuk panggilan inferensi. Untuk informasi selengkapnya, lihat Gunakan API untuk memanggil model dengan satu prompt. Anda dapat menggunakan model dengan sesuai permintaan atau throughput yang disediakan. Untuk menggunakan throughput yang disediakan, ikuti petunjuk di Gunakan model Anda.
Anda juga dapat menggunakan model Anda di taman bermain teks Amazon Bedrock.
