Impor model yang disesuaikan ke Amazon Bedrock - Amazon Bedrock
Arsitektur yang didukungImpor sumber

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Impor model yang disesuaikan ke Amazon Bedrock

Anda dapat membuat model kustom di Amazon Bedrock dengan menggunakan fitur Impor Model Kustom Amazon Bedrock untuk mengimpor Model Foundation yang telah Anda sesuaikan di lingkungan lain, seperti Amazon SageMaker AI. Misalnya, Anda mungkin memiliki model yang telah Anda buat di Amazon SageMaker AI yang memiliki bobot model eksklusif. Anda sekarang dapat mengimpor model itu ke Amazon Bedrock dan kemudian memanfaatkan fitur Amazon Bedrock untuk melakukan panggilan inferensi ke model.

Anda dapat menggunakan model yang Anda impor dengan throughput sesuai permintaan. Gunakan InvokeModelWithResponseStreamoperasi InvokeModelor untuk membuat panggilan inferensi ke model. Untuk informasi selengkapnya, lihat Kirim satu prompt dengan InvokeModel.

Impor Model Kustom Amazon Bedrock didukung di Wilayah berikut (untuk informasi selengkapnya tentang Wilayah yang didukung di Amazon Bedrock, lihat titik akhir dan kuota Amazon Bedrock):

  • AS Timur (Virginia Utara)

  • AS Barat (Oregon)

catatan

Pastikan impor dan penggunaan model di Amazon Bedrock sesuai dengan persyaratan atau lisensi yang berlaku untuk model.

Anda tidak dapat menggunakan Impor Model Kustom dengan fitur Amazon Bedrock berikut.

  • Inferensi Batch

  • AWS CloudFormation

Dengan Impor Model Kustom Anda dapat membuat model kustom yang mendukung pola berikut.

  • Model Pra-pelatihan yang disetel dengan baik atau Lanjutan — Anda dapat menyesuaikan bobot model menggunakan data eksklusif, tetapi mempertahankan konfigurasi model dasar.

  • Adaptasi Anda dapat menyesuaikan model ke domain Anda untuk kasus penggunaan di mana model tidak digeneralisasi dengan baik. Adaptasi domain memodifikasi model untuk menggeneralisasi domain target dan menangani perbedaan di seluruh domain, seperti industri keuangan yang ingin membuat model yang menggeneralisasi harga dengan baik. Contoh lain adalah adaptasi bahasa. Misalnya Anda dapat menyesuaikan model untuk menghasilkan tanggapan dalam bahasa Portugis atau Tamil. Paling sering, ini melibatkan perubahan pada kosakata model yang Anda gunakan.

  • Dilatih sebelumnya dari awal — Selain menyesuaikan bobot dan kosakata model, Anda juga dapat mengubah parameter konfigurasi model seperti jumlah kepala perhatian, lapisan tersembunyi, atau panjang konteks.

Topik

Arsitektur yang didukung

Model yang Anda impor harus dalam salah satu arsitektur berikut.

  • Mistral- Arsitektur berbasis Transformer khusus decoder dengan Sliding Window Attention (SWA) dan opsi untuk Grouped Query Attention (GQA). Untuk informasi selengkapnya, silakan lihat Mistraldalam dokumentasi Hugging Face.

    catatan

    Impor Model Kustom Amazon Bedrock tidak mendukung Mistral Nemopada saat ini.

  • Mixtral— Model transformator khusus decoder dengan model Mixture of Experts (MoE) yang jarang. Untuk informasi selengkapnya, silakan lihat Mixtral dalam dokumentasi Hugging Face.

  • Flan — Versi arsitektur T5 yang disempurnakan, model transformator berbasis encoder-decoder. Untuk informasi selengkapnya, silakan lihat Flan T5dalam dokumentasi Hugging Face.

  • Llama 2, Llama3, Llama3.1, Llama3.2, dan Llama 3.3— Versi yang lebih baik dari Llama dengan Grouped Query Attention (GQA). Untuk informasi selengkapnya, silakan lihat Llama 2, Llama 3, Llama 3.1, Llama 3.2, dan Llama 3.3di Hugging Face dokumentasi.

catatan

  • Ukuran bobot model impor harus kurang dari 100GB untuk model multimodal dan 200GB untuk model teks.

  • Amazon Bedrock mendukung transformator versi 4.45.2. Pastikan Anda menggunakan transformator versi 4.45.2 saat Anda menyempurnakan model Anda.

Impor sumber

Anda mengimpor model ke Amazon Bedrock dengan membuat pekerjaan impor model di konsol Amazon Bedrock atau API. Dalam pekerjaan Anda menentukan URI Amazon S3 untuk sumber file model. Atau, jika Anda membuat model di Amazon SageMaker AI, Anda dapat menentukan model SageMaker AI. Selama pelatihan model, pekerjaan impor secara otomatis mendeteksi arsitektur model Anda.

Jika Anda mengimpor dari bucket Amazon S3, Anda perlu menyediakan file model di Hugging Face format bobot. Anda dapat membuat file dengan menggunakan pustaka transformator Hugging Face. Untuk membuat file model untuk Llama model, lihat convert_llama_weights_to_hf.py. Untuk membuat file untuk Mistral AI model, lihat convert_mistral_weights_to_hf.py.

Untuk mengimpor model dari Amazon S3, Anda minimal memerlukan file berikut yang dibuat oleh library transformator Hugging Face.

  • .safetensor — bobot model dalam format Safetensor. Safetensors adalah format yang dibuat oleh Hugging Face yang menyimpan bobot model sebagai tensor. Anda harus menyimpan tensor untuk model Anda dalam file dengan ekstensi. .safetensors Untuk informasi lebih lanjut, lihat Safetensors. Untuk informasi tentang mengonversi bobot model ke format Safetensor, lihat Mengonversi bobot menjadi pengaman.

    catatan

    • Saat ini, Amazon Bedrock hanya mendukung bobot model dengan FP32, FP16, dan BF16 presisi. Amazon Bedrock akan menolak bobot model jika Anda menyediakannya dengan presisi lain. Secara internal Amazon Bedrock akan mengubah FP32 model menjadi presisi. BF16

    • Amazon Bedrock tidak mendukung impor model terkuantisasi.

  • config.json — Sebagai contoh, lihat dan. LlamaConfigMistralConfig

    catatan

    Penggantian Amazon Bedrock llama3 rope_scalingnilai dengan nilai-nilai berikut:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Sebagai contoh, lihat. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Tokenizer yang didukung

Amazon Bedrock Custom Model Import mendukung tokenizer berikut. Anda dapat menggunakan tokenizers ini dengan model apa pun.

  • T5Tokenizer

  • T5 TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerCepat

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast