View a markdown version of this page

Gunakan Impor model khusus untuk mengimpor model sumber terbuka yang disesuaikan ke Amazon Bedrock - Amazon Bedrock
Arsitektur yang didukungMengimpor sumber model dari Amazon S3

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan Impor model khusus untuk mengimpor model sumber terbuka yang disesuaikan ke Amazon Bedrock

Anda dapat membuat model khusus di Amazon Bedrock dengan menggunakan fitur Impor Model Kustom Amazon Bedrock untuk mengimpor Model Dasar yang telah Anda sesuaikan di lingkungan lain, seperti Amazon SageMaker AI. Misalnya, Anda mungkin memiliki model yang telah Anda buat di Amazon SageMaker AI yang memiliki bobot model eksklusif. Anda sekarang dapat mengimpor model itu ke Amazon Bedrock dan kemudian menggunakan fitur Amazon Bedrock untuk melakukan panggilan inferensi ke model.

Anda dapat menggunakan model yang Anda impor dengan throughput sesuai permintaan. Gunakan InvokeModelWithResponseStream operasi InvokeModel atau untuk membuat panggilan inferensi ke model. Untuk informasi selengkapnya, lihat Kirim satu prompt dengan InvokeModel.

Impor model kustom didukung di wilayah berikut:

  • eu-central-1

  • us-east-1

  • us-east-2

  • us-west-2

catatan

Pastikan impor dan penggunaan model di Amazon Bedrock sesuai dengan persyaratan atau lisensi yang berlaku untuk model.

Anda tidak dapat menggunakan Impor Model Kustom dengan fitur Amazon Bedrock berikut.

  • Inferensi batch

  • CloudFormation

Dengan Custom Model Impor Anda dapat membuat model kustom yang mendukung pola berikut.

  • Fine-tuned model — Anda dapat menyesuaikan bobot model menggunakan data eksklusif, tetapi mempertahankan konfigurasi model dasar.

  • Adap tasi Anda dapat menyesuaikan model ke domain Anda untuk kasus penggunaan di mana model tidak digeneralisasi dengan baik. Adaptasi domain memodifikasi model untuk menggeneralisasi untuk domain target dan menangani perbedaan lintas domain, seperti industri keuangan yang ingin membuat model yang menggeneralisasi harga dengan baik. Contoh lain adalah adaptasi bahasa. Misalnya Anda dapat menyesuaikan model untuk menghasilkan tanggapan dalam bahasa Portugis atau Tamil. Paling sering, ini melibatkan perubahan kosakata model yang Anda gunakan.

  • Dilatih sebelumnya dari awal — Selain menyesuaikan bobot dan kosakata model, Anda juga dapat mengubah parameter konfigurasi model seperti jumlah kepala perhatian, lapisan tersembunyi, atau panjang konteks.

Untuk informasi mengenai harga impor model kustom, pilih tab Impor Model Kustom di bagian Detail harga Model dari harga https://aws.amazon.com/bedrock/pricing Amazon Bedrock.

Topik

Arsitektur yang didukung

Model yang Anda impor harus berada di salah satu arsitektur berikut.

  • Mistral— Arsitektur berbasis Transformer khusus decoder dengan Sliding Window Attention (SWA) dan opsi untuk Groovated Query Attention (GQA). Untuk informasi selengkapnya, lihat Mistral dokumentasi Hugging Face.

  • Mixtral— Model transformator khusus decoder dengan model Campuran Ahli (MoE) yang jarang. Untuk informasi selengkapnya, lihat Mixtral dalam dokumentasi Hugging Face.

  • Flan- Versi yang disempurnakan dari arsitektur T5, model transformator berbasis encoder-decoder. Untuk informasi selengkapnya, lihat Flan T5 dokumentasi Hugging Face.

  • Llama 2,Llama3,,Llama3.1, Llama3.2Llama 3.3, dan Mllama — Versi yang ditingkatkan Llama dengan Groovated Query Attention (GQA). Untuk informasi selengkapnya Llama 2, lihat Llama 3, Llama 3.1, Llama 3.2, Llama 3.3,, dan Mllama dalam Hugging Face dokumentasi.

  • GPTBigCode— Versi yang dioptimalkan GPT-2 dengan Multi-Query tindakan. Untuk informasi lebih lanjut, lihat GPTBigCode dalam Hugging Face dokumentasi.

  • Qwen2,,Qwen2.5, Qwen2-VLQwen2.5-VL, Qwen3 - Keluarga LLM dengan persepsi multimodal yang komprehensif dan pengkodean penglihatan kecepatan tinggi. Model apa pun yang menggunakan Qwen2.5-VL arsitektur Qwen2Qwen2-VL,, dan dapat diimpor. Untuk Qwen3 arsitektur, hanya Qwen3ForCausalLM dan Qwen3MoeForCausalLM didukung. Converse juga tidak didukung untuk Qwen3 model. Untuk informasi selengkapnya, lihat Qwen2,,, Qwen2.5 Qwen2-VL Qwen2.5-VL, dan Qwen3 dalam dokumentasi. Hugging Face

  • GPT-OSS— Arsit GPT-OSS ektur berbasis OpenAI. Amazon Bedrock mendukung model khusus berbasis 20B dan 120B. GPT-OSSArsitektur model hanya didukung di wilayah AS Timur (Virginia Utara).

catatan

  • Ukuran bobot model yang diimpor harus kurang dari 100GB untuk model multimodal dan 200GB untuk model teks.

  • Penyematan posisi maksimum atau panjang konteks maksimum yang didukung oleh model harus kurang dari 128K.

  • Amazon Bedrock mendukung transformator versi 4.51.3. Pastikan Anda menggunakan transformator versi 4.51.3 saat Anda menyempurnakan model Anda.

  • Impor Model Kustom tidak mendukung model penyematan.

Mengimpor sumber model dari Amazon S3

Anda mengimpor model ke Amazon Bedrock dengan membuat pekerjaan impor model di konsol atau API Amazon Bedrock. Dalam pekerjaan, Anda menentukan URI Amazon S3 untuk sumber file model. Selama pelatihan model, pekerjaan impor secara otomatis mendeteksi arsitektur model Anda.

Anda perlu menyediakan file model dalam format bo Hugging Face bot. Anda dapat membuat file dengan menggunakan pustaka transformator Hugging Face. Untuk membuat file model untuk Llama model, lihat convert_llama_weights_to_hf.py. Untuk membuat file untuk Mistral AI model, lihat convert_mistral_weights_to_hf.py.

Untuk mengimpor model dari Amazon S3, Anda minimal memerlukan file berikut yang dibuat oleh pustaka transformator Hugging Face.

  • .safetensor — bobot model dalam format Safetensor. Safetensors adalah format yang dibuat oleh Hugging Face yang menyimpan bobot model sebagai tensor. Anda harus menyimpan tensor untuk model Anda dalam file dengan eksten .safetensors si. Untuk informasi selengkapnya, lihat Safetensor. Untuk informasi tentang mengonversi bobot model ke format Safetensor, lihat Mengon versi bobot ke sensor pengaman.

  • config.json — Sebagai contoh, lihat LlamaConfig dan. MistralConfig

    catatan

    Amazon Bedrock mengganti llama3 rope_scaling nilai dengan nilai-nilai berikut:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Untuk contoh, lihat. LlamaTokenizer

  • tokenizer.json

  • tokenizer model

Tokenizer yang didukung

Amazon Bedrock Custom Model Impor mendukung tokenizer berikut. Anda dapat menggunakan tokenizer ini dengan model apa pun.

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen2TokenizerFast