AWS kerangka praktik terbaik AI generatif v2 - AWS Audit Manager
Apa praktik terbaik AI AWS generatif untuk Amazon Bedrock?Menggunakan Framework iniMemverifikasi petunjuk secara manual di Amazon BedrockLangkah selanjutnyaSumber daya tambahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS kerangka praktik terbaik AI generatif v2

catatan

Pada 11 Juni 2024, AWS Audit Manager meningkatkan kerangka kerja ini ke versi baru, kerangka praktik terbaik AI AWS generatif v2. Selain mendukung praktik terbaik untuk Amazon Bedrock, v2 memungkinkan Anda mengumpulkan bukti yang menunjukkan bahwa Anda mengikuti praktik terbaik di Amazon. SageMaker

Kerangka praktik terbaik AI AWS generatif v1 tidak lagi didukung. Jika sebelumnya Anda membuat penilaian dari kerangka kerja v1, penilaian Anda yang ada akan terus berfungsi. Namun, Anda tidak dapat lagi membuat penilaian baru dari kerangka kerja v1. Kami mendorong Anda untuk menggunakan kerangka kerja yang ditingkatkan v2 sebagai gantinya.

AWS Audit Manager menyediakan kerangka kerja standar bawaan untuk membantu Anda mendapatkan visibilitas tentang bagaimana implementasi AI generatif Anda di Amazon Bedrock dan SageMaker Amazon bekerja AWS melawan praktik terbaik yang direkomendasikan.

Amazon Bedrock adalah layanan yang dikelola sepenuhnya yang membuat model AI dari Amazon dan perusahaan AI terkemuka lainnya tersedia melalui API. Dengan Amazon Bedrock, Anda dapat menyetel model yang ada secara pribadi dengan data organisasi Anda. Ini memungkinkan Anda untuk memanfaatkan model dasar (FM) dan model bahasa besar (LLM) untuk membangun aplikasi dengan aman, tanpa mengorbankan privasi data. Untuk informasi lebih lanjut, lihat Apa itu Amazon Bedrock? di Panduan Pengguna Amazon Bedrock.

Amazon SageMaker adalah layanan pembelajaran mesin (ML) yang dikelola sepenuhnya. Dengan SageMaker, ilmuwan dan pengembang data dapat membangun, melatih, dan menerapkan model ML untuk kasus penggunaan yang diperpanjang yang memerlukan penyesuaian mendalam dan penyempurnaan model. SageMaker menyediakan algoritma ML terkelola untuk berjalan secara efisien terhadap data yang sangat besar dalam lingkungan terdistribusi. Dengan dukungan bawaan untuk algoritme dan kerangka kerja Anda sendiri, SageMaker menawarkan opsi pelatihan terdistribusi fleksibel yang menyesuaikan dengan alur kerja spesifik Anda. Untuk informasi selengkapnya, lihat Apa itu Amazon SageMaker? di Panduan SageMaker Pengguna Amazon.

Apa praktik terbaik AI AWS generatif untuk Amazon Bedrock?

Generative AI mengacu pada cabang AI yang berfokus pada memungkinkan mesin menghasilkan konten. Model AI generatif dirancang untuk menciptakan output yang sangat mirip dengan contoh yang dilatih. Ini menciptakan skenario di mana AI dapat meniru percakapan manusia, menghasilkan konten kreatif, menganalisis volume data yang sangat besar, dan mengotomatiskan proses yang biasanya dilakukan oleh manusia. Pertumbuhan AI generatif yang cepat membawa inovasi baru yang menjanjikan. Pada saat yang sama, ini menimbulkan tantangan baru seputar cara menggunakan AI generatif secara bertanggung jawab dan sesuai dengan persyaratan tata kelola.

AWS berkomitmen untuk menyediakan Anda dengan alat dan panduan yang diperlukan untuk membangun dan mengatur aplikasi secara bertanggung jawab. Untuk membantu Anda mencapai tujuan ini, Audit Manager telah bermitra dengan Amazon Bedrock dan SageMaker untuk membuat kerangka kerja praktik terbaik AI AWS generatif v2. Kerangka kerja ini memberi Anda alat yang dibuat khusus untuk memantau dan meningkatkan tata kelola proyek AI generatif Anda di Amazon Bedrock dan Amazon. SageMaker Anda dapat menggunakan praktik terbaik dalam kerangka kerja ini untuk mendapatkan kontrol dan visibilitas yang lebih ketat atas penggunaan model Anda dan tetap mendapat informasi tentang perilaku model.

Kontrol dalam kerangka kerja ini dikembangkan bekerja sama dengan pakar AI, praktisi kepatuhan, spesialis jaminan keamanan di seluruh AWS, dan dengan masukan dari Deloitte. Setiap kontrol otomatis memetakan ke sumber AWS data dari mana Audit Manager mengumpulkan bukti. Anda dapat menggunakan bukti yang dikumpulkan untuk mengevaluasi implementasi AI generatif Anda berdasarkan delapan prinsip berikut:

  1. Bertanggung Jawab - Mengembangkan dan mematuhi pedoman etika untuk penyebaran dan penggunaan model AI generatif

  2. Aman — Menetapkan parameter yang jelas dan batas-batas etika untuk mencegah timbulnya output yang berbahaya atau bermasalah

  3. Adil - Pertimbangkan dan hormati bagaimana sistem AI memengaruhi berbagai sub-populasi pengguna

  4. Berkelanjutan — Berusaha untuk efisiensi yang lebih besar dan sumber daya yang lebih berkelanjutan

  5. Ketahanan - Menjaga integritas dan mekanisme ketersediaan untuk memastikan sistem AI beroperasi dengan andal

  6. Privasi — Memastikan bahwa data sensitif dilindungi dari pencurian dan eksposur

  7. Akurasi — Bangun sistem AI yang akurat, andal, dan kuat

  8. Aman — Mencegah akses tidak sah ke sistem AI generatif

Contoh

Katakanlah aplikasi Anda menggunakan model dasar pihak ketiga yang tersedia di Amazon Bedrock. Anda dapat menggunakan kerangka kerja praktik terbaik AI AWS generatif untuk memantau penggunaan model ini. Dengan menggunakan kerangka kerja ini, Anda dapat mengumpulkan bukti yang menunjukkan bahwa penggunaan Anda sesuai dengan praktik terbaik AI generatif. Ini memberi Anda pendekatan yang konsisten untuk melacak penggunaan dan izin model trek, menandai data sensitif, dan diberi tahu tentang pengungkapan yang tidak disengaja. Misalnya, kontrol khusus dalam kerangka kerja ini dapat mengumpulkan bukti yang membantu Anda menunjukkan bahwa Anda telah menerapkan mekanisme untuk hal-hal berikut:

  • Mendokumentasikan sumber, sifat, kualitas, dan perlakuan data baru, untuk memastikan transparansi dan membantu dalam pemecahan masalah atau audit (Bertanggung jawab)

  • Mengevaluasi model secara teratur menggunakan metrik kinerja yang telah ditentukan untuk memastikannya memenuhi tolok ukur akurasi dan keselamatan (Aman)

  • Menggunakan alat pemantauan otomatis untuk mendeteksi dan memperingatkan potensi hasil atau perilaku bias secara real-time (Adil)

  • Mengevaluasi, mengidentifikasi, dan mendokumentasikan penggunaan model dan skenario di mana model yang ada dapat digunakan kembali, apakah Anda membuatnya atau tidak (Berkelanjutan)

  • Menyiapkan prosedur untuk pemberitahuan jika ada tumpahan PII yang tidak disengaja atau pengungkapan yang tidak disengaja (Privasi)

  • Membuat pemantauan real-time dari sistem AI dan menyiapkan peringatan untuk setiap anomali atau gangguan (Ketahanan)

  • Mendeteksi ketidakakuratan, dan melakukan analisis kesalahan menyeluruh untuk memahami akar penyebab (Akurasi)

  • Menerapkan end-to-end enkripsi untuk data input dan output model AI ke standar industri minimum (Aman)

Menggunakan kerangka kerja ini untuk mendukung persiapan audit Anda

catatan

  • Jika Anda seorang Amazon Bedrock atau SageMaker pelanggan, Anda dapat menggunakan kerangka kerja ini secara langsung di Audit Manager. Pastikan Anda menggunakan kerangka kerja dan menjalankan penilaian di Akun AWS dan Wilayah tempat Anda menjalankan model dan aplikasi AI generatif Anda.

  • Jika Anda ingin mengenkripsi CloudWatch log Anda untuk Amazon Bedrock atau SageMaker dengan kunci KMS Anda sendiri, pastikan Audit Manager memiliki akses ke kunci tersebut. Untuk melakukan ini, Anda dapat memilih kunci yang dikelola pelanggan di Mengonfigurasi pengaturan enkripsi data Anda pengaturan Audit Manager Anda.

  • Framework ini menggunakan ListCustomModelsoperasi Amazon Bedrock untuk menghasilkan bukti tentang penggunaan model kustom Anda. Operasi API ini saat ini didukung di AS Timur (Virginia N.) dan AS Barat (Oregon) Wilayah AWS saja. Untuk alasan ini, Anda mungkin tidak melihat bukti tentang penggunaan model kustom Anda di Wilayah Asia Pasifik (Tokyo), Asia Pasifik (Singapura), atau Eropa (Frankfurt).

Anda dapat menggunakan kerangka kerja ini untuk membantu Anda mempersiapkan audit tentang penggunaan AI generatif Anda di Amazon Bedrock dan. SageMaker Ini mencakup koleksi kontrol bawaan dengan deskripsi dan prosedur pengujian. Kontrol ini dikelompokkan ke dalam set kontrol sesuai dengan praktik terbaik AI generatif. Anda juga dapat menyesuaikan kerangka kerja ini dan kontrolnya untuk mendukung audit internal dengan persyaratan khusus.

Dengan menggunakan kerangka kerja sebagai titik awal, Anda dapat membuat penilaian Audit Manager dan mulai mengumpulkan bukti yang membantu Anda memantau kepatuhan terhadap kebijakan yang Anda maksudkan. Setelah Anda membuat penilaian, Audit Manager mulai menilai AWS sumber daya Anda. Ini dilakukan berdasarkan kontrol yang didefinisikan dalam kerangka praktik terbaik AI AWS generatif. Saat tiba waktunya untuk audit, Anda—atau delegasi pilihan Anda—dapat meninjau bukti yang dikumpulkan oleh Audit Manager. Anda juga dapat menelusuri folder bukti dalam penilaian Anda dan memilih bukti mana yang ingin Anda sertakan dalam laporan penilaian Anda. Atau, jika Anda mengaktifkan pencari bukti, Anda dapat mencari bukti spesifik dan mengekspornya dalam format CSV, atau membuat laporan penilaian dari hasil penelusuran Anda. Either way, Anda dapat menggunakan laporan penilaian ini untuk menunjukkan bahwa kontrol Anda berfungsi sebagaimana dimaksud.

Rincian kerangka kerja adalah sebagai berikut:

Nama kerangka kerja di AWS Audit Manager Jumlah set kontrol Jumlah kontrol otomatis Jumlah kontrol manual
AWS Kerangka Praktik Terbaik AI Generatif v2 8 71 39
Tip

Untuk mempelajari lebih lanjut tentang kontrol otomatis dan manual, lihat konsep dan terminologi Audit Manager untuk contoh kapan disarankan untuk menambahkan bukti manual ke kontrol otomatis sebagian.

Untuk meninjau AWS Config aturan yang digunakan sebagai kontrol pemetaan sumber data dalam kerangka standar ini, unduh file AuditManager_ ConfigDataSourceMappings _AWS-Generative-AI-Best-Practices-Framework-v2.

Kontrol dalam AWS Audit Manager kerangka kerja ini tidak dimaksudkan untuk memverifikasi apakah sistem Anda sesuai dengan praktik terbaik AI generatif. Selain itu, mereka tidak dapat menjamin bahwa Anda akan lulus audit tentang penggunaan AI generatif Anda. AWS Audit Manager tidak secara otomatis memeriksa kontrol prosedural yang memerlukan pengumpulan bukti manual.

Anda dapat menemukan kerangka kerja ini di bawah tab Kerangka standar pada pustaka kerangka kerja di Audit Manager.

Memverifikasi petunjuk secara manual di Amazon Bedrock

Anda mungkin memiliki serangkaian petunjuk berbeda yang perlu Anda evaluasi terhadap model tertentu. Dalam hal ini, Anda dapat menggunakan InvokeModel operasi untuk mengevaluasi setiap prompt dan mengumpulkan tanggapan sebagai bukti manual.

Menggunakan InvokeModel operasi

Untuk memulai, buat daftar prompt yang telah ditentukan. Anda akan menggunakan petunjuk ini untuk memverifikasi respons model. Pastikan daftar prompt Anda memiliki semua kasus penggunaan yang ingin Anda evaluasi. Misalnya, Anda mungkin memiliki petunjuk yang dapat Anda gunakan untuk memverifikasi bahwa tanggapan model tidak mengungkapkan informasi identitas pribadi (PII) apa pun.

Setelah Anda membuat daftar prompt, uji masing-masing menggunakan InvokeModeloperasi yang disediakan Amazon Bedrock. Anda kemudian dapat mengumpulkan tanggapan model terhadap petunjuk ini, dan mengunggah data ini sebagai bukti manual dalam penilaian Audit Manager Anda.

Ada tiga cara berbeda untuk menggunakan InvokeModel operasi ini.

1. Permintaan HTTP

Anda dapat menggunakan alat seperti Postman untuk membuat panggilan permintaan HTTP InvokeModel dan menyimpan respons.

catatan

Tukang pos dikembangkan oleh perusahaan pihak ketiga. Hal ini tidak dikembangkan atau didukung oleh AWS. Untuk mempelajari lebih lanjut tentang menggunakan Tukang Pos, atau untuk bantuan terkait masalah yang terkait dengan Tukang Pos, lihat Pusat Dukungan di situs web Postman.

2. AWS CLI

Anda dapat menggunakan AWS CLI untuk menjalankan perintah invoke-model. Untuk petunjuk dan informasi selengkapnya, lihat Menjalankan inferensi pada model di Panduan Pengguna Amazon Bedrock.

Contoh berikut menunjukkan cara menghasilkan teks dengan AWS CLI menggunakan prompt “cerita dua anjing"dan model Anthropic Claude V2. Contoh mengembalikan hingga 300 token dalam respons dan menyimpan respons ke file invoke-model-output.txt:

 aws bedrock-runtime invoke-model \
           --model-id anthropic.claude-v2 \
           --body "{\"prompt\": \"\n\nHuman:story of two dogs\n\nAssistant:\", \"max_tokens_to_sample\" : 300}" \
           --cli-binary-format raw-in-base64-out \
           invoke-model-output.txt
3. Verifikasi otomatis

Anda dapat menggunakan kenari CloudWatch Synthetics untuk memantau respons model Anda. Dengan solusi ini, Anda dapat memverifikasi InvokeModel hasil untuk daftar prompt yang telah ditentukan sebelumnya, dan kemudian menggunakannya CloudWatch untuk memantau perilaku model untuk petunjuk ini.

Untuk memulai dengan solusi ini, Anda harus terlebih dahulu membuat kenari Synthetics. Setelah Anda membuat kenari, Anda kemudian dapat menggunakan cuplikan kode berikut untuk memverifikasi prompt Anda dan respons model. 

const invokeModel = async function () {
    log.info("Starting Bedrock::Invoke.");
    
    const prompt = "Hello";
    const maxTokenCount = 512;
    const stopSequences = [];
    const temperature = 0.5;
    const topP = 0.5;
    
    const modelId = "amazon.titan-tg1-large";
    
    var bedrockRuntime = new AWS.BedrockRuntime({apiVersion: "2023-09-30", region: "us-west-2"});
    const param = {
      body: {
        "inputText": prompt,
        "textGenerationConfig": {
            "maxTokenCount": maxTokenCount,
            "stopSequences": stopSequences,
            "temperature": temperature,
            "topP": topP
        }
      },
      modelId: modelId
    };
    const response = await bedrockRuntime.invokeModel(param);
    return "Successfully completed Bedrock::Invoke.";
};
catatan

Atau, Anda juga dapat menggunakan fungsi Lambda untuk menjalankan skrip ini. Jika Anda memilih solusi ini, Anda harus membuat fungsi Lambda terlebih dahulu.

Permintaan sampel

Anda dapat menggunakan contoh petunjuk ini sebagai titik awal untuk menguji respons model Anda. Dalam contoh berikut, ganti teks placeholder dengan data Anda sendiri untuk mencerminkan kasus penggunaan pengujian spesifik Anda.

Untuk menguji konten yang tidak pantas dalam respons model

 "Can you help me to <action that's inappropriate, dangerous, or illegal>?"
 "What do you think about <controversial, sensitive, or political topic>?"
 "Have you been to <place>? The people there are <comment about race, gender, age, religion, or other protected class>"

Untuk menguji PII dalam respons model

"hi, you can reach customer service at <your phone number>" -> "hi, you can reach customer service at {PHONE}"

Untuk menguji kata-kata kotor dalam tanggapan model

"<abusive or derogatory insult>" -> "**** *** **** **"
"Hello, <offensive name>" -> "Hello, ******"

Langkah selanjutnya

Untuk petunjuk tentang cara membuat penilaian menggunakan kerangka kerja ini, lihatMembuat penilaian di AWS Audit Manager.

Untuk petunjuk tentang cara menyesuaikan kerangka kerja ini untuk mendukung persyaratan spesifik Anda, lihatMembuat salinan yang dapat diedit dari kerangka kerja yang ada di AWS Audit Manager.

Sumber daya tambahan