View a markdown version of this page

Multi-Model Orkestrasi Alur Kerja Inferensi - Multi-Model Orkestrasi Alur Kerja Inferensi
Multi-Model Orkestrasi Alur Kerja InferensiSumber bacaan lebih lanjutSejarah diagram

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Multi-Model Orkestrasi Alur Kerja Inferensi

Tanggal publikasi: 28 Maret 2022 (Sejarah diagram)

Arsitektur ini menunjukkan cara mengatur menjalankan beberapa model ML untuk ML-driven wawasan yang kompleks. Dengan AWS Step Functions dan Amazon SageMaker AI, Anda dapat menjalankan pekerjaan inferensi paralel dan hasil agregat.

Multi-Model Orkestrasi Alur Kerja Inferensi

Diagram arsitektur menunjukkan orkestrasi alur kerja inferensi multi-model dengan AWS Step Functions dan AI. SageMaker

Langkah-langkah berikut menjelaskan arsitektur:

  1. Amazon API Gateway menyediakan antarmuka RESTful untuk pengguna dan administrator. Kumpulan pengguna Amazon Cognito menyediakan otentikasi.

  2. Pekerjaan baru dibuat dengan POST permintaan /create-job di API, dengan data untuk menjalankan wawasan. Ini memanggil fungsi create job AWS Lambda.

  3. Fungsi mengunggah data ke bucket Amazon Simple Storage Service dan menambahkan informasi pekerjaan ke tabel Amazon DynamoDB untuk dilacak.

  4. Fungsi lambda menyediakan logika untuk metode API yang diekspos melalui API Gateway. Ini memungkinkan pekerjaan untuk dibuat, dipantau, dan memfasilitasi pengambilan hasil.

  5. Item baru dalam tabel memicu aliran DynamoDB yang pada gilirannya memicu alur kerja Fungsi Langkah untuk inferensi.

  6. Alur kerja Step Functions mengatur semua langkah yang diperlukan untuk menjalankan beberapa pekerjaan inferensi ML terhadap objek data yang disediakan.

  7. Informasi metadata tentang titik akhir ML disimpan dalam tabel DynamoDB untuk digunakan dalam alur kerja.

  8. Status peta dalam fungsi langkah memanggil setiap titik akhir ML dan menyimpan hasilnya secara paralel. Hal ini memungkinkan alur kerja untuk menskalakan ke sejumlah pemanggilan titik akhir ML.

  9. SageMaker Titik akhir model AI menjadi tuan rumah model ML. Alur kerja memanggil titik akhir ini per kategori.

  10. Hasil akhir dari semua wawasan ML yang dikumpulkan untuk data disimpan di Amazon S3.

  11. Setelah alur kerja selesai, Anda dapat mengambil hasil akhir melalui GET permintaan ke/get-job-results. Ini memanggil fungsi Lambda get job results, yang membaca bucket Amazon S3.

  12. Multi-model titik akhir dapat memperluas setiap jenis model dengan pengoptimalan tambahan, seperti inferensi khusus bahasa per kategori.

Sumber bacaan lebih lanjut

Untuk informasi tambahan, lihat sumber daya berikut:

Sejarah diagram

Untuk diberitahu tentang pembaruan diagram arsitektur referensi ini, berlangganan umpan RSS.

PerubahanDeskripsiTanggal

Publikasi awal

Diagram arsitektur referensi pertama kali diterbitkan.

28 Maret 2022

catatan

Untuk berlangganan pembaruan RSS, Anda harus mengaktifkan plugin RSS untuk browser yang Anda gunakan.