Kontrol aliran objek data yang dikirim ke pekerja - Amazon SageMaker
Gunakan MaxConcurrentTaskCount untuk mengontrol aliran objek dataGunakan Amazon SQS untuk mengontrol aliran objek data ke pekerjaan pelabelan streaming

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kontrol aliran objek data yang dikirim ke pekerja

Bergantung pada jenis pekerjaan pelabelan yang Anda buat, Amazon SageMaker Ground Truth mengirimkan objek data ke pekerja dalam batch atau secara streaming. Anda dapat mengontrol aliran objek data ke pekerja dengan cara berikut:

  • Untuk kedua jenis pekerjaan pelabelan, Anda dapat menggunakan MaxConcurrentTaskCount untuk mengontrol jumlah total objek data yang tersedia untuk semua pekerja pada titik waktu tertentu ketika pekerjaan pelabelan sedang berjalan.

  • Untuk pekerjaan pelabelan streaming, Anda dapat mengontrol aliran objek data ke pekerja dengan memantau dan mengontrol jumlah objek data yang dikirim ke Amazon yang SQS terkait dengan pekerjaan pelabelan Anda.

Gunakan bagian berikut untuk mempelajari lebih lanjut tentang opsi ini.

Gunakan MaxConcurrentTaskCount untuk mengontrol aliran objek data

MaxConcurrentTaskCountmendefinisikan jumlah maksimum objek data yang tersedia pada satu waktu dalam antrian tugas portal pekerja. Jika Anda menggunakan konsol, parameter ini diatur ke 1.000. Jika Anda menggunakanCreateLabelingJob, Anda dapat mengatur parameter ini ke bilangan bulat antara 1 dan 5.000, inklusif.

Gunakan contoh berikut untuk lebih memahami bagaimana jumlah entri dalam file manifesNumberOfHumanWorkersPerDataObject, dan MaxConcurrentTaskCount menentukan tugas apa yang dilihat pekerja dalam antrean tugas mereka di UI portal pekerja.

  1. Anda memiliki file manifes masukan dengan 600 entri.

  2. Untuk setiap entri dalam file manifes masukan Anda, Anda dapat menggunakan NumberOfHumanWorkersPerDataObject untuk menentukan jumlah pekerja manusia yang akan memberi label entri dari file manifes masukan Anda. Dalam contoh ini, Anda menetapkan NumberOfHumanWorkersPerDataObject sama dengan 3. Ini akan membuat 3 tugas berbeda untuk setiap entri dalam file manifes masukan Anda. Juga, untuk ditandai sebagai berhasil diberi label, setidaknya 3 pekerja yang berbeda harus memberi label objek. Ini menciptakan total 1.800 tugas (600 x 3) yang harus diselesaikan oleh pekerja.

  3. Anda ingin pekerja hanya melihat 100 tugas sekaligus dalam antrian mereka di UI portal pekerja. Untuk melakukan ini, Anda menetapkan MaxConcurrentTaskCount sama dengan 100. Ground Truth kemudian akan mengisi antrian tugas portal pekerja dengan 100 tugas per pekerja.

  4. Apa yang terjadi selanjutnya tergantung pada jenis pekerjaan pelabelan yang Anda buat, dan apakah itu adalah pekerjaan pelabelan streaming.

    • Pekerjaan pelabelan streaming: Selama jumlah total objek yang tersedia untuk pekerja sama denganMaxConcurrentTaskCount, semua objek kumpulan data yang tersisa dalam file manifes masukan Anda dan yang Anda kirim secara real time menggunakan Amazon SNS ditempatkan pada antrean AmazonSQS. Ketika jumlah total objek yang tersedia untuk pekerja turun di bawah MaxConcurrentTaskCount minusNumberOfHumanWorkersPerDataObject, objek data baru dari antrian digunakan untuk membuat NumberOfHumanWorkersPerDataObject -tugas, yang dikirim ke pekerja secara real time.

    • Pekerjaan pelabelan non-streaming: Ketika pekerja selesai memberi label pada satu set objek, hingga MaxConcurrentTaskCount kali NumberOfHumanWorkersPerDataObject jumlah tugas baru akan dikirim ke pekerja. Proses ini diulang sampai semua objek data dalam file manifes masukan diberi label.

Gunakan Amazon SQS untuk mengontrol aliran objek data ke pekerjaan pelabelan streaming

Saat Anda membuat pekerjaan pelabelan streaming, SQS antrian Amazon secara otomatis dibuat di akun Anda. Objek data hanya ditambahkan ke SQS antrian Amazon ketika jumlah total objek yang dikirim ke pekerja di atasMaxConcurrentTaskCount. Kalau tidak, benda dikirim langsung ke pekerja.

Anda dapat menggunakan antrian ini untuk mengelola aliran objek data ke pekerjaan pelabelan Anda. Untuk mempelajari selengkapnya, lihat Mengelola permintaan pelabelan dengan antrian Amazon SQS.