Deteksi Objek Bingkai Video - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Deteksi Objek Bingkai Video

Anda dapat menggunakan jenis tugas deteksi objek bingkai video agar pekerja mengidentifikasi dan menemukan objek dalam urutan bingkai video (gambar yang diekstrak dari video) menggunakan kotak pembatas, polyline, poligon, atau alat anotasi keypoint. Alat yang Anda pilih menentukan jenis tugas bingkai video yang Anda buat. Misalnya, Anda dapat menggunakan pekerja tipe tugas deteksi objek bingkai video kotak pembatas untuk mengidentifikasi dan melokalisasi berbagai objek dalam serangkaian bingkai video, seperti mobil, sepeda, dan pejalan kaki.

Anda dapat membuat pekerjaan pelabelan deteksi objek bingkai video menggunakan konsol Amazon SageMaker Ground Truth, the SageMaker API, dan khusus bahasa AWS SDKs. Untuk mempelajari lebih lanjut, lihat Buat Job Pelabelan Deteksi Objek Bingkai Video dan pilih metode pilihan Anda. Lihat Jenis Tugas untuk mempelajari lebih lanjut tentang alat anotasi yang dapat Anda pilih saat membuat pekerjaan pelabelan.

Ground Truth menyediakan UI pekerja dan alat untuk menyelesaikan tugas pekerjaan pelabelan Anda:Pratinjau UI Pekerja.

Anda dapat membuat pekerjaan untuk menyesuaikan anotasi yang dibuat dalam pekerjaan pelabelan deteksi objek video menggunakan jenis tugas penyesuaian deteksi objek video. Untuk mempelajari selengkapnya, lihat Buat Penyesuaian Deteksi Objek Bingkai Video atau Pekerjaan Pelabelan Verifikasi.

Pratinjau UI Pekerja

Ground Truth memberi pekerja antarmuka pengguna web (UI) untuk menyelesaikan tugas anotasi deteksi objek bingkai video Anda. Anda dapat melihat pratinjau dan berinteraksi dengan UI pekerja saat membuat pekerjaan pelabelan di konsol. Jika Anda adalah pengguna baru, sebaiknya Anda membuat pekerjaan pelabelan melalui konsol menggunakan kumpulan data input kecil untuk melihat pratinjau UI pekerja dan memastikan bingkai video, label, dan atribut label Anda muncul seperti yang diharapkan.

UI memberi pekerja alat pelabelan bantu berikut untuk menyelesaikan tugas deteksi objek Anda:

  • Untuk semua tugas, pekerja dapat menggunakan Salin ke berikutnya dan Salin ke semua fitur untuk menyalin anotasi ke frame berikutnya atau ke semua frame berikutnya masing-masing.

  • Untuk tugas yang menyertakan alat kotak pembatas, pekerja dapat menggunakan fitur Predict next untuk menggambar kotak pembatas dalam satu bingkai, dan kemudian meminta Ground Truth memprediksi lokasi kotak dengan label yang sama di semua bingkai lainnya. Pekerja kemudian dapat melakukan penyesuaian untuk memperbaiki lokasi kotak yang diprediksi.

Video berikut menunjukkan bagaimana seorang pekerja dapat menggunakan UI pekerja dengan alat kotak pembatas untuk menyelesaikan tugas deteksi objek Anda.

Gif menunjukkan bagaimana seorang pekerja dapat menggunakan alat kotak pembatas untuk tugas deteksi objek mereka.

Buat Job Pelabelan Deteksi Objek Bingkai Video

Anda dapat membuat pekerjaan pelabelan deteksi objek bingkai video menggunakan SageMaker konsol atau CreateLabelingJobAPIoperasi.

Bagian ini mengasumsikan bahwa Anda telah meninjau Ikhtisar Pekerjaan Pelabelan Bingkai Video dan telah memilih jenis data input dan koneksi dataset input yang Anda gunakan.

Membuat Job Pelabelan (Konsol)

Anda dapat mengikuti petunjuk Membuat Job Pelabelan (Konsol) untuk mempelajari cara membuat pekerjaan pelacakan objek bingkai video di SageMaker konsol. Pada langkah 10, pilih Video - Deteksi objek dari daftar dropdown kategori Tugas. Pilih jenis tugas yang Anda inginkan dengan memilih salah satu kartu di Pemilihan tugas.

Gif menunjukkan cara membuat pekerjaan pelacakan objek bingkai video di SageMaker konsol.

Buat Job Pelabelan () API

Anda membuat pekerjaan pelabelan deteksi objek menggunakan SageMaker API operasiCreateLabelingJob. Ini API mendefinisikan operasi ini untuk semua AWS SDKs. Untuk melihat daftar bahasa khusus yang SDKs didukung untuk operasi ini, tinjau bagian Lihat Juga. CreateLabelingJob

Membuat Job Pelabelan (API)memberikan gambaran umum tentang CreateLabelingJob operasi. Ikuti petunjuk ini dan lakukan hal berikut saat Anda mengonfigurasi permintaan Anda:

  • Anda harus memasukkan ARN untukHumanTaskUiArn. Gunakan arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectDetection. Ganti <region> dengan AWS Wilayah tempat Anda membuat pekerjaan pelabelan.

    Jangan sertakan entri untuk UiTemplateS3Uri parameter.

  • Anda LabelAttributeNameharus berakhir-ref. Misalnya, video-od-labels-ref.

  • File manifes masukan Anda harus berupa file manifes urutan bingkai video. Anda dapat membuat file manifes ini menggunakan SageMaker konsol, atau membuatnya secara manual dan mengunggahnya ke Amazon S3. Untuk informasi selengkapnya, lihat Penyiapan Data Masukan.

  • Anda hanya dapat menggunakan tim kerja pribadi atau vendor untuk membuat pekerjaan pelabelan deteksi objek bingkai video.

  • Anda menentukan label, kategori label dan atribut bingkai, jenis tugas, dan instruksi pekerja dalam file konfigurasi kategori label. Tentukan jenis tugas (kotak pembatas, polyline, poligon, atau keypoint) yang digunakan annotationType dalam file konfigurasi kategori label Anda. Untuk informasi selengkapnya, lihat Buat File Konfigurasi Kategori Pelabelan dengan Kategori Label dan Atribut Bingkai untuk mempelajari cara membuat file ini.

  • Anda perlu menyediakan pra-definisi ARNs untuk fungsi Lambda pra-anotasi dan pasca-anotasi ()ACS. Ini ARNs khusus untuk AWS Wilayah yang Anda gunakan untuk membuat pekerjaan pelabelan Anda.

    • Untuk menemukan Lambda ARN pra-anotasi, lihat. PreHumanTaskLambdaArn Gunakan Wilayah tempat Anda membuat pekerjaan pelabelan untuk menemukan yang benar ARN yang berakhir denganPRE-VideoObjectDetection.

    • Untuk menemukan Lambda ARN pasca-anotasi, lihat. AnnotationConsolidationLambdaArn Gunakan Wilayah tempat Anda membuat pekerjaan pelabelan untuk menemukan yang benar ARN yang berakhir denganACS-VideoObjectDetection.

  • Jumlah pekerja yang ditentukan NumberOfHumanWorkersPerDataObject harus1.

  • Pelabelan data otomatis tidak didukung untuk pekerjaan pelabelan bingkai video. Jangan tentukan nilai untuk parameter diLabelingJobAlgorithmsConfig.

  • Pekerjaan pelabelan pelacakan objek bingkai video dapat memakan waktu beberapa jam untuk diselesaikan. Anda dapat menentukan batas waktu yang lebih lama untuk pekerjaan pelabelan ini dalam TaskTimeLimitInSeconds (hingga 7 hari, atau 604.800 detik).

Berikut ini adalah contoh permintaan AWS Python SDK (Boto3) untuk membuat pekerjaan pelabelan di Wilayah AS Timur (Virginia N.).

response = client.create_labeling_job( LabelingJobName='example-video-od-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectDetection' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectDetection', 'TaskKeywords': [ 'Video Frame Object Detection', ], 'TaskTitle': 'Video frame object detection task', 'TaskDescription': 'Classify and identify the location of objects and people in video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectDetection' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

Buat Penyesuaian Deteksi Objek Bingkai Video atau Pekerjaan Pelabelan Verifikasi

Anda dapat membuat pekerjaan pelabelan penyesuaian dan verifikasi menggunakan konsol Ground Truth atau CreateLabelingJobAPI. Untuk mempelajari lebih lanjut tentang pekerjaan pelabelan penyesuaian dan verifikasi, dan untuk mempelajari cara membuatnya, lihatVerifikasi dan Sesuaikan Label.

Format Data Keluaran

Saat Anda membuat pekerjaan pelabelan deteksi objek bingkai video, tugas dikirim ke pekerja. Saat pekerja ini menyelesaikan tugasnya, label akan ditulis ke lokasi keluaran Amazon S3 yang Anda tentukan saat Anda membuat pekerjaan pelabelan. Untuk mempelajari tentang format data keluaran deteksi objek bingkai video, lihatOutput Deteksi Objek Bingkai Video. Jika Anda adalah pengguna baru Ground Truth, lihat Data Keluaran untuk mempelajari lebih lanjut tentang format data keluaran Ground Truth.