ワーカーに送信されるデータオブジェクトのフローを制御する - Amazon SageMaker
MaxConcurrentTaskCount を使用してデータオブジェクトのフローを制御するAmazon SQSを使用して、ストリーミングラベル付けジョブへのデータオブジェクトの流れを制御する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ワーカーに送信されるデータオブジェクトのフローを制御する

作成するラベル付けジョブのタイプに応じて、Amazon SageMaker Ground Truth はデータオブジェクトをバッチまたはストリーミング方式でワーカーに送信します。ワーカーへのデータオブジェクトのフローは、次の方法で制御できます。

  • どちらのタイプのラベル付けジョブでも、ラベル付けジョブの実行中の特定の時点で、すべてのワーカーが使用できるデータオブジェクトの総数を、MaxConcurrentTaskCount を使用して制御できます。

  • ストリーミングラベル付けジョブの場合、ラベル付けジョブSQSに関連付けられた Amazon に送信されるデータオブジェクトの数をモニタリングして制御することで、ワーカーへのデータオブジェクトの流れを制御できます。

これらのオプションの詳細については、次のセクションを参照してください。

MaxConcurrentTaskCount を使用してデータオブジェクトのフローを制御する

MaxConcurrentTaskCount は、ワーカーポータルタスクキューで一度に使用できるデータオブジェクトの最大数を定義します。コンソールを使用する場合、このパラメータは 1,000 に設定されます。を使用する場合はCreateLabelingJob、このパラメータを 1～5,000 の任意の整数に設定できます。

次の例を使用して、マニフェストファイル、NumberOfHumanWorkersPerDataObject、およびワーカーポータル UI のタスクキューでワーカーが表示するタスクMaxConcurrentTaskCountの数をよりよく理解します。

  1. 600 エントリの入力マニフェストファイルがあります。

  2. 入力マニフェストファイルの各エントリについて、 NumberOfHumanWorkersPerDataObjectを使用して、入力マニフェストファイルからエントリにラベルを付けるヒューマンワーカーの数を定義できます。この例では、 を 3 にNumberOfHumanWorkersPerDataObject等しく設定します。これにより、入力マニフェストファイルのエントリごとに 3 つの異なるタスクが作成されます。また、正常にラベル付けされたものとしてマークするには、少なくとも 3 つの異なるワーカーがオブジェクトにラベル付けする必要があります。これにより、合計 1,800 個のタスク (600 x 3) が作成され、ワーカーが完了します。

  3. ワーカーポータル UI のキューに一度に 100 個のタスクのみを表示する必要があります。これを行うには、 を 100 MaxConcurrentTaskCountに設定します。Ground Truth は、ワーカーポータルタスクキューをワーカーごとに 100 個のタスクで埋めます。

  4. 次に何が起こるかは、作成するラベル付けジョブのタイプと、それがストリーミングラベル付けジョブかどうかによって異なります。

    • ストリーミングラベル付けジョブ : ワーカーが使用できるオブジェクトの総数が に等しい限りMaxConcurrentTaskCount、入力マニフェストファイルと Amazon を使用してリアルタイムで送信する残りのすべてのデータセットオブジェクトSNSは Amazon SQSキューに配置されます。ワーカーが使用できるオブジェクトの合計数が から をMaxConcurrentTaskCount引いた数を下回るとNumberOfHumanWorkersPerDataObject、キューの新しいデータオブジェクトを使用して NumberOfHumanWorkersPerDataObjectタスクが作成され、リアルタイムでワーカーに送信されます。

    • 非ストリーミングラベル付けジョブ: ワーカーが 1 セットのオブジェクトのラベル付けを完了すると、最大 MaxConcurrentTaskCount 回、新しいタスクの NumberOfHumanWorkersPerDataObject の数がワーカーに送信されます。このプロセスは、入力マニフェストファイル内のすべてのデータオブジェクトにラベルが付けられるまで繰り返されます。

Amazon SQSを使用して、ストリーミングラベル付けジョブへのデータオブジェクトの流れを制御する

ストリーミングラベル付けジョブを作成すると、Amazon SQSキューがアカウントに自動的に作成されます。データオブジェクトは、ワーカーに送信されたオブジェクトの合計数が を超えた場合にのみ Amazon SQSキューに追加されますMaxConcurrentTaskCount。それ以外の場合、オブジェクトはワーカーに直接送信されます。

このキューを使用して、ラベル付けジョブへのデータオブジェクトのフローを管理できます。詳細については、「Amazon SQSキューを使用したラベル付けリクエストの管理」を参照してください。