オブジェクト検出を使用して 3D 点群内のオブジェクトを分類する - Amazon SageMaker
ワーカータスクインターフェイスの表示3D 点群オブジェクト検出ラベル付けジョブの作成3D 点群オブジェクト検出の調整または検証ラベル付けジョブを作成する出力データ形式

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

オブジェクト検出を使用して 3D 点群内のオブジェクトを分類する

このタスクタイプは、オブジェクトの周囲に 3D 直方体を描き、3D 点群内のオブジェクトを分類する場合に使用します。例えば、このタスクタイプを使用して、車、自転車、歩行者など、点群のさまざまなタイプのオブジェクトを識別するようにワーカーに依頼できます。次のページでは、ラベル付けジョブに関する重要な情報と、それを作成する手順を示します。

このタスクタイプでは、ワーカーがラベルを付けるデータオブジェクトは、単一ポイントの点群フレームです。Ground Truth は、指定した点群データを使用して 3D 点群をレンダリングします。また、カメラのデータを用意することで、ワーカーにフレームのシーンに関する視覚的な情報をより多く提供したり、ワーカーがオブジェクトの周囲に 3D の直方体を描画しやすくしたりすることもできます。

Ground Truth は、3D シーンと投影されたサイドビュー (上面、 側面、背面) の両方で、3 次元に 9 つの自由度 ( x、y、z、rx、ry、rz、l、w、h ) を有するオブジェクトに注釈を行うツールを提供します。センサーフュージョン情報 (カメラデータなど) を提供すると、ワーカーが 3D 点群オブジェクトを識別するために直方体を追加した際に、直方体が表示され、2D イメージで修正することができます。直方体を追加した後、2D または 3D シーンでその直方体に対して行われた編集のすべてが、他のビューに投影されます。

3D 点群オブジェクト検出調整タスクタイプを使用して、3D 点群オブジェクト検出ラベル付けジョブで作成された注釈の調整を行うジョブを作成できます。

Ground Truth の 3D 点群のラベル付けモダリティを初めて使用する場合は、3D 点群ラベル付けジョブの概要 を確認することをお勧めします。このラベル付けモダリティは、他の Ground Truth タスクタイプとは異なります。このページでは、3D 点群のラベル付けジョブを作成するときに注意すべき重要事項の概要を説明します。

ワーカータスクインターフェイスの表示

Ground Truth は、3D 点群オブジェクト検出注釈タスクを実行するためのウェブポータルとツールを提供します。ラベル付けジョブを作成するときは、 HumanTaskUiArnパラメータに構築済みの Ground Truth ワーカー UI の Amazon リソースネーム (ARN) を指定します。コンソールでこのタスクタイプを使用してラベル付けジョブを作成すると、そのワーカーの UI が自動的に使用されます。コンソールでラベル付けジョブを作成するときに、ワーカー UI のプレビューと操作ができます。初めて使用する場合は、コンソールを使用してラベル付けジョブを作成し、ラベルの属性、点群フレーム、画像 (該当する場合) が期待したとおりに表示されているかを確認することをお勧めします。

以下は、3D 点群オブジェクト検出ワーカータスクインターフェイスGIFの です。ワールド座標系でセンサーフュージョン用のカメラデータを提供すると、画像は点群フレームのシーンに合致します。これらのイメージは、次の に示すようにワーカーポータルに表示されますGIF。

Ground Truth ワーカーポータルでワーカーが 3D 点群に注釈を付ける方法を示す Gif。

キーボードとマウスを使用して 3D シーン内を移動操作できます。次の操作が可能です。

  • 点群内の特定のオブジェクトをダブルクリックして、ズームインする。

  • マウスホイールまたはタッチパッドを使用して、点群を拡大または縮小する。

  • キーボードの矢印キーと、 [Q]、[E]、[A]、[D] キーの両方を使用して、上下左右に移動する。キーボードの [W] と [S] キーを使用して、拡大または縮小します。

3D シーンに直方体を配置すると、側面ビューの一面が 3 つの投影された側面ビュー (上面、側面、底面) とともに表示されます。これらの側面ビューは、配置された直方体内とその周辺の点を表示し、その領域の直方体境界をより容易に絞り込めるようにします。ワーカーは、マウスを使用して、これらの各側面ビューをズームインまたはズームアウトできます。

次の動画は、3D 点群の周囲と側面から見た動きを示しています。

3D 点群とサイドビューの周りの動きを示す Gif。

その他の表示オプションと機能は、ワーカー UI の [表示] メニューから使用できます。ワーカー UI の全体的な説明については、ワーカー向け指示書のページを参照してください。

ラベル付け支援ツール

Ground Truth は、機械学習とコンピュータビジョンを活用した、3D 点群オブジェクト追跡タスク用のラベル付け支援ツールによって、ワーカーが3D 点群により早く正確に注釈を行えるようにします。このタスクタイプでは、次のラベル付け支援ツールを使用できます。

  • スナップ - オブジェクトの周囲に直方体を追加し、キーボードショートカットまたはメニューオプションを使用して、Ground Truth の自動調整ツールによって直方体を物体の周囲にきっちりとスナップさせることができます。

  • 地面に設置 - 3D シーンに直方体を追加した後、直方体が自動的に地面にスナップされるようにします。この機能を使用して、例えば、シーン内の道路または歩道に直方体をスナップさせることができます。

  • マルチビューラベル付け - 3D シーンに 3D 直方体を追加すると、サイドパネルに正面、側面、上面が表示されるため、オブジェクトの周囲に合わせて直方体をきっちりと調整できるようになります。これらのすべてのビューで、オブジェクトの方向または見出しを示す矢印が直方体に付いています。ワーカーが直方体を調整すると、調整はすべてのビュー (3D、上面、側面、前面) にリアルタイムで表示されます。

  • センサーフュージョン - センサーフュージョン用のデータを提供すると、ワーカーは 3D シーンと 2D 画像で注釈の調整を行うことができます。また、注釈はリアルタイムで他のビューに投影されます。さらに、ワーカーは、カメラが向いている方向とカメラのフラスタムを表示することもできます。

  • 表示オプション - 直方体、ラベル文字、地面のメッシュ、色や明暗度などのその他の点属性を簡単に非表示または表示することができます。透視投影と正投影のいずれかを選択することもできます。

3D 点群オブジェクト検出ラベル付けジョブの作成

SageMaker コンソールまたは APIオペレーション を使用して、3D 点群ラベル付けジョブを作成できますCreateLabelingJob。このタスクタイプのラベル付けジョブを作成するには、次のものが必要です。

  • 単一フレームの入力マニフェストファイル。このタイプのマニフェストファイルを作成する方法については、「点群フレーム入力マニフェストファイルの作成」を参照してください。Ground Truth 3D 点群のラベル付けモダリティを初めて使用する場合は、使用できる 3D の raw データ形式 を確認することをお勧めします 。

  • 自社またはベンダーのスタッフで構成された作業チーム。Amazon Mechanical Turk をビデオフレームラベル付けジョブに使用することはできません。ワークフォースと作業チームの作成方法については、「ワークフォース」を参照してください。

また、「Ground Truth IAM を使用するアクセス許可を割り当てる」を確認し、記載されている要件を満たすようにしてください 。

コンソールまたは を使用してラベル付けジョブを作成する方法については、以下のセクションのいずれかを参照してくださいAPI。

ラベル付けジョブの作成 (コンソール)

SageMaker コンソールラベル付けジョブの作成 (コンソール)で 3D 点群オブジェクト検出ラベル付けジョブを作成する方法については、 の指示に従ってください。ラベル付けジョブを作成するときは、次の点に注意してください。

  • 入力マニフェストファイルは、単一フレームのマニフェストファイルである必要があります。詳細については、「点群フレーム入力マニフェストファイルの作成」を参照してください。

  • 必要に応じて、ラベルカテゴリとフレーム属性を指定できます。ワーカーは、これらの属性の 1 つ以上を注釈に割り当てて、そのオブジェクトに関する詳細情報を提供できます。例えば、occluded 属性を使用して、オブジェクトが部分的に遮られたときにワーカーが識別できるようにできます。

  • 3D 点群のラベル付けタスクでは、データの自動データラベリングと注釈の統合はサポートされていません。

  • 3D 点群オブジェクト検出ラベル付けジョブは、完了までに数時間かかることがあります。作業チームを選択するときに、これらのラベル付けジョブにさらに長い制限時間を指定できます (最大 7 日間、または 604,800 秒まで)。

ラベル付けジョブを作成する (API）

このセクションでは、 オペレーション を使用して SageMaker APIラベル付けジョブを作成するときに知っておくべき詳細について説明しますCreateLabelingJob。これにより、すべての に対してこのオペレーションAPIが定義されます AWS SDKs。このオペレーションでSDKsサポートされている言語固有のリストを確認するには、「」の「」セクションを参照してくださいCreateLabelingJob。

「ラベル付けジョブを作成 (API)」では、CreateLabelingJob のオペレーションの概要を説明しています。リクエストを設定する際には、それらの指示に従ったうえで、以下のことを実行してください。

  • ARN には を入力する必要がありますHumanTaskUiArn。arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection を使用します。<region> を、ラベル付けジョブを作成している AWS のリージョンに置き換えます。

    UiTemplateS3Uri パラメータには値を入力しないでください。

  • 入力マニフェストファイルは、単一フレームのマニフェストファイルである必要があります。詳細については、「点群フレーム入力マニフェストファイルの作成」を参照してください。

  • ラベル、ラベルカテゴリ、フレーム属性、ワーカー向け指示書は、ラベルカテゴリ設定ファイルで指定します。このファイルを作成する方法については、「ラベルカテゴリとフレーム属性リファレンスを含むラベルカテゴリ設定ファイルのラベル付け」を参照してください。

  • 注釈前関数と注釈後関数 (ACS) Lambda 関数ARNsに事前定義を指定する必要があります。これらはARNs、ラベル付けジョブの作成に使用するリージョンに AWS 固有のものです。

    • 注釈前 Lambda を検索するにはARN、「」を参照してくださいPreHumanTaskLambdaArn。ラベル付けジョブを作成するリージョンを使用して、正しい を見つけますARN。例えば、us-east-1 でラベル付けジョブを作成する場合、 ARNは になりますarn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection。

    • 注釈後の Lambda を検索するにはARN、「」を参照してくださいAnnotationConsolidationLambdaArn。ラベル付けジョブを作成するリージョンを使用して、正しい を見つけますARN。例えば、us-east-1 でラベル付けジョブを作成する場合、 ARNは になりますarn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection。

  • NumberOfHumanWorkersPerDataObject で指定するワーカーの数は 1 である必要があります 。

  • 3D 点群のラベル付けジョブでは、自動データラベリングはサポートされていません。LabelingJobAlgorithmsConfig では、パラメータの値を指定しないでください。

  • 3D 点群オブジェクト検出ラベル付けジョブは、完了までに数時間かかることがあります。このようなラベル付けジョブには、TaskTimeLimitInSeconds で制限時間を長く指定することができます (最長 7 日、つまり 604,800 秒)。

3D 点群オブジェクト検出の調整または検証ラベル付けジョブを作成する

Ground Truth コンソールまたは CreateLabelingJob を使用して、調整または検証ラベル付けジョブを作成できますAPI。調整と検証のラベル付けジョブの詳細と作成方法については、「ラベルの検証と調整」を参照してください。

調整ラベル付けジョブを作成する場合、ラベル付けジョブへの入力データには、ラベルと、以前のラベル付けジョブまたは外部ソースからのヨー、ピッチ、ロールの測定値を含めることができます。調整ジョブでは、ピッチとロールがワーカー UI で視覚化されますが、変更することはできません。ヨーは調節可能です。

Ground Truth は、次の固有の回転で Tait-Bryan 角度を使用して、ワーカー UI でヨー、ピッチ、ロールを視覚化します。まず、Z 軸 (ヨー) に従って車両に回転が適用されます。次に、回転した車両は、固有のY軸 (ピッチ) に従って回転します。最後に、車両は固有の x 軸 (ロール) に従って回転します。

出力データ形式

3D 点群オブジェクト検出ラベル付けジョブを作成すると、タスクはワーカーに送信されます。タスクを受け取ったワーカーがタスクを完了すると、ラベル付けジョブの作成時に指定した Amazon S3 バケットにラベルが書き込まれます。出力データ形式は、ラベル付けジョブステータス (LabelingJobStatus) が の場合に Amazon S3 バケットに表示される内容を決定しますCompleted。

Ground Truth を初めて使用する場合は、 出力データ形式の詳細について「ジョブ出力データのラベル付け」を参照してください。3D 点群オブジェクト検出の出力データ形式については、「3D 点群オブジェクト検出出力」を参照してください。