Amazon A2I 出力データ - Amazon SageMaker AI
組み込みタスクタイプからの出力データカスタムタスクタイプからの出力データワーカーのアクティビティを追跡する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon A2I 出力データ

機械学習ワークフローが Amazon A2I にデータオブジェクトを送信すると、ヒューマンループが作成され、人間によるレビュー担当者がタスクを受け取り、そのデータオブジェクトをレビューします。各人間によるレビュータスクからの出力データは、人間によるレビューワークフローで指定した Amazon Simple Storage Service (Amazon S3) 出力バケットに保存されます。データへのパスで、YYYY/MM/DD/hh/mm/ss は年 (YYYY)、月 (MM)、日 (DD)、作成時刻 (hh)、分 (mm)、秒 (ss) を使用してヒューマンループの作成日時を表します。

s3://customer-output-bucket-specified-in-flow-definition/flow-definition-name/YYYY/MM/DD/hh/mm/ss/human-loop-name/output.json

出力データの内容は、タスクタイプ (組み込みまたはカスタム) と使用するワークフォースのタイプによって異なります。出力データには、常に人間のワーカーからのレスポンスが含まれます。さらに、出力データには、ヒューマンループ、人間によるレビュー担当者 (ワーカー)、データオブジェクトに関するメタデータを含めることができます。

次のセクションでは、さまざまなタスクタイプとワークフォースの Amazon A2I 出力データ形式の詳細について説明します。

組み込みタスクタイプからの出力データ

Amazon A2I 組み込みタスクタイプには、Amazon Textract と Amazon Rekognition があります。人間によるレスポンスに加えて、これらのタスクのいずれかからの出力データには、ヒューマンループが作成された理由と、ヒューマンループの作成に使用される統合サービスに関する詳細が含まれます。次の表では、すべての組み込みタスクタイプに対する出力データスキーマの詳細について説明します。これらの各パラメータの値は、Amazon A2I で使用するサービスによって異なります。これらのサービス固有の値の詳細については、このセクションの 2 番目の表を参照してください。

パラメータ 値の型 値の例 説明
awsManagedHumanLoopRequestSource

文字列

 AWS/Rekognition/DetectModerationLabels/Image/V3、または AWS/Textract/AnalyzeDocument/Forms/V1 Amazon A2I でのヒューマンループの作成をリクエストした API オペレーションと関連 AWS サービス。これは、Amazon A2I ヒューマンループの設定に使用する API オペレーションです。
flowDefinitionArn

文字列

 arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name

ヒューマンループの作成に使用される人間によるレビューワークフロー (フロー定義) の Amazon リソースナンバー (ARN)。
humanAnswers

JSON オブジェクトのリスト

 
{
"answerContent": {
    "AWS/Rekognition/DetectModerationLabels/Image/V3": {
        "moderationLabels": [...]
    }
},
または
{
    "answerContent": {
        "AWS/Textract/AnalyzeDocument/Forms/V1": {
            "blocks": [...]
    }
},
 answerContent にワーカーのレスポンスを含む JSON オブジェクトのリスト。

このオブジェクトには、送信の詳細と、プライベートワークフォースが使用された場合は、ワーカーのメタデータも含まれます。詳細については、「ワーカーのアクティビティを追跡する」を参照してください。

Amazon Rekognition DetectModerationLabel レビュータスクから生成された人のループ出力データの場合、このパラメータには肯定レスポンスのみが含まれます。例えば、ワーカーが [No content] (コンテンツなし) を選択した場合、このレスポンスは含まれません。
humanLoopName

文字列

'human-loop-name'

 ヒューマンループの名前。
inputContent

JSON オブジェクト

 
{
    "aiServiceRequest": {...},
    "aiServiceResponse": {...},
    "humanTaskActivationConditionResults": {...},
    "selectedAiServiceResponse": {...}
}

Amazon A2I がヒューマンループの作成をリクエストすると、AWS サービスによって Amazon A2I に送信される入力コンテンツ。
aiServiceRequest

JSON オブジェクト

 
{
    "document": {...},
    "featureTypes": [...],
    "humanLoopConfig": {...}
}
または 
{
    "image": {...},
    "humanLoopConfig": {...}
}

Amazon A2I と統合された AWS サービスに送信された元のリクエスト。例えば、Amazon Rekognition を Amazon A2I とともに使用する場合、これには API オペレーション DetectModerationLabels 経由で行われたリクエストが含まれます。Amazon Textract 統合の場合、これには AnalyzeDocument 経由で行われたリクエストが含まれます。
aiServiceResponse

JSON オブジェクト

 
{
    "moderationLabels": [...],
    "moderationModelVersion": "3.0"
}

または

{
    "blocks": [...],
    "documentMetadata": {}
}

AWS サービスからの完全なレスポンス。これは、人間によるレビューが必要かどうかを判断するために使用されるデータです。このオブジェクトには、人間によるレビュー担当者と共有されていないデータオブジェクトに関するメタデータが含まれていることがあります。
selectedAiServiceResponse

JSON オブジェクト

 
{
    "moderationLabels": [...],
    "moderationModelVersion": "3.0"
}

または

{
    "blocks": [...],
    "documentMetadata": {}
}

ActivationConditions のアクティベーション条件に一致する aiServiceResponse のサブセット。

aiServiceResponse にリストされているすべてのデータオブジェクトは推論がランダムにサンプリングされた場合、またはすべての推論がアクティベーション条件を開始すると selectedAiServiceResponse にリストされます。
humanTaskActivationConditionResults

JSON オブジェクト

 
{
     "Conditions": [...]
}

ヒューマンループが作成された理由を含む inputContent 内の JSON オブジェクト。これには、人間によるレビューワークフロー (フロー定義) に含まれるアクティベーション条件 (Conditions) のリストと、各条件の評価結果 (true または false) が含まれます。アクティベーション条件の詳細については、「Amazon Augmented AI のヒューマンループのアクティベーション条件に対する JSON スキーマ」を参照してください。

次の表でタブを選択してタスクタイプ固有のパラメータについて確認し、組み込みの各タスクタイプに対する出力データコードブロックの例を参照してください。

Amazon Textract Task Type Output Data

Amazon Textract 組み込み統合を使用すると、'AWS/Textract/AnalyzeDocument/Forms/V1' が awsManagedHumanLoopRequestSource の値として出力データに表示されます。

answerContent パラメータには Amazon A2I に送信されたすべてのブロックに対する人間によるレスポンスを含む Block オブジェクトが含まれます。

aiServiceResponse パラメータには AnalyzeDocument に送信された元のリクエストに対する Amazon Textract レスポンスを持つ Block オブジェクトが含まれます。

ブロックオブジェクトに表示されるパラメータの詳細については、Amazon Textract デベロッパーガイドの「ブロック」を参照してください。

Amazon Textract ドキュメント分析の推論に関する Amazon A2I の人間によるレビューからの出力データの例を次に示します。

{
    "awsManagedHumanLoopRequestSource": "AWS/Textract/AnalyzeDocument/Forms/V1",
    "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
    "humanAnswers": [
        {
            "answerContent": {
                "AWS/Textract/AnalyzeDocument/Forms/V1": {
                    "blocks": [...]
                }
            },
            "submissionTime": "2020-09-28T19:17:59.880Z",
            "workerId": "111122223333",
            "workerMetadata": {
                "identityData": {
                    "identityProviderType": "Cognito",
                    "issuer": "https://cognito-idp.us-west-2.amazonaws.com/us-west-2_111111",
                    "sub": "c6aa8eb7-9944-42e9-a6b9-111122223333"
                }
            }
        }
    ],
    "humanLoopName": "humnan-loop-name",
    "inputContent": {
        "aiServiceRequest": {
            "document": {
                "s3Object": {
                    "bucket": "amzn-s3-demo-bucket1",
                    "name": "document-demo.jpg"
                }
            },
            "featureTypes": [
                "TABLES",
                "FORMS"
            ],
            "humanLoopConfig": {
                "dataAttributes": {
                    "contentClassifiers": [
                        "FreeOfPersonallyIdentifiableInformation"
                    ]
                },
                "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
                "humanLoopName": "humnan-loop-name"
            }
        },
        "aiServiceResponse": {
            "blocks": [...],
            "documentMetadata": {
                "pages": 1
            }
        },
        "humanTaskActivationConditionResults": {
            "Conditions": [
                {
                    "EvaluationResult": true,
                    "Or": [
                        {
                            "ConditionParameters": {
                                "ImportantFormKey": "Mail address",
                                "ImportantFormKeyAliases": [
                                    "Mail Address:",
                                    "Mail address:",
                                    "Mailing Add:",
                                    "Mailing Addresses"
                                ],
                                "KeyValueBlockConfidenceLessThan": 100,
                                "WordBlockConfidenceLessThan": 100
                            },
                            "ConditionType": "ImportantFormKeyConfidenceCheck",
                            "EvaluationResult": true
                        },
                        {
                            "ConditionParameters": {
                                "ImportantFormKey": "Mail address",
                                "ImportantFormKeyAliases": [
                                    "Mail Address:",
                                    "Mail address:",
                                    "Mailing Add:",
                                    "Mailing Addresses"
                                ]
                            },
                            "ConditionType": "MissingImportantFormKey",
                            "EvaluationResult": false
                        }
                    ]
                }
            ]
        },
        "selectedAiServiceResponse": {
            "blocks": [...]
        }
    }
}
Amazon Rekognition Task Type Output Data

Amazon Textract 組み込み統合を使用すると、文字列 'AWS/Rekognition/DetectModerationLabels/Image/V3' が awsManagedHumanLoopRequestSource の値として出力データに表示されます。

answerContent パラメータには Amazon A2I に送信されたすべてのモデレーションラベルに対する人間によるレスポンスを含む moderationLabels オブジェクトが含まれます。

aiServiceResponse パラメータには DetectModerationLabels に送信された元のリクエストに対する Amazon Rekognition レスポンスを持つ moderationLabels オブジェクトも含まれます。

ブロックオブジェクトに表示されるパラメータの詳細については、Amazon Rekognition デベロッパーガイドの「ModerationLabel」を参照してください。

Amazon Rekognition イメージモデレーションの推論に関する Amazon A2I の人間によるレビューからの出力データの例を次に示します。

{
    "awsManagedHumanLoopRequestSource": "AWS/Rekognition/DetectModerationLabels/Image/V3",
    "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
    "humanAnswers": [
        {
            "answerContent": {
                "AWS/Rekognition/DetectModerationLabels/Image/V3": {
                    "moderationLabels": [...]
                }
            },
            "submissionTime": "2020-09-28T19:22:35.508Z",
            "workerId": "ef7294f850a3d9d1",
            "workerMetadata": {
                "identityData": {
                    "identityProviderType": "Cognito",
                    "issuer": "https://cognito-idp.us-west-2.amazonaws.com/us-west-2_111111",
                    "sub": "c6aa8eb7-9944-42e9-a6b9-111122223333"
                }
            }
        }
    ],
    "humanLoopName": "humnan-loop-name",
    "inputContent": {
        "aiServiceRequest": {
            "humanLoopConfig": {
                "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
                "humanLoopName": "humnan-loop-name"
            },
            "image": {
                "s3Object": {
                    "bucket": "amzn-s3-demo-bucket1",
                    "name": "example-image.jpg"
                }
            }
        },
        "aiServiceResponse": {
            "moderationLabels": [...],
            "moderationModelVersion": "3.0"
        },
        "humanTaskActivationConditionResults": {
            "Conditions": [
                {
                    "EvaluationResult": true,
                    "Or": [
                        {
                            "ConditionParameters": {
                                "ConfidenceLessThan": 98,
                                "ModerationLabelName": "Suggestive"
                            },
                            "ConditionType": "ModerationLabelConfidenceCheck",
                            "EvaluationResult": true
                        },
                        {
                            "ConditionParameters": {
                                "ConfidenceGreaterThan": 98,
                                "ModerationLabelName": "Female Swimwear Or Underwear"
                            },
                            "ConditionType": "ModerationLabelConfidenceCheck",
                            "EvaluationResult": false
                        }
                    ]
                }
            ]
        },
        "selectedAiServiceResponse": {
            "moderationLabels": [
                {
                    "confidence": 96.7122802734375,
                    "name": "Suggestive",
                    "parentName": ""
                }
            ],
            "moderationModelVersion": "3.0"
        }
    }
}

カスタムタスクタイプからの出力データ

Amazon A2I をカスタムの人間によるレビューワークフローに追加すると、人間によるレビュータスクから返される出力データに次のパラメータが表示されます。

パラメータ 値の型 説明

flowDefinitionArn

文字列

ヒューマンループの作成に使用される人間によるレビューワークフロー (フロー定義) の Amazon リソースナンバー (ARN)。

humanAnswers

JSON オブジェクトのリスト

 answerContent にワーカーのレスポンスを含む JSON オブジェクトのリスト。このパラメータの値は、ワーカータスクテンプレートから受信した出力によって決まります。

プライベートワークフォースを使用している場合、ワーカーのメタデータが含まれます。詳細については、「ワーカーのアクティビティを追跡する」を参照してください。

humanLoopName

 文字列 ヒューマンループの名前。

inputContent

JSON オブジェクト

StartHumanLoop へのリクエストで Amazon A2I に送信される入力コンテンツ。

Amazon A2I および Amazon Transcribe とのカスタム統合からの出力データの例を次に示します。この例では、inputContent は次で構成されます。

  • Amazon S3 の .mp4 ファイルへのパスと動画のタイトル

  • Amazon Transscribe から返されたトランスクリプション (Amazon Transcribe 出力データから解析済み)

  • ワーカータスクテンプレートで .mp4 ファイルをクリップし、ワーカーが動画の関連部分の表示に使用する開始時刻と終了時刻

{
    "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
    "humanAnswers": [
        {
            "answerContent": {
                "transcription": "use lambda to turn your notebook"
            },
            "submissionTime": "2020-06-18T17:08:26.246Z",
            "workerId": "ef7294f850a3d9d1",
            "workerMetadata": {
                "identityData": {
                    "identityProviderType": "Cognito",
                    "issuer": "https://cognito-idp.us-west-2.amazonaws.com/us-west-2_111111",
                    "sub": "c6aa8eb7-9944-42e9-a6b9-111122223333"
                }
            }

        }
    ],
    "humanLoopName": "human-loop-name",
    "inputContent": {
        "audioPath": "s3://amzn-s3-demo-bucket1/a2i_transcribe_demo/Fully-Managed Notebook Instances with Amazon SageMaker - a Deep Dive.mp4",
        "end_time": 950.27,
        "original_words": "but definitely use Lambda to turn your ",
        "start_time": 948.51,
        "video_title": "Fully-Managed Notebook Instances with Amazon SageMaker - a Deep Dive.mp4"
    }
}

ワーカーのアクティビティを追跡する

Amazon A2I は、タスク出力データ内の個々のワーカーの追跡に使用できる情報を提供します。人間によるレビュータスクで作業したワーカーを特定するには、Amazon S3 の出力データで以下を使用します。

  • acceptanceTime は、ワーカーがタスクを受け入れた時刻です。この日付とタイムスタンプの形式は YYYY-MM-DDTHH:MM:SS.mmmZ で、年 (YYYY)、月 (MM), 日 (DD)、時間 (HH)、分 (MM)、秒 (SS)、ミリ秒 (mmm) です。日付と時刻は T で区切られます。

  • submissionTime は、ワーカーが [SUBMT] (送信) ボタンを使用して注釈を送信した時刻です。この日付とタイムスタンプの形式は YYYY-MM-DDTHH:MM:SS.mmmZ で、年 (YYYY)、月 (MM), 日 (DD)、時間 (HH)、分 (MM)、秒 (SS)、ミリ秒 (mmm) です。日付と時刻は T で区切られます。

  • timeSpentInSeconds は、ワーカーがそのタスクに積極的に取り組んだ合計時間を秒単位で報告します。このメトリクスには、ワーカーが一時停止または休憩した時間は含まれません。

  • workerId は、各ワーカーに固有です。

  • workerMetadata でプライベートワークフォースを使用すると、以下が表示されます。

    • identityProviderType は、プライベートワークフォースを管理するために使用するサービスです。

    • issuer は、この人間によるレビュータスクに割り当てられたワークチームに関連付けられた Amazon Cognito ユーザープールまたは OpenID Connect (OIDC) ID プロバイダー (IdP) 発行者です。

    • 一意の sub 識別子はワーカーを参照します。Amazon Cognito を使用してワークフォースを作成する場合、Amazon Cognito でこの ID に関連付けられているこのワーカーに関する詳細 (名前やユーザー名など) を取得できます。この方法については、Amazon Cognito デベロッパーガイドの「ユーザーアカウントの管理と検索」を参照してください。

Amazon Cognito を使用してプライベートワークフォースを作成した場合に表示される出力の例を次に示します。これは、identityProviderType で識別されます。

"submissionTime": "2020-12-28T18:59:58.321Z",
"acceptanceTime": "2020-12-28T18:59:15.191Z", 
"timeSpentInSeconds": 40.543,
"workerId": "a12b3cdefg4h5i67",
"workerMetadata": {
    "identityData": {
        "identityProviderType": "Cognito",
        "issuer": "https://cognito-idp.aws-region.amazonaws.com/aws-region_123456789",
        "sub": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
    }
}

独自の OIDC IdP を使用してプライベートワークフォースを作成した場合に表示される出力の例を次に示します。

"workerMetadata": {
        "identityData": {
            "identityProviderType": "Oidc",
            "issuer": "https://example-oidc-ipd.com/adfs",
            "sub": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
        }
}

プライベートワークフォースの使用の詳細については、「プライベートワークフォース」を参照してください。