検証結果の取得 - Rekognition

検証結果の取得

検証結果には、致命的マニフェストコンテンツエラーのリスト および 非致命的 JSON 行検証エラーのリスト のエラー情報が含まれます。検証結果ファイルは 3 つあります。

  • training_manifest_with_validation.json - JSON 行のエラー情報が追加されたトレーニングデータセットマニフェストファイルのコピー。

  • testing_manifest_with_validation.json - JSON 行エラーエラー情報が追加されたテストデータセットマニフェストファイルのコピー。

  • manifest_summary.json - トレーニングデータセットとテストデータセットで見つかったマニフェストコンテンツエラーと JSON 行エラーの概要です。詳細については「マニフェストの概要について」を参照してください。

トレーニングとテストの検証マニフェストのコンテンツについては、「失敗したモデルトレーニングのデバッグ」を参照してください。

注記

トレーニングが完了または失敗した後は、Amazon Rekognition Custom Labels コンソールを使用して検証結果をダウンロードするか、DescribeProjectVersions API を呼び出して Amazon S3 バケットの場所を取得できます。

検証結果の取得 (コンソール)

コンソールを使用してモデルをトレーニングする場合、次の図に示すように、プロジェクトのモデルリストから検証結果をダウンロードできます。[モデル] パネルには、モデルのトレーニングと検証の結果が表示され、検証結果をダウンロードするオプションがあります。

モデルのトレーニングと検証の結果が表示されたインターフェイス。検証結果をダウンロードするオプションがある。

モデルの詳細ページから検証結果のダウンロードにアクセスすることもできます。詳細ページには、データセットの詳細とともに、トレーニングのステータス、トレーニングデータセットとテストデータセット、さらにマニフェストサマリー、トレーニング検証マニフェスト、およびテスト検証マニフェストのダウンロードリンクが表示されます。

[データセットの詳細] パネルのスクリーンショット。トレーニングのステータス、トレーニングデータセットとテストデータセットへのリンク、マニフェストアイテムのダウンロードリンクが表示されている。

詳細については「モデルのトレーニング (コンソール)」を参照してください。

検証結果 (SDK) の取得

モデルトレーニングが完了すると、Amazon Rekognition Custom Labels はトレーニング中に指定された Amazon S3 バケットに検証結果を保存します。S3 バケットの場所は、トレーニングの完了後に DescribeProjectVersions API を呼び出して取得できます。モデルをトレーニングするには、「モデルのトレーニング (SDK)」を参照してください。

ValidationData オブジェクトは、トレーニングデータセット (TrainingDataResult) とテストデータセット (TestingDataResult) に対して返されます。マニフェストの概要は、ManifestSummary で返されます。

Amazon S3 バケットの場所を取得したら、検証結果をダウンロードできます。詳細については、「S3 バケットからオブジェクトをダウンロードする方法」を参照してください。また、GetObject オペレーションを使用することもできます。

検証データ (SDK) を取得するには
  1. 現時点で AWS CLI と AWS SDK のインストールと設定が完了していない場合は、インストールと設定を実行します。詳細については「ステップ 4: AWS CLI と AWS SDK をセットアップする」を参照してください。

  2. 次の例を使用して、検証結果の場所を取得します。

    Python

    project_arn を、モデルを含むプロジェクトの Amazon リソースネーム (ARN) に置き換えます。詳細については「Amazon Rekognition Custom Labels プロジェクトの管理」を参照してください。version_name をモデルバージョンの名前に置き換えます。詳細については「モデルのトレーニング (SDK)」を参照してください。

    import boto3 import io from io import BytesIO import sys import json def describe_model(project_arn, version_name): client=boto3.client('rekognition') response=client.describe_project_versions(ProjectArn=project_arn, VersionNames=[version_name]) for model in response['ProjectVersionDescriptions']: print(json.dumps(model,indent=4,default=str)) def main(): project_arn='project_arn' version_name='version_name' describe_model(project_arn, version_name) if __name__ == "__main__": main()
  3. プログラム出力で、TestingDataResult および TrainingDataResult オブジェクト内の Validation フィールドを書き留めてください。マニフェストの概要は、ManifestSummary にあります。