フライホイールイテレーション

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

フライホイールイテレーションを使用すると、新しいモデルバージョンの作成と管理に役立ちます。

イテレーションワークフロー

フライホイールは、トレーニング済みのモデルバージョンから開始するか、初期データセットを使用してモデルバージョンをトレーニングします。

時間が経つにつれて、新しいラベル付きデータを取得したら、フライホイールモデルのパフォーマンスを向上させるために新しいモデルバージョンをトレーニングします。フライホイールを実行すると、新しいモデルバージョンをトレーニングして評価する新しいイテレーションが作成されます。新しいモデルバージョンのパフォーマンスが既存のアクティブなモデルバージョンよりも優れている場合は、その新しいモデルバージョンを昇格させることができます。

フライホイールイテレーションのワークフローには、次の手順が含まれます。

イテレーションの管理 (コンソール)

コンソールを使用して新しいイテレーションを開始し、進行中のイテレーションのステータスを問い合わせることができます。また、完了したイテレーションの結果を表示することもできます。

フライホイールイテレーションを開始する (コンソール)

新しいイテレーションを開始する前に、1 つ以上の新しいトレーニングデータセットまたはテストデータセットを作成します。「データセットの設定」を参照してください。

イテレーション結果の分析 (コンソール)

フライホイールイテレーションを実行すると、コンソールは [フライホイールイテレーション] テーブルに結果を表示します。

新しいモデルバージョンを昇格させる (コンソール)　

コンソールのモデル詳細ページから、新しいモデルバージョンをアクティブなモデルバージョンに昇格できます。　

イテレーションの管理 (API)　

Amazon Comprehend API を使用して新しいイテレーションを開始し、進行中のイテレーションのステータスを問い合わせることができます。また、完了したイテレーションの結果を表示することもできます。

フライホイールイテレーションを開始する (API)

Amazon Comprehend StartFlywheelIteration オペレーションを使用して、フライホイールイテレーションを開始します。

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"   

レスポンスの内容は次のとおりです。

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}     

新しいモデルバージョンを昇格させる (API)

UpdateFlywheel オペレーションを使用して、モデルバージョンをアクティブなモデルバージョンに昇格させます。

ActiveModelArn パラメータを新しいアクティブモデルバージョンの ARN に設定した UpdateFlywheel リクエストを送信します。

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \ 

レスポンスの内容は次のとおりです。

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}     

フライホイールイテレーション結果の説明 (API)

Amazon Comprehend DescribeFlywheelIteration オペレーションは、実行後、完了するまでイテレーション処理に関する情報を返します。

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region 

レスポンスの内容は次のとおりです。

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

イテレーション履歴の取得 (API)

ListFlywheelIterationHistory オペレーションを使用して、イテレーション履歴に関する情報を取得します。　

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

レスポンスの内容は次のとおりです。

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}