飛輪迭代 - Amazon Comprehend
版序工作流管理版序 (主控台)管理反覆項目 (API)

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

飛輪迭代

使用飛輪反覆項目來協助您建立和管理新模型版本。

版序工作流

飛輪從訓練過的模型版本開始，或使用初始資料集來訓練模型版本。

隨著時間的推移，當您取得新的標籤資料時，您會訓練新的模型版本，以改善飛輪模型的效能。當您執行飛輪時，它會建立新版序來訓練和評估新模型版本。如果新模型版本的效能優於現有的現行模型版本，您可以升級新模型版本。

飛輪迭代工作流程包括下列步驟：

  1. 您可以為新的標籤資料建立資料集。

  2. 您可以執行飛輪來建立新的版序。迭代遵循以下步驟來訓練和評估新模型版本：

    1. 使用新資料評估現行模型版本。

    2. 使用新資料訓練新模型版本。

    3. 將評估和訓練結果儲存在資料湖中。

    4. 返回兩個模型的 F1 分數。

  3. 迭代完成後，您可以比較現有活動模型和新模型的 F1 分數。

  4. 如果新模型版本具有優異的效能，您可以將其提升為作用中模型版本。您可以使用主控台或 API 來推廣新模型版本。

管理版序 (主控台)

您可以使用主控台來啟動新的版序，並查詢進行中版序的狀態。您也可以檢視已完成版序的結果。

啟動飛輪迭代（控制台）

在開始新的迭代之前，請先建立一或多個新的訓練或測試資料集。請參閱 設定資料集

啟動飛輪迭代（控制台）

  1. 登入AWS Management Console並開啟 Amazon Comprehend 主控台。

  2. 從左側功能表中選擇飛輪。

  3. 從飛輪表格中選擇飛輪。

  4. 選擇運行飛輪。

分析迭代結果（控制台）

執行飛輪迭代之後，控制台會在 F lywheels 反覆項目表中顯示結果。

推廣新模型版本（控制台）

在主控台的模型詳細資訊頁面中，您可以將新的模型版本升級為現行模型版本。

將飛輪模型版本升級為現行模型版本（控制台）

  1. 登入AWS Management Console並開啟 Amazon Comprehend 主控台。

  2. 從左側功能表中選擇飛輪。

  3. 從飛輪表格中選擇飛輪。

  4. 從飛輪詳細資訊頁表格中，從 Fly wheels 版序表中選擇要推進的版本。

  5. 選擇「建立現行模型」。

管理反覆項目 (API)

您可以使用 Amazon Comprehend API 開始新的迭代，並查詢進行中迭代的狀態。您也可以檢視已完成版序的結果。

開始飛輪迭代（API）

使用 Amazon Comprehend StartFlywheelIteration操作啟動飛輪迭代。

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"

響應包含以下內容。

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}

推廣新模型版本 (API)

使用此UpdateFlywheel作業將模型版本晉級為現行模型版本。

將ActiveModelArn參數設定的UpdateFlywheel請求傳送至新使用中模型版本的 ARN。

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \

響應包含以下內容。

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}

描述飛輪迭代結果（API）

Amazon Comprehend DescribeFlywheelIteration作業會在執行到完成之後傳回迭代的相關資訊。

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region

響應包含以下內容。

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

獲取迭代歷史記錄（API）

使用此作ListFlywheelIterationHistory業可取得有關版序記錄的資訊。

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

響應包含以下內容。

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}