モデルカスタマイズジョブの結果を分析する - Amazon Bedrock

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデルカスタマイズジョブの結果を分析する

モデルカスタマイズジョブが完了したら、ジョブの送信時に指定した出力 S3 フォルダ内のファイルを参照するか、モデルの詳細を表示することで、トレーニングプロセスの結果を分析できます。Amazon Bedrock は、カスタマイズしたモデルを、アカウントの範囲内にある AWSマネージドストレージに保存します。

モデル評価ジョブを実行してモデルを評価することもできます。詳細については、「Amazon Bedrock 評価を使用して最もパフォーマンスの高いモデルを選択する」を参照してください。

モデルカスタマイズジョブの S3 出力には、S3 フォルダに次の出力ファイルが含まれます。検証アーティファクトは、検証データセットを含めた場合にのみ表示されます。

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

step_wise_training_metrics.csv および validation_metrics.csv ファイルを使用すると、モデルカスタマイズジョブを分析できるだけでなく、必要に応じてモデルを調整することもできます。

step_wise_training_metrics.csv ファイル内の列は次のとおりです。

  • step_number – トレーニングプロセスのステップ。0 から開始します。

  • epoch_number – トレーニングプロセスのエポック。

  • training_loss – モデルがトレーニングデータにどの程度適合しているかを示します。値が小さいほど、適合が良好であることを示します。

  • perplexity – モデルがトークンのシーケンスをどの程度予測できるかを示します。値が小さいほど、予測能力が向上することを示します。

ファイル内の列validation_metrics.csvはトレーニングファイルと同じですが、 の代わりに validation_loss (モデルが検証データにどの程度適合するか) が表示されますtraining_loss

出力ファイルを見つけるには、https://console.aws.amazon.com/s3 を直接開くか、モデルの詳細内の出力フォルダへのリンクを見つけます。選択した方法に対応するタブを選択し、ステップに従います。

Console
  1. IAM Amazon Bedrock アクセス許可 を持つロール AWS Management Console を使用して にサインインし、 で Amazon Bedrock コンソールを開きますhttps://console.aws.amazon.com/bedrock/

  2. 左側のナビゲーションペインで、Foundation モデル のカスタムモデルを選択します。

  3. Models タブで、詳細を表示するモデルを選択します。ジョブ名は、モデルの詳細セクションにあります。

  4. 出力 S3 ファイルを表示するには、出力データセクションで S3 の場所を選択します。

  5. 名前がモデルのジョブ名と一致するフォルダ内のトレーニングメトリクスファイルと検証メトリクスファイルを検索します。

API

すべてのカスタムモデルに関する情報を一覧表示するには、Amazon Bedrock コントロールプレーンエンドポイント を使用して ListCustomModels (リクエストとレスポンスの形式とフィールドの詳細についてはリンクを参照) リクエストを送信します。使用できるフィルターListCustomModelsについては、「」を参照してください。

カスタムモデルのすべてのタグを一覧表示するには、Amazon Bedrock コントロールプレーンエンドポイントを使用してListTagsForResourceリクエストを送信し (リクエストとレスポンスの形式とフィールドの詳細についてはリンクを参照)、カスタムモデルの Amazon リソースネーム (ARN) を含めます。

モデルカスタマイズジョブのステータスをモニタリングするには、Amazon Bedrock コントロールプレーンエンドポイントでリクエストを送信します GetCustomModel (リクエストとレスポンス形式とフィールドの詳細についてはリンクを参照)。modelIdentifier次のいずれかの を使用します。

  • モデルに付けた名前。

  • ARN モデルの 。

モデルカスタマイズジョブvalidationMetricstrainingMetricsと は、 GetModelCustomizationJob または GetCustomModelレスポンスで確認できます。

トレーニングメトリクスファイルと検証メトリクスファイルをダウンロードするには、「オブジェクトのダウンロード」の手順に従ってください。でURI指定した S3 を使用しますoutputDataConfig

コード例を参照