モデルログとメトリクスの受信

カスタムモデルトレーニングまたは推論からログとメトリクスを受信するには、メンバーは必要な CloudWatch アクセス許可を提供する有効なロールを持つ ML 設定を作成している必要があります (「カスタム ML モデリングのサービスロールの作成 - ML 設定」を参照）。

システムメトリクス

CPU やメモリの使用率など、トレーニングと推論の両方のシステムメトリクスは、有効な ML 設定を使用してコラボレーションのすべてのメンバーに公開されます。これらのメトリクスは、 /aws/cleanroomsml/TrainedModelsまたは /aws/cleanroomsml/TrainedModelInferenceJobs名前空間の CloudWatch Metrics を介してジョブの進行状況としてそれぞれ表示できます。

モデルログ

モデルログへのアクセスは、設定された各モデルアルゴリズムのプライバシー設定ポリシーによって提供されます。モデル作成者は、設定されたモデルアルゴリズムを (コンソールまたは CreateConfiguredModelAlgorithmAssociation API を介して) コラボレーションに関連付けるときに、プライバシー設定ポリシーを設定します。プライバシー設定ポリシーを設定すると、モデルログを受信できるメンバーを制御します。

さらに、モデル作成者は、プライバシー設定ポリシーでフィルターパターンを設定して、ログイベントをフィルタリングできます。モデルコンテナが stdoutまたは に送信stderrし、フィルターパターン (設定されている場合) に一致するすべてのログが Amazon CloudWatch Logs に送信されます。モデルログは/aws/cleanroomsml/TrainedModelInferenceJobs、それぞれ CloudWatch ロググループ/aws/cleanroomsml/TrainedModelsまたは で使用できます。

カスタム定義メトリクス

モデルアルゴリズムを設定する場合 (コンソールまたは CreateConfiguredModelAlgorithm API 経由）、モデル作成者は、出力ログで検索する特定のメトリクス名と正規表現ステートメントを指定できます。これらは、/aws/cleanroomsml/TrainedModels名前空間の CloudWatch Metrics を介してジョブの進行状況として表示できます。設定されたモデルアルゴリズムを関連付ける場合、モデル作成者はメトリクスのプライバシー設定でオプションのノイズレベルを設定して、カスタムメトリクスの傾向を可視化しながら raw データを出力しないようにできます。ノイズレベルが設定されている場合、メトリクスはリアルタイムではなくジョブの最後に発行されます。