翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon でモデル評価ジョブを作成する際のエラーを解決する SageMaker

モデル評価ジョブの作成中にエラーが発生した場合は、次のリストを使用して評価のトラブルシューティングを行います。さらにサポートが必要な場合は、 AWS Supportまたは AWS Amazon のデベロッパーフォーラム SageMakerにお問い合わせください。

Amazon S3 バケットからのデータのアップロードエラー

基盤モデル評価を作成するときは、モデルの入出力を保存する S3 バケットに正しいアクセス許可を設定する必要があります。クロスオリジンリソース共有 (CORS) アクセス許可が正しく設定されていない場合、 SageMakerは次のエラーを生成します。

エラー: s3 にオブジェクトを配置できませんでした: s3Errorリソースの取得 NetworkError 時に S3: にオブジェクトを配置できませんでした。

正しいバケットアクセス許可を設定するには、「 の環境のセットアップ」の指示に従いますStudio で自動モデル評価ジョブを作成する。

処理ジョブを完了できませんでした

処理ジョブを完了できなかった最も一般的な理由は次のとおりです。

各問題の軽減に役立つ以下のセクションを参照してください。

クォータが不十分

デプロイ JumpStartされていないモデルの基盤モデル評価を実行すると、 SageMaker Clarify は大言語モデル (LLM) をアカウントの SageMaker エンドポイントにデプロイします。選択した JumpStart モデルを実行するのに十分なクォータがアカウントにない場合、ジョブは で失敗しますClientError。クォータを増やすには、次の手順に従います。

クォータの引き上げのリクエストの詳細については、「クォータの引き上げのリクエスト」を参照してください。

メモリ不足

評価アルゴリズムを実行するのに十分なメモリがない Amazon EC2インスタンスで基盤モデル評価を開始すると、ジョブは失敗し、次のエラーが発生します。

The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.

評価ジョブで使用できるメモリを増やすには、インスタンスをメモリ量の多いインスタンスに変更します。ユーザーインターフェイスを使用している場合は、ステップ 2 のプロセッサ設定でインスタンスタイプを選択できます。コンソール内で SageMakerジョブを実行している場合は、メモリ容量が増加したインスタンスを使用して新しいスペースを起動します。

Amazon EC2インスタンスのリストについては、「インスタンスタイプ」を参照してください。

メモリ容量が大きいインスタンスの詳細については、「メモリ最適化インスタンス」を参照してください。

ping チェックに合格しませんでした

場合によっては、 がエンドポイントをデプロイしたときに ping チェックに合格しなかったため、基盤モデル評価ジョブ SageMaker が失敗することがあります。ping テストに合格しない場合、次のエラーが表示されます。

ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type

ジョブがこのエラーを生成する場合は、数分待ってからジョブを再度実行します。エラーが解決しない場合は、Amazon AWS のサポートまたはデベロッパーフォーラムにお問い合わせください。 AWS SageMaker

SageMaker コンソールに基盤モデル評価が見つかりません

SageMaker Clarify Foundation Model Evaluations を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。2023 年 11 月 30 日現在、以前の Amazon SageMaker Studio エクスペリエンスは Amazon SageMaker Studio Classic と名付けられています。基盤評価機能は、更新されたエクスペリエンスでのみ使用できます。Studio を更新する方法については、「」を参照してくださいAmazon SageMaker Studio Classic からの移行。

モデルはプロンプトのステレオタイプ化をサポートしていません

一部の JumpStart モデルのみがプロンプトのステレオタイプをサポートしています。サポートされていない JumpStart モデルを選択すると、次のエラーが表示されます。

{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}

このエラーが表示された場合は、選択したモデルを基盤評価で使用することはできません。 SageMaker Clarify は現在、プロンプトステレオタイプタスクのすべての JumpStart モデルを更新して、基盤モデル評価で使用できるようにしています。

データセット検証エラー (Human)

ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットは、.jsonl拡張子を使用してJSON行形式を使用してフォーマットする必要があります。

ジョブを開始すると、プロンプトデータセット内の各JSONオブジェクトは相互依存的に検証されます。JSON オブジェクトのいずれかが有効でない場合、次のエラーが発生します。

Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.

カスタムプロンプトデータセットがすべての検証に合格するには、JSON行ファイル内のすべてのJSONオブジェクトに対して次の値が true である必要があります。