CloudWatch と Amazon の整合性通知を設定する SQS - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

CloudWatch と Amazon の整合性通知を設定する SQS

Amazon S3 の最終的な整合性の問題EMRFSに対して、 で CloudWatch メトリクスと Amazon SQS メッセージを有効にすることができます。 Amazon S3

CloudWatch

CloudWatch メトリクスを有効にすると、Amazon S3 の最終的な整合性が原因でFileSystemAPI呼び出しが失敗するたびに、不整合という名前のメトリクスがプッシュされます。

Amazon S3 の最終的な整合性問題の CloudWatch メトリクスを表示するには

CloudWatch コンソールで不整合メトリクスを表示するには、EMRFSメトリクスを選択してから、JobFlowId/Metric Name ペアを選択します。たとえば、j-162XXXXXXM2CU ListStatusj-162XXXXXXM2CU GetFileStatus などです。

  1. で CloudWatch コンソールを開きますhttps://console.aws.amazon.com/cloudwatch/。

  2. ダッシュボード のメトリクスセクションで、 を選択しますEMRFS。

  3. ジョブフローメトリクスペインで、1 つ以上の JobFlowId/メトリクス名のペアを選択します。メトリクスのグラフィカル表示が、次のウィンドウに表示されます。

Amazon SQS

Amazon SQS通知を有効にすると、 EMRFS が初期化されると、 という名前の Amazon SQSキューEMRFS-Inconsistency-<jobFlowId>が作成されます。Amazon SQS S3 の最終的な整合性が原因でFileSystemAPI呼び出しが失敗すると、Amazon メッセージはキューにプッシュされます。 Amazon S3 メッセージには JobFlowId、、API、一貫性のないパスのリスト、スタックトレースなどの情報が含まれます。メッセージは、Amazon SQSコンソールまたは EMRFS read-sqs コマンドを使用して読み取ることができます。

Amazon S3 の最終的な整合性の問題に対する Amazon SQS メッセージを管理するには

Amazon S3 の最終的な整合性の問題に関する Amazon SQS メッセージはEMRFS、 を使用して読み取ることができますCLI。EMRFS Amazon SQSキューからメッセージを読み取るには、 read-sqs コマンドを入力し、マスターノードのローカルファイルシステムの出力場所を指定します。

delete-sqs コマンドを使用して EMRFS Amazon SQSキューを削除することもできます。

  1. Amazon SQSキューからメッセージを読み取るには、次のコマンドを入力します。置換 queuename 設定して置き換えた Amazon SQSキューの名前 /path/filename 出力ファイルへのパス：

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    例えば、デフォルトのキューから Amazon SQS メッセージを読み取って出力するには、次のように入力します。

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    注記

    また、-q および -o の代わりに、それぞれ --queue-name および --output-file ショートカットを使用することもできます。

  2. Amazon SQSキューを削除するには、次のコマンドを入力します。

    emrfs delete-sqs --queue-name queuename

    たとえば、デフォルトキューを削除するには、次のように入力します。

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    注記

    --queue-name の代わりに -q ショートカットを使用することもできます。