翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMRFS で Amazon S3 リクエストを再試行する

このトピックでは、EMRFS を使用して Amazon S3 にリクエストを行うときに使用できる再試行戦略について説明します。リクエストレートが上昇すると、S3 は新しいレートをサポートするためにスケーリングを試みます。このプロセス中、S3 はリクエストをスロットルし、503 Slow Down エラーを返す場合があります。S3 リクエストの成功率を高めるために、emrfs-site 設定でプロパティを設定し、再試行戦略を調整できます。

次の方法で再試行戦略を調整できます。

デフォルトのエクスポネンシャルバックオフ戦略を使用する

デフォルトでは、EMRFS はエクスポネンシャルバックオフ戦略を使用して Amazon S3 リクエストを再試行します。EMRFS のデフォルトの再試行上限は 15 です。S3 503 Slow Down エラーを回避するために、新しいクラスターを作成するときに、実行中のクラスターで、またはアプリケーションのランタイムで、再試行上限を増やすことができます。

再試行上限を増やすには、emrfs-site で fs.s3.maxRetries の値を変更する必要があります。以下の設定例では、fs.s3.maxRetries をカスタム値の 30 に設定します。

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.maxRetries": "30"
      }
    }
]

設定オブジェクトの処理の詳細については、「アプリケーションの設定」を参照してください。

AIMD 再試行戦略を使用する

Amazon EMR リリース 6.4.0 以降では、EMRFS は、additive-increase/multiplicative-decrease (AIMD) モデルに基づく代替再試行戦略をサポートします。AIMD 再試行戦略は、大規模な Amazon EMR クラスターで作業する場合に特に便利です。

AIMD は、最近の成功したリクエストに関するデータを使用してカスタムリクエストレートを計算します。この戦略では、スロットリングされるリクエストの数と、リクエストごとに必要な合計試行数が減少します。

AIMD 再試行戦略を有効にするには、以下の例のように、emrfs-site 設定で fs.s3.aimd.enabled プロパティを true に設定する必要があります。

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.aimd.enabled": "true"
      }
    }
]

設定オブジェクトの処理の詳細については、「アプリケーションの設定」を参照してください。

詳細な AIMD 再試行設定

次の表にリストされているプロパティを設定して、AIMD 再試行戦略を使用するときの再試行の動作を詳細に指定できます。大部分のユースケースで、デフォルト値を使用することをお勧めします。