Amazon Data Firehose クォータ - Amazon Data Firehose

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Data Firehose クォータ

このセクションでは、Amazon Data Firehose 内の、以前は制限と呼ばれていた現在のクォータについて説明します。各クォータは、指定がない限り、リージョン単位で適用されます。

Service Quotas コンソールは、 AWS サービスのクォータを表示および管理し、使用する多くのリソースのクォータ引き上げをリクエストできる中央の場所です。が提供するクォータ情報を使用して、 AWS インフラストラクチャを管理します。クォータの引き上げに対するリクエストは、クォータの引き上げが必要となる前に計画してください。

詳細については、「」の「Amazon Data Firehose エンドポイントとクォータ」を参照してください Amazon Web Services 全般のリファレンス。

次のセクションは、Amazon Data Firehose に次のクォータがあることを示しています。

  • Amazon を Firehose ストリームのソースMSKとして、各 Firehose ストリームのデフォルトのクォータは、パーティションあたり 10 MB/秒の読み取りスループットと 10MB の最大レコードサイズです。サービスクォータの引き上げを使用して、パーティションあたりの読み取りスループットのデフォルトクォータである 10 MB/秒の引き上げをリクエストできます。

  • Amazon を Firehose ストリームのソースMSKとして使用すると、 AWS Lambda が有効になっている場合は最大レコードサイズが 6 MB、Lambda が無効になっている場合は最大レコードサイズが 10 MB になります。 AWS Lambda は受信レコードを 6 MB に制限し、Amazon Data Firehose は 6Mb を超えるレコードをエラー S3 バケットに転送します。Lambda が無効になっている場合、Firehose は受信レコードを 10 MB に制限します。Amazon Data Firehose MSKが Amazon から 10 MB を超えるレコードサイズを受信すると、Amazon Data Firehose はこのレコードを S3 エラーバケットに配信し、Cloudwatch メトリクスをアカウントに出力します。 AWS Lambda の制限の詳細については、https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted「-limits.html」を参照してください。

  • Firehose ストリームの動的パーティショニングが有効になっている場合、その Firehose ストリーム用に作成できる 500 個のアクティブなパーティションのデフォルトのクォータがあります。アクティブパーティション数は、配信バッファ内のアクティブパーティションの総数です。例えば、動的パーティショニングクエリが 1 秒あたり 3 つのパーティションを構築し、60 秒ごとに配信をトリガーするバッファのヒント設定がある場合、平均して 180 のアクティブパーティションが作成されます。データがパーティションに配信されると、そのパーティションはそれ以降はアクティブではなくなります。Amazon Data Firehose Limits フォームを使用して、特定の Firehose ストリームあたり最大 5,000 個のアクティブなパーティションのこのクォータの引き上げをリクエストできます。さらにパーティションが必要な場合は、Firehose ストリームをさらに作成し、アクティブなパーティションをその全体に分散できます。

  • Firehose ストリームでの動的パーティショニングが有効になっている場合、アクティブなパーティションごとに 1 秒あたり 1 GB の最大スループットがサポートされます。

  • 各アカウントには、リージョンあたりの Firehose ストリーム数に対する以下のクォータがあります。

    • 米国東部 (バージニア北部）、米国東部 (オハイオ）、米国西部 (オレゴン）、欧州 (アイルランド）、アジアパシフィック (東京): 5,000 Firehose ストリーム

    • 欧州 (フランクフルト）、欧州 (ロンドン）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (ソウル）、アジアパシフィック (ムンバイ） AWS GovCloud 、（米国西部）、カナダ (西部）、カナダ (中部): 2,000 の Firehose ストリーム

    • 欧州 (パリ）、欧州 (ミラノ）、欧州 (ストックホルム）、アジアパシフィック (香港）、アジアパシフィック (大阪）、南米 (サンパウロ）、中国 (寧夏）、中国 (北京）、中東 (バーレーン） AWS GovCloud 、（米国東部）、アフリカ (ケープタウン): 500 Firehose ストリーム

    • 欧州 (チューリッヒ）、欧州 (スペイン）、アジアパシフィック (ハイデラバード）、アジアパシフィック (ジャカルタ）、アジアパシフィック (メルボルン）、中東 ()、イスラエル (テルアビブUAE）、カナダ西部 (カルガリー）、カナダ (中部）、アジアパシフィック (マレーシア): 100 の Firehose ストリーム

    • この数を超えると、 を呼び出すとLimitExceededException例外CreateDeliveryStreamが発生します。このクォータを引き上げるには、リージョンで利用可能であればService Quotas を使用します。Service Quotas の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。Service Quotas がお客様のリージョンで利用できない場合は、Amazon Data Firehose Limits フォームを使用して引き上げをリクエストできます。

  • Direct PUT がデータソースとして設定されている場合、各 Firehose ストリームは、 PutRecord および PutRecordBatchリクエストに対して次の組み合わせクォータを提供します。

    • 米国東部 (バージニア北部）、米国西部 (オレゴン）、欧州 (アイルランド) の場合: 500,000 records/second, 2,000 requests/second, and 5 MiB/second。

    • 米国東部 (オハイオ）、米国西部 (北カリフォルニア） AWS GovCloud 、 (米国東部）、 AWS GovCloud （米国西部）、アジアパシフィック (香港）、アジアパシフィック (ムンバイ）、アジアパシフィック (ソウル）、アジアパシフィック (シンガポール）、中国 (北京）、中国 (寧夏）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、カナダ (中部）、カナダ西部 (カルガリー）、欧州 (フランクフルト）、欧州 (ロンドン）、欧州 (パリ）、欧州 (ストックホルム）、中東 (バーレーン）、南米 (サンパウロ）、アフリカ (ケープタウン）、アジアパシフィック (マレーシア）、欧州 (ミラノ): 100,000 records/second, 1,000 requests/second, and 1 MiB/second。

    クォータの引き上げをリクエストするには、Amazon Data Firehose Limits フォーム を使用します。3 つのクォータは比例してスケールされます。例えば、米国東部 (バージニア北部）、米国西部 (オレゴン）、または欧州 (アイルランド) のスループットクォータを 10 に増やした場合ですMiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second。

    重要

    引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

    重要

    データレコードが小さくなると、コストが高くなる可能性があることに注意してください。Firehose 取り込み料金は、サービスに送信するデータレコードの数に、最も近い 5KB (5120 バイト) に切り上げられた各レコードのサイズを掛けた値に基づいています。したがって、同じ量の受信データ (バイト) では、受信レコードの数が多い場合、発生するコストが高くなります。たとえば、受信データ量の合計が 5MiB の場合、5,000 レコードを超えるデータの送信は、1,000 レコードを使用して同じ量のデータを送信する場合と比べて、コストが高くなります。詳細については、 AWS 計算ツールの「Amazon Data Firehose」を参照してください。

    注記

    Kinesis Data Streams がデータソースとして設定されている場合、このクォータは適用されません。Amazon Data Firehose は制限なしでスケールアップおよびスケールダウンします。

  • 各 Firehose ストリームは、配信先が利用できない場合、およびソースが の場合、最大 24 時間データレコードを保存します DirectPut。ソースが Kinesis Data Streams (KDS) で、送信先が使用できない場合、データはKDS設定に基づいて保持されます。

  • base64 エンコードの前に Amazon Data Firehose に送信されるレコードの最大サイズは 1,000 KiB です。

  • PutRecordBatch オペレーションは、呼び出しごとに最大 500 レコード、または呼び出しごとに 4 MiB のいずれか小さい方を処理できます。このクォータは変更できません。

  • 以下の各オペレーションでは、1 秒あたり最大 5 回の呼び出しを提供できますが、これはハードな制限です。

  • バッファの間隔のヒントの範囲は、60～900 秒です。

  • Amazon Data Firehose から Amazon Redshift への配信では、パブリックにアクセス可能な Amazon Redshift クラスターのみがサポートされています。

  • Amazon Redshift および OpenSearch サービス配信の再試行時間の範囲は 0 秒～7,200 秒です。

  • Firehose は、Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、5.6、および 6.*、7.*、8.* をすべてサポートしています。Firehose は Amazon OpenSearch Service 2.x を最大 2.11 までサポートしています。

  • 送信先が Amazon S3、Amazon Redshift、または OpenSearch Service の場合、Amazon Data Firehose はシャードごとに最大 5 つの未処理の Lambda 呼び出しを許可します。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

  • CMK タイプの を使用して、最大 CUSTOMER_MANAGED_CMK 500 個の Firehose ストリームを暗号化できます。