翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon Data Firehose とは
Amazon Data Firehose は、Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、Amazon OpenSearch Serverless、Splunk、Apache Iceberg Tables、および Datadog、Dynatrace、 LogicMonitorMongoDB、New Relic、Coralogix、Elastic など、サポートされているサードパーティーサービスプロバイダーが所有するカスタムHTTPエンドポイントまたはHTTPエンドポイントにリアルタイムのストリーミングデータを
AWS ビッグデータソリューションの詳細については、「 のビッグデータ AWS
注記
プロデューサー、AWS ストリーミングストレージ、コンシューマー、送信先を流れるデータフローテンプレートを提供する Amazon の最新のストリーミングデータソリューションMSK
主要な概念を学ぶ
Amazon Data Firehose の使用を開始すると、以下の概念を理解しておくとメリットが得られます。
- Firehose ストリーム
-
Amazon Data Firehose の基盤となるエンティティ。Amazon Data Firehose を使用するには、Firehose ストリームを作成し、そのストリームにデータを送信します。詳細については、「チュートリアル: コンソールから Firehose ストリームを作成する」および「Firehose ストリームにデータを送信する」を参照してください。
- レコード
-
データプロデューサーが Firehose ストリームに送信する対象のデータ。レコードのサイズは最大 1000 KB です。
- データプロデューサー
-
プロデューサーはレコードを Firehose ストリームに送信します。例えば、Firehose ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。既存の Kinesis データストリームからデータを自動的に読み取り、送信先にロードするように Firehose ストリームを設定することもできます。詳細については、「Firehose ストリームにデータを送信する」を参照してください。
- バッファサイズとバッファ間隔
-
Amazon Data Firehose は、受信ストリーミングデータを特定のサイズまたは一定期間バッファしてから送信先に配信します。 Buffer Sizeは でMBs、 は秒単位Buffer Intervalです。
Amazon Data Firehose のデータフローを理解する
Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。
Amazon Redshift の送信先の場合、ストリーミングデータは S3 バケットに配信されます。次に、Amazon Data Firehose は Amazon Redshift COPY コマンドを発行して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。
OpenSearch サービス送信先の場合、ストリーミングデータはサービスクラスターに OpenSearch配信され、オプションで S3 バケットに同時にバックアップできます。
Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。
