エクスポートしたデータを Amazon S3 に保存する

Amazon Monitron には、Kinesis データストリームから Amazon S3 バケットにデータを配信するように Firehose をすばやくセットアップするための事前定義された AWS CloudFormation テンプレートが用意されています。このテンプレートによって動的パーティショニングが可能になり、配信される Amazon S3 オブジェクトでは Amazon Monitron が推奨する以下のキーフォーマットが使用されます: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. AWS アカウントにサインインします。

2. 次の を使用して新しいブラウザタブを開きますURL。

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. 開いた AWS CloudFormation ページの右上で、Amazon Monitron を使用しているリージョンを選択します。

4. デフォルトでは、Amazon S3 にデータを配信するのに必要なその他のリソースとともに、新しい Kinesis データストリームと S3 バケットがテンプレートで作成されます。パラメータを変更して既存のリソースを使用できます。

5. がIAMリソースを作成する AWS CloudFormation 可能性があることを承諾したことを示すチェックボックスをオンにします。

6. [スタックの作成] を選択します。

7. 次のページで、スタックのステータスが CREATE_ になるまで、更新アイコンを好きなだけ選択しますCOMPLETE。

1. AWS マネジメントコンソールにサインインし、 https://console.aws.amazon.com/kinesis で Kinesis コンソールを開きます。

2. ナビゲーションペインで、[配信ストリーム] を選択します。

3. [Create delivery stream (配信ストリームの作成)] を選択します。

4. [ソース] で、[Amazon Kinesis Data Streams] を選択します。

5. [送信先] で、[Amazon S3] を選択します。

6. ソース設定、Kinesis データストリーム で、Kinesis データストリームARNの を入力します。

7. [配信ストリーム名] に、Kinesis データストリーム名を入力します。

8. 送信先設定 で、Amazon S3 バケットを選択するか、バケット を入力しますURI。

9. （オプション) のインライン解析を使用して動的パーティショニングを有効にしますJSON。このオプションは、ソース情報とタイムスタンプに基づいて、ストリーミング測定データを分割する場合に適しています。例:

   • [動的パーティショニング] で [有効] を選択します。

   • [改行の区切り文字] で [有効] を選択します。

   • のインライン解析で有効 を選択します。 JSON

   • [動的パーティショニングキー] に以下を追加します。

     キー名	JQ 式
     プロジェクト	.projectDisplayName|「プロジェクト=\(.)」
     site	.siteDisplayName| 「site=\(.)」
     時系	.timestamp| sub("[0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "00:00:00")| "time=\(.)"

10. [動的パーティショニングキーを適用] を選択し、生成された Amazon S3 バケットプレフィックスが !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/ であることを確認します。

11. Amazon S3 で、オブジェクトは次のキー形式を使用します: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. [Create delivery stream (配信ストリームの作成)] を選択します。

13. (任意) より詳細なパスを使用してください。

    動的パーティションを選択した場合、 AWS Glue と Athena を使用してデータをクエリする場合は、前の Amazon S3 キー形式を使用します。より詳細なキー形式を選択することもできますが、Amazon Athena クエリでは効率的ではありません。より詳細な Amazon S3 のキーパスを設定する例を次に示します。

    [動的パーティショニングキー] に以下を追加します。

    キー名	JQ 式
    プロジェクト	.projectDisplayName|「プロジェクト=\(.)」
    site	.siteDisplayName| 「site=\(.)」
    アセット	.assetDisplayName|「asset=\(.)」
    position	.sensorPositionDisplayName|「位置=\(.)」
    センサー	.sensor.physicalId |「sensor=\(.)」
    date	.timestamp| sub(" [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "")| "date=\(.)"

    Amazon S3 で、オブジェクトは次のキー形式を使用します: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}