在 Amazon S3 中儲存匯出的資料

Amazon Monitron 提供預先定義的 AWS CloudFormation 範本，可協助快速設定 Firehose，將資料從 Kinesis 資料串流傳遞至 Amazon S3 儲存貯體。此範本會啟用動態分割，而交付的 Amazon S3 物件會使用 Amazon Monitron 建議的下列金鑰格式： /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. 登入 AWS 您的帳戶。

2. 使用下列 開啟新的瀏覽器索引標籤URL：

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. 在開啟的 AWS CloudFormation 頁面右上角，選取您使用 Amazon Monitron 的區域。

4. 根據預設，範本會建立新的 Kinesis 資料串流和 S3 儲存貯體，以及將資料交付至 Amazon S3 所需的其他資源。您可以變更參數以使用現有資源。

5. 勾選表示我確認 AWS CloudFormation 可能會建立IAM資源的方塊。

6. 選擇建立堆疊。

7. 在下一頁中，依您喜歡的頻率選擇重新整理圖示，直到堆疊的狀態為 CREATE_COMPLETE。

1. 登入 AWS 管理主控台，並在 https://console.aws.amazon.com/kinesis 開啟 Kinesis 主控台。

2. 在導覽窗格中選擇交付串流。

3. 選擇 Create Delivery Stream (建立交付串流)。

4. 對於來源，選取 Amazon Kinesis Data Streams 。

5. 針對目的地，選取 Amazon S3。

6. 在來源設定 Kinesis 資料串流 下，輸入 Kinesis 資料串流ARN的 。

7. 在交付串流名稱 下，輸入 Kinesis 資料串流的名稱。

8. 在去污設定 下，選擇 Amazon S3 儲存貯體或輸入儲存貯體 URI。

9. （選用） 使用 的內嵌剖析啟用動態分割JSON。如果您想要根據來源資訊和時間戳記分割串流測量資料，此選項是適當的。例如：

   • 選擇啟用動態分割 。

   • 選擇啟用新行分隔符號 。

   • 針對 的內嵌剖析JSON選擇已啟用。

   • 在動態分割金鑰 下，新增：

     金鑰名稱	JQ 表達式
     project	.projectDisplayName| "project=\（.）"
     site	.siteDisplayName| "site=\（.）"
     time	.timestamp| sub（"【0-9】{2}：【0-9】{2}：【0-9】{2}.【0-9】{3}$"； "00：00：00"）| "time=\（.）"

10. 選擇套用動態分割金鑰，並確認產生的 Amazon S3 儲存貯體字首為 !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/。

11. 在 Amazon S3 中，物件會使用下列金鑰格式：/project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}。

12. 選擇 Create Delivery Stream (建立交付串流)。

13. （選用） 使用更精細的路徑。

    如果您選擇動態分割區，如果您打算使用 ，請使用先前 Amazon S3 金鑰格式 AWS Glue ，而 Athena 會查詢資料。您也可以選擇更精細的金鑰格式，但 Amazon Athena 查詢不會有效率。以下是設定更精細 Amazon S3 金鑰路徑的範例。

    在動態分割金鑰 下，新增：

    金鑰名稱	JQ 表達式
    project	.projectDisplayName| "project=\（.）"
    site	.siteDisplayName| "site=\（.）"
    資產	.assetDisplayName| "asset=\（.）"
    position	.sensorPositionDisplayName| "position=\（.）"
    感應器	.sensor.physicalId | "sensor=\（.）"
    date	.timestamp| sub（" 【0-9】{2}：【0-9】{2}：【0-9】{2}.【0-9】{3}$"；""）| "date=\（）"

    在 Amazon S3 中，物件將使用下列金鑰格式： /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}