在靜態資料上使用結構描述探索功能 - 適用於 SQL 應用程式的 Amazon Kinesis Data Analytics 開發人員指南

經過仔細考量,我們決定在兩個步驟中停止 Amazon Kinesis Data Analytics for SQL 應用程式:

1. 從 2025 年 10 月 15 日起,您將無法建立新的 Kinesis Data Analytics for SQL 應用程式。

2. 我們將自 2026 年 1 月 27 日起刪除您的應用程式。您將無法啟動或操作 Amazon Kinesis Data Analytics for SQL 應用程式。從那時起,Amazon Kinesis Data Analytics for SQL 將不再提供支援。如需詳細資訊,請參閱Amazon Kinesis Data Analytics for SQL 應用程式終止

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在靜態資料上使用結構描述探索功能

注意

2023 年 9 月 12 日之後,如果尚未使用 Kinesis Data Analytics for SQL,您將無法用 Kinesis Data Firehose 做為建立新應用程式的來源。如需詳細資訊,請參閱限制

結構描述探索功能,可以從串流資料或儲存在 Amazon S3 儲存貯體的靜態檔案資料產生結構描述。假設您想要為 Kinesis Data Analytics 應用程式產生結構描述,以供參考或因應無法使用即時串流資料的時刻。在靜態檔案上使用結構描述探索功能,該檔案包含串流或參考資料中預期格式的資料樣本。Kinesis Data Analytics 可以針對儲存在 Amazon S3 儲存貯體的 JSON 或 CSV 檔案中的範例資料執行結構描述探索。在資料檔案上使用結構描述探索,該檔案使用主控台或指定了 S3Configuration 參數的 DiscoverInputSchema API。

使用主控台執行結構描述探索

若要使用主控台在靜態檔案上運行探索,請執行下列動作:

  1. 將參考資料物件新增至 S3 儲存貯體。

  2. 在 Kinesis Data Analytics 資料分析主控台的應用程式主頁中,選擇連接參考資料

  3. 提供儲存貯體、路徑和 IAM 角色資料,以存取包含參考資料的 Amazon S3 物件。

  4. 選擇探索結構描述

如需如何在主控台中新增參考資料和探索結構描述的詳細資訊,請參閱 範例:將參考資料新增至 Kinesis Data Analytics 應用程式

使用主控台執行結構描述探索

若要使用 API 在靜態檔案上執行探索,請為 API 提供具有下列資訊的 S3Configuration 結構:

使用 DiscoverInputSchema API 從 Amazon S3 物件產生結構描述
  1. 請確定您已 AWS CLI 設定 。如需詳細資訊,請參閱入門指南一節中的 步驟 2:設定 AWS Command Line Interface (AWS CLI)

  2. 使用下列內容建立名為 data.csv 的檔案:

    year,month,state,producer_type,energy_source,units,consumption 2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615 2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535 2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890 2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601 2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681
  3. https://console.aws.amazon.com/s3/ 登入 Amazon S3 主控台。

  4. 建立 Amazon S3 儲存貯體並上傳您建立的 data.csv 檔案 請記下您建立之儲存貯體的 ARN。如需有關建立 Amazon S3 儲存貯體及上傳檔案的詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》

  5. 開啟位於 https://console.aws.amazon.com/iam/ 的 IAM 主控台。使用 AmazonS3ReadOnlyAccess 政策建立角色。請記下新角色的 ARN。如需有關建立角色的詳細資訊,請參閱建立角色以委派許可給 Amazon 服務。如需將政策新增至角色的詳細資訊,請參閱修改角色

  6. 在 中執行下列DiscoverInputSchema命令 AWS CLI,將 ARNs 替換為您的 Amazon S3 儲存貯體和 IAM 角色:

    $aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }'
  7. 回應看起來類似以下的內容。

    { "InputSchema": { "RecordEncoding": "UTF-8", "RecordColumns": [ { "SqlType": "INTEGER", "Name": "COL_year" }, { "SqlType": "INTEGER", "Name": "COL_month" }, { "SqlType": "VARCHAR(4)", "Name": "state" }, { "SqlType": "VARCHAR(64)", "Name": "producer_type" }, { "SqlType": "VARCHAR(4)", "Name": "energy_source" }, { "SqlType": "VARCHAR(16)", "Name": "units" }, { "SqlType": "INTEGER", "Name": "consumption" } ], "RecordFormat": { "RecordFormatType": "CSV", "MappingParameters": { "CSVMappingParameters": { "RecordRowDelimiter": "\r\n", "RecordColumnDelimiter": "," } } } }, "RawInputRecords": [ "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681" ], "ParsedInputRecords": [ [ null, null, "state", "producer_type", "energy_source", "units", null ], [ "2001", "1", "AK", "TotalElectricPowerIndustry", "Coal", "ShortTons", "47615" ], [ "2001", "1", "AK", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "16535" ], [ "2001", "1", "AK", "CombinedHeatandPowerElectricPower", "Coal", "ShortTons", "22890" ], [ "2001", "1", "AL", "TotalElectricPowerIndustry", "Coal", "ShortTons", "3020601" ], [ "2001", "1", "AL", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "2987681" ] ] }