經過仔細考量,我們決定在兩個步驟中停止 Amazon Kinesis Data Analytics for SQL 應用程式:
1. 從 2025 年 10 月 15 日起,您將無法建立新的 Kinesis Data Analytics for SQL 應用程式。
2. 我們將自 2026 年 1 月 27 日起刪除您的應用程式。您將無法啟動或操作 Amazon Kinesis Data Analytics for SQL 應用程式。從那時起,Amazon Kinesis Data Analytics for SQL 將不再提供支援。如需詳細資訊,請參閱Amazon Kinesis Data Analytics for SQL 應用程式終止。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在靜態資料上使用結構描述探索功能
注意
2023 年 9 月 12 日之後,如果尚未使用 Kinesis Data Analytics for SQL,您將無法用 Kinesis Data Firehose 做為建立新應用程式的來源。如需詳細資訊,請參閱限制。
結構描述探索功能,可以從串流資料或儲存在 Amazon S3 儲存貯體的靜態檔案資料產生結構描述。假設您想要為 Kinesis Data Analytics 應用程式產生結構描述,以供參考或因應無法使用即時串流資料的時刻。在靜態檔案上使用結構描述探索功能,該檔案包含串流或參考資料中預期格式的資料樣本。Kinesis Data Analytics 可以針對儲存在 Amazon S3 儲存貯體的 JSON 或 CSV 檔案中的範例資料執行結構描述探索。在資料檔案上使用結構描述探索,該檔案使用主控台或指定了 S3Configuration
參數的 DiscoverInputSchema API。
使用主控台執行結構描述探索
若要使用主控台在靜態檔案上運行探索,請執行下列動作:
將參考資料物件新增至 S3 儲存貯體。
在 Kinesis Data Analytics 資料分析主控台的應用程式主頁中,選擇連接參考資料。
提供儲存貯體、路徑和 IAM 角色資料,以存取包含參考資料的 Amazon S3 物件。
選擇探索結構描述。
如需如何在主控台中新增參考資料和探索結構描述的詳細資訊,請參閱 範例:將參考資料新增至 Kinesis Data Analytics 應用程式。
使用主控台執行結構描述探索
若要使用 API 在靜態檔案上執行探索,請為 API 提供具有下列資訊的 S3Configuration
結構:
-
BucketARN
:內含檔案的 Amazon S3 儲存貯體之 Amazon Resource Name (ARN)。如需 Amazon S3儲存貯體 ARN 的格式,請參閱 Amazon Resource Names (ARNs) 和 Amazon Service 命名空間:Amazon Simple Storage Service (Amazon S3)。 -
RoleARN
:具有AmazonS3ReadOnlyAccess
政策的 IAM 角色之 ARN。如需將政策新增至角色的詳細資訊,請參閱修改角色。 -
FileKey
:物件的檔案名稱。
使用 DiscoverInputSchema
API 從 Amazon S3 物件產生結構描述
-
請確定您已 AWS CLI 設定 。如需詳細資訊,請參閱入門指南一節中的 步驟 2:設定 AWS Command Line Interface (AWS CLI)。
-
使用下列內容建立名為
data.csv
的檔案:year,month,state,producer_type,energy_source,units,consumption 2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615 2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535 2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890 2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601 2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681
-
至 https://console.aws.amazon.com/s3/
登入 Amazon S3 主控台。 -
建立 Amazon S3 儲存貯體並上傳您建立的
data.csv
檔案 請記下您建立之儲存貯體的 ARN。如需有關建立 Amazon S3 儲存貯體及上傳檔案的詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》。 -
開啟位於 https://console.aws.amazon.com/iam/
的 IAM 主控台。使用 AmazonS3ReadOnlyAccess
政策建立角色。請記下新角色的 ARN。如需有關建立角色的詳細資訊,請參閱建立角色以委派許可給 Amazon 服務。如需將政策新增至角色的詳細資訊,請參閱修改角色。 -
在 中執行下列
DiscoverInputSchema
命令 AWS CLI,將 ARNs 替換為您的 Amazon S3 儲存貯體和 IAM 角色:$aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }'
-
回應看起來類似以下的內容。
{ "InputSchema": { "RecordEncoding": "UTF-8", "RecordColumns": [ { "SqlType": "INTEGER", "Name": "COL_year" }, { "SqlType": "INTEGER", "Name": "COL_month" }, { "SqlType": "VARCHAR(4)", "Name": "state" }, { "SqlType": "VARCHAR(64)", "Name": "producer_type" }, { "SqlType": "VARCHAR(4)", "Name": "energy_source" }, { "SqlType": "VARCHAR(16)", "Name": "units" }, { "SqlType": "INTEGER", "Name": "consumption" } ], "RecordFormat": { "RecordFormatType": "CSV", "MappingParameters": { "CSVMappingParameters": { "RecordRowDelimiter": "\r\n", "RecordColumnDelimiter": "," } } } }, "RawInputRecords": [ "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681" ], "ParsedInputRecords": [ [ null, null, "state", "producer_type", "energy_source", "units", null ], [ "2001", "1", "AK", "TotalElectricPowerIndustry", "Coal", "ShortTons", "47615" ], [ "2001", "1", "AK", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "16535" ], [ "2001", "1", "AK", "CombinedHeatandPowerElectricPower", "Coal", "ShortTons", "22890" ], [ "2001", "1", "AL", "TotalElectricPowerIndustry", "Coal", "ShortTons", "3020601" ], [ "2001", "1", "AL", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "2987681" ] ] }