静的データに対するスキーマ検出機能の使用

1. リファレンスデータオブジェクトを S3 バケットに追加します。

2. Kinesis Data Analytics コンソールで、アプリケーションのメインページの [リファレンスデータを接続] を選択します。

3. リファレンスデータを含む Amazon S3 オブジェクトにアクセスするために、バケット、パス、IAM ロールデータを指定します。

4. [スキーマの検出] を選択します。

DiscoverInputSchema API を使用して Amazon S3 オブジェクトからスキーマを生成するには

1. AWS CLI がセットアップされていることを確認します。詳細については、「はじめに」セクションの「ステップ 2: を設定する AWS Command Line Interface (AWS CLI)」を参照してください。

2. 次の内容で、data.csv という名前のファイルを作成します。

   year,month,state,producer_type,energy_source,units,consumption
   2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615
   2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535
   2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890
   2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601
   2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681
   

3. Amazon S3 コンソール (https://console.aws.amazon.com/s3/) にサインインします。

4. Amazon S3 バケットを作成し、作成した data.csv ファイルをアップロードします。作成されたバケットの ARN に注意してください。Amazon S3 バケットの作成およびファイルのアップロードの詳細については、「Amazon Simple Storage Service の使用開始」を参照してください。

5. IAM コンソール (https://console.aws.amazon.com/iam/) を開きます。AmazonS3ReadOnlyAccess ポリシーを使用してロールを作成します。新しいロールの ARN に注意してください。ロールの作成の詳細については、「Amazon サービスにアクセス許可を委任するロールの作成」を参照してください。ロールにポリシーを追加する方法については、「ロールの修正」を参照してください。

6. で次のDiscoverInputSchemaコマンドを実行し AWS CLI、Amazon S3 バケットと IAM ロールARNs を置き換えます。

   $aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }' 
   

7. 応答は次の例のようになります。

   {
       "InputSchema": {
           "RecordEncoding": "UTF-8",
           "RecordColumns": [
               {
                   "SqlType": "INTEGER",
                   "Name": "COL_year"
               },
               {
                   "SqlType": "INTEGER",
                   "Name": "COL_month"
               },
               {
                   "SqlType": "VARCHAR(4)",
                   "Name": "state"
               },
               {
                   "SqlType": "VARCHAR(64)",
                   "Name": "producer_type"
               },
               {
                   "SqlType": "VARCHAR(4)",
                   "Name": "energy_source"
               },
               {
                   "SqlType": "VARCHAR(16)",
                   "Name": "units"
               },
               {
                   "SqlType": "INTEGER",
                   "Name": "consumption"
               }
           ],
           "RecordFormat": {
               "RecordFormatType": "CSV",
               "MappingParameters": {
                   "CSVMappingParameters": {
                       "RecordRowDelimiter": "\r\n",
                       "RecordColumnDelimiter": ","
                   }
               }
           }
       },
       "RawInputRecords": [
           "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681"
       ],
       "ParsedInputRecords": [
           [
               null,
               null,
               "state",
               "producer_type",
               "energy_source",
               "units",
               null
           ],
           [
               "2001",
               "1",
               "AK",
               "TotalElectricPowerIndustry",
               "Coal",
               "ShortTons",
               "47615"
           ],
           [
               "2001",
               "1",
               "AK",
               "ElectricGeneratorsElectricUtilities",
               "Coal",
               "ShortTons",
               "16535"
           ],
           [
               "2001",
               "1",
               "AK",
               "CombinedHeatandPowerElectricPower",
               "Coal",
               "ShortTons",
               "22890"
           ],
           [
               "2001",
               "1",
               "AL",
               "TotalElectricPowerIndustry",
               "Coal",
               "ShortTons",
               "3020601"
           ],
           [
               "2001",
               "1",
               "AL",
               "ElectricGeneratorsElectricUtilities",
               "Coal",
               "ShortTons",
               "2987681"
           ]
       ]
   }