정적 데이터에 대해 스키마 검색 기능 사용

1. 참조 데이터 객체를 S3 버킷에 추가합니다.

2. Kinesis Data Analytics 콘솔의 애플리케이션 기본 페이지에서 참조 데이터 연결을 선택합니다.

3. 참조 데이터가 포함된 Amazon S3 객체에 액세스하기 위한 버킷, 경로 및 IAM 역할 데이터를 제공합니다.

4. Discover schema(스키마 발견)를 선택합니다.

DiscoverInputSchema API를 사용하여 Amazon S3 객체에서 스키마를 생성하려면

1. 를 AWS CLI 설정했는지 확인합니다. 자세한 설명은 시작하기 섹션의 2단계: AWS Command Line Interface (AWS CLI) 설정 항목을 참조하십시오.

2. 다음 콘텐츠를 가진 data.csv이라는 파일을 생성합니다:

   year,month,state,producer_type,energy_source,units,consumption
   2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615
   2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535
   2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890
   2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601
   2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681
   

3. https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔에 로그인하십시오.

4. Amazon S3 버킷을 생성하고 생성된 파일을 업로드합니다. 생성된 버킷의 ARN을 메모해 둡니다. Amazon S3 버킷 생성 및 파일 업로드 방법에 대한 자세한 설명은 Amazon Simple Storage 서비스 시작하기를 참조하십시오.

5. https://console.aws.amazon.com/iam/에서 IAM 콘솔을 엽니다. AmazonS3ReadOnlyAccess 정책을 사용하여 역할을 생성합니다. 새 역할의 ARN을 기록합니다. 역할 생성에 대한 자세한 설명은 Amazon 서비스에 권한 위임 역할 생성을 참조하십시오. 역할에 정책을 추가하는 방법에 대한 자세한 설명은 역할 수정을 참조하십시오.

6. 에서 다음 DiscoverInputSchema 명령을 실행하여 Amazon S3 버킷 및 IAM 역할의 ARNs을 AWS CLI대체합니다.

   $aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }' 
   

7. 응답은 다음과 유사해 보입니다.

   {
       "InputSchema": {
           "RecordEncoding": "UTF-8",
           "RecordColumns": [
               {
                   "SqlType": "INTEGER",
                   "Name": "COL_year"
               },
               {
                   "SqlType": "INTEGER",
                   "Name": "COL_month"
               },
               {
                   "SqlType": "VARCHAR(4)",
                   "Name": "state"
               },
               {
                   "SqlType": "VARCHAR(64)",
                   "Name": "producer_type"
               },
               {
                   "SqlType": "VARCHAR(4)",
                   "Name": "energy_source"
               },
               {
                   "SqlType": "VARCHAR(16)",
                   "Name": "units"
               },
               {
                   "SqlType": "INTEGER",
                   "Name": "consumption"
               }
           ],
           "RecordFormat": {
               "RecordFormatType": "CSV",
               "MappingParameters": {
                   "CSVMappingParameters": {
                       "RecordRowDelimiter": "\r\n",
                       "RecordColumnDelimiter": ","
                   }
               }
           }
       },
       "RawInputRecords": [
           "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681"
       ],
       "ParsedInputRecords": [
           [
               null,
               null,
               "state",
               "producer_type",
               "energy_source",
               "units",
               null
           ],
           [
               "2001",
               "1",
               "AK",
               "TotalElectricPowerIndustry",
               "Coal",
               "ShortTons",
               "47615"
           ],
           [
               "2001",
               "1",
               "AK",
               "ElectricGeneratorsElectricUtilities",
               "Coal",
               "ShortTons",
               "16535"
           ],
           [
               "2001",
               "1",
               "AK",
               "CombinedHeatandPowerElectricPower",
               "Coal",
               "ShortTons",
               "22890"
           ],
           [
               "2001",
               "1",
               "AL",
               "TotalElectricPowerIndustry",
               "Coal",
               "ShortTons",
               "3020601"
           ],
           [
               "2001",
               "1",
               "AL",
               "ElectricGeneratorsElectricUtilities",
               "Coal",
               "ShortTons",
               "2987681"
           ]
       ]
   }