Usar o recurso de descoberta de esquema em dados estáticos - Guia do desenvolvedor do Amazon Kinesis Data Analytics SQL para aplicativos
Execução de descoberta de esquema usando o consoleExecução de descoberta de esquema usando a API

Após uma análise cuidadosa, decidimos descontinuar o Amazon Kinesis Data Analytics SQL para aplicativos em duas etapas:

1. A partir de 15 de outubro de 2025, você não poderá criar um novo Kinesis Data Analytics SQL para aplicativos.

2. Excluiremos seus aplicativos a partir de 27 de janeiro de 2026. Você não poderá iniciar ou operar seu Amazon Kinesis Data Analytics SQL para aplicativos. O suporte não estará mais disponível para o Amazon Kinesis Data Analytics SQL a partir desse momento. Para obter mais informações, consulte Descontinuação do Amazon Kinesis Data Analytics SQL para aplicativos.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar o recurso de descoberta de esquema em dados estáticos

nota

Depois de 12 de setembro de 2023, você não poderá criar novos aplicativos usando o Kinesis Data Firehose como fonte se ainda não estiver usando o Kinesis Data Analytics for SQL. Para obter mais informações, consulte Limites.

O recurso de descoberta de esquema pode gerar um esquema dos dados em um stream ou em um arquivo estático armazenado em um bucket do Amazon S3. Suponha que você deseje gerar um esquema para um aplicativo do Kinesis Data Analytics para fins de referência ou quando os dados em streaming ao vivo não estiverem disponíveis. Você pode usar o atributo de descoberta de esquema em um arquivo estático que contém uma amostra dos dados no formato esperado de dados em streaming ou de referência. O Kinesis Data Analytics pode executar a descoberta de esquema em dados de amostra de um arquivo JSON ou CSV armazenado em um bucket do Amazon S3. Executar a descoberta de esquema em um arquivo de dados usa o console ou a API DiscoverInputSchema com o parâmetro S3Configuration especificado.

Execução de descoberta de esquema usando o console

Para executar a descoberta em um arquivo estático usando o console, faça o seguinte:

  1. Adicione um objeto de dados de referência a um bucket do S3.

  2. Selecione Conectar dados de referência na página principal do aplicativo no console do Kinesis Data Analytics.

  3. Forneça os dados do bucket, do caminho e do perfil do IAM para acessar o objeto do Amazon S3 que contém os dados de referência.

  4. Escolha Discover schema (Descobrir esquema).

Para obter mais informações sobre como adicionar dados de referência e descobrir o esquema no console, consulte Exemplo: adição de dados de referência a um aplicativo do Kinesis Data Analytics.

Execução de descoberta de esquema usando a API

Para executar a descoberta em um arquivo estático usando a API, forneça à API uma estrutura S3Configuration com as seguintes informações:

Para gerar um esquema de um objeto do Amazon S3 usando a API DiscoverInputSchema

  1. Verifique se você tem a AWS CLI configuração. Para obter mais informações, consulte Etapa 2: Configurar o AWS Command Line Interface (AWS CLI) na seção Conceitos básicos.

  2. Crie um arquivo denominado data.csv com o conteúdo a seguir:

    year,month,state,producer_type,energy_source,units,consumption
2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615
2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535
2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890
2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601
2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681

  3. Faça login no Amazon S3 em https://console.aws.amazon.com/s3/.

  4. Crie um bucket do Amazon S3 e faça upload do arquivo data.csv que você criou. Anote o ARN do bucket criado. Para obter informações sobre como criar um bucket do Amazon S3 e fazer upload de um arquivo, consulte Conceitos básicos do Amazon Simple Storage Service.

  5. Abra o console IAM em https://console.aws.amazon.com/iam/. Crie uma função com a política AmazonS3ReadOnlyAccess. Anote o ARN da nova função. Para obter informações sobre como criar um perfil, consulte Criação de um perfil para delegar permissões a um serviço Amazon. Para obter mais informações sobre como adicionar uma política a um perfil, consulte Modificação de um perfil.

  6. Execute o seguinte DiscoverInputSchema comando no AWS CLI, substituindo os ARNs pelo bucket do Amazon S3 e pela função do IAM:

    $aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }'

  7. A resposta é semelhante ao seguinte:

    {
    "InputSchema": {
        "RecordEncoding": "UTF-8",
        "RecordColumns": [
            {
                "SqlType": "INTEGER",
                "Name": "COL_year"
            },
            {
                "SqlType": "INTEGER",
                "Name": "COL_month"
            },
            {
                "SqlType": "VARCHAR(4)",
                "Name": "state"
            },
            {
                "SqlType": "VARCHAR(64)",
                "Name": "producer_type"
            },
            {
                "SqlType": "VARCHAR(4)",
                "Name": "energy_source"
            },
            {
                "SqlType": "VARCHAR(16)",
                "Name": "units"
            },
            {
                "SqlType": "INTEGER",
                "Name": "consumption"
            }
        ],
        "RecordFormat": {
            "RecordFormatType": "CSV",
            "MappingParameters": {
                "CSVMappingParameters": {
                    "RecordRowDelimiter": "\r\n",
                    "RecordColumnDelimiter": ","
                }
            }
        }
    },
    "RawInputRecords": [
        "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681"
    ],
    "ParsedInputRecords": [
        [
            null,
            null,
            "state",
            "producer_type",
            "energy_source",
            "units",
            null
        ],
        [
            "2001",
            "1",
            "AK",
            "TotalElectricPowerIndustry",
            "Coal",
            "ShortTons",
            "47615"
        ],
        [
            "2001",
            "1",
            "AK",
            "ElectricGeneratorsElectricUtilities",
            "Coal",
            "ShortTons",
            "16535"
        ],
        [
            "2001",
            "1",
            "AK",
            "CombinedHeatandPowerElectricPower",
            "Coal",
            "ShortTons",
            "22890"
        ],
        [
            "2001",
            "1",
            "AL",
            "TotalElectricPowerIndustry",
            "Coal",
            "ShortTons",
            "3020601"
        ],
        [
            "2001",
            "1",
            "AL",
            "ElectricGeneratorsElectricUtilities",
            "Coal",
            "ShortTons",
            "2987681"
        ]
    ]
}