Usar extratores de caminhos gerados pelo Athena - Amazon Athena

Usar extratores de caminhos gerados pelo Athena

Por padrão, o Athena pesquisa valores de nível superior do Amazon Ion que correspondam aos nomes de coluna do Hive e cria extratores de caminhos em tempo de execução com base nesses valores. Se o formato de dados do Amazon Ion corresponder ao esquema da tabela do Hive, o Athena gerará dinamicamente os extratores e você não precisará adicionar nenhum extrator de caminho adicional. Esses extratores de caminhos padrão não são armazenados nos metadados da tabela.

O exemplo a seguir mostra como o Athena gera extratores com base no nome da coluna.

-- Example Amazon Ion Document { identification: { name: "John Smith", driver_license: "XXXX" }, alias: "Johnny" } -- Example DDL CREATE EXTERNAL TABLE example_schema2 ( identification MAP<STRING, STRING>, alias STRING ) STORED AS ION LOCATION 's3://amzn-s3-demo-bucket/path_extraction1/'

Os extratores no exemplo a seguir são gerados pelo Athena. O primeiro extrai o campo identification para a coluna identification, e o segundo extrai o campo alias para a coluna alias.

'ion.identification.path_extractor' = '(identification)' 'ion.alias.path_extractor' = '(alias)'

O exemplo a seguir mostra a tabela extraída.

| identification | alias | |----------------------------------------------------|----------| |{["name", "driver_license"],["John Smith", "XXXX"]} | "Johnny" |