Tabela incompatível ao usar o AWS Glue com o Athena no Amazon QuickSight - Amazon QuickSight

Tabela incompatível ao usar o AWS Glue com o Athena no Amazon QuickSight

Se você estiver recebendo erros ao usar tabelas do AWS Glue no Athena com o Amazon QuickSight, pode ser porque estejam faltando alguns metadados. Siga estas etapas para descobrir se suas tabelas não têm o atributo TableType de que o Amazon QuickSight precisa para que o conector do Athena funcione. Normalmente, os metadados para essas tabelas não são migrados para o catálogo de dados do AWS Glue. Para obter mais informações, consulte Upgrading to the AWS Glue Data Catalog Step-by-Step no Guia do desenvolvedor do AWS Glue.

Se você não desejar migrar para o Catálogo de Dados do AWS Glue no momento, há duas opções. Você pode recriar cada tabela do AWS Glue por meio do console de gerenciamento do AWS Glue. Se preferir, é possível usar os scripts da AWS CLI listados no procedimento a seguir para identificar e atualizar tabelas com atributos TableType ausentes.

Se você preferir usar a CLI para fazer isso, use o procedimento a seguir para ajudá-lo a projetar seus scripts.

Usar a CLI para projetar scripts

  1. Use a CLI para saber quais tabelas do AWS Glue não têm atributos TableType.

    aws glue get-tables --database-name <your_datebase_name>;

    Por exemplo, é possível executar o seguinte comando na CLI.

    aws glue get-table --database-name "test_database" --name "table_missing_table_type"

    Veja a seguir um exemplo de como é o resultado. É possível ver que a tabela "table_missing_table_type" não tem o atributo TableType declarado.

    {
		"TableList": [
			{
				"Retention": 0,
				"UpdateTime": 1522368588.0,
				"PartitionKeys": [
					{
						"Name": "year",
						"Type": "string"
					},
					{
						"Name": "month",
						"Type": "string"
					},
					{
						"Name": "day",
						"Type": "string"
					}
				],
				"LastAccessTime": 1513804142.0,
				"Owner": "owner",
				"Name": "table_missing_table_type",
				"Parameters": {
					"delimiter": ",",
					"compressionType": "none",
					"skip.header.line.count": "1",
					"sizeKey": "75",
					"averageRecordSize": "7",
					"classification": "csv",
					"objectCount": "1",
					"typeOfData": "file",
					"CrawlerSchemaDeserializerVersion": "1.0",
					"CrawlerSchemaSerializerVersion": "1.0",
					"UPDATED_BY_CRAWLER": "crawl_date_table",
					"recordCount": "9",
					"columnsOrdered": "true"
				},
				"StorageDescriptor": {
					"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
					"SortColumns": [],
					"StoredAsSubDirectories": false,
					"Columns": [
						{
							"Name": "col1",
							"Type": "string"
						},
						{
							"Name": "col2",
							"Type": "bigint"
						}
					],
					"Location": "s3://myAthenatest/test_dataset/",
					"NumberOfBuckets": -1,
					"Parameters": {
						"delimiter": ",",
						"compressionType": "none",
						"skip.header.line.count": "1",
						"columnsOrdered": "true",
						"sizeKey": "75",
						"averageRecordSize": "7",
						"classification": "csv",
						"objectCount": "1",
						"typeOfData": "file",
						"CrawlerSchemaDeserializerVersion": "1.0",
						"CrawlerSchemaSerializerVersion": "1.0",
						"UPDATED_BY_CRAWLER": "crawl_date_table",
						"recordCount": "9"
					},
					"Compressed": false,
					"BucketColumns": [],
					"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
					"SerdeInfo": {
						"Parameters": {
						"field.delim": ","
						},
						"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
					}
				}
			}
		]
	}

  2. Edite a definição de tabela no editor para adicionar "TableType": "EXTERNAL_TABLE" à definição da tabela, conforme mostrado no exemplo a seguir.

    {
	"Table": {
		"Retention": 0,
		"TableType": "EXTERNAL_TABLE",
		"PartitionKeys": [
			{
				"Name": "year",
				"Type": "string"
			},
			{
				"Name": "month",
				"Type": "string"
			},
			{
				"Name": "day",
				"Type": "string"
			}
		],
		"UpdateTime": 1522368588.0,
		"Name": "table_missing_table_type",
		"StorageDescriptor": {
			"BucketColumns": [],
			"SortColumns": [],
			"StoredAsSubDirectories": false,
			"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
			"SerdeInfo": {
				"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
				"Parameters": {
					"field.delim": ","
				}
			},
			"Parameters": {
				"classification": "csv",
				"CrawlerSchemaSerializerVersion": "1.0",
				"UPDATED_BY_CRAWLER": "crawl_date_table",
				"columnsOrdered": "true",
				"averageRecordSize": "7",
				"objectCount": "1",
				"sizeKey": "75",
				"delimiter": ",",
				"compressionType": "none",
				"recordCount": "9",
				"CrawlerSchemaDeserializerVersion": "1.0",
				"typeOfData": "file",
				"skip.header.line.count": "1"
			},
			"Columns": [
				{
					"Name": "col1",
					"Type": "string"
				},
				{
					"Name": "col2",
					"Type": "bigint"
				}
			],
			"Compressed": false,
			"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
			"NumberOfBuckets": -1,
			"Location": "s3://myAthenatest/test_date_part/"
		},
		"Owner": "owner",
		"Parameters": {
			"classification": "csv",
			"CrawlerSchemaSerializerVersion": "1.0",
			"UPDATED_BY_CRAWLER": "crawl_date_table",
			"columnsOrdered": "true",
			"averageRecordSize": "7",
			"objectCount": "1",
			"sizeKey": "75",
			"delimiter": ",",
			"compressionType": "none",
			"recordCount": "9",
			"CrawlerSchemaDeserializerVersion": "1.0",
			"typeOfData": "file",
			"skip.header.line.count": "1"
		},
		"LastAccessTime": 1513804142.0
	}
	}

  3. Você pode adaptar o script a seguir para atualizar a entrada da tabela, para que inclua o atributo TableType.

    aws glue update-table --database-name <your_datebase_name> --table-input <updated_table_input>

    Por exemplo: 

    aws glue update-table --database-name test_database --table-input '
	{
			"Retention": 0,
			"TableType": "EXTERNAL_TABLE",
			"PartitionKeys": [
				{
					"Name": "year",
					"Type": "string"
				},
				{
					"Name": "month",
					"Type": "string"
				},
				{
					"Name": "day",
					"Type": "string"
				}
			],
			"Name": "table_missing_table_type",
			"StorageDescriptor": {
				"BucketColumns": [],
				"SortColumns": [],
				"StoredAsSubDirectories": false,
				"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
				"SerdeInfo": {
					"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
					"Parameters": {
						"field.delim": ","
					}
				},
				"Parameters": {
					"classification": "csv",
					"CrawlerSchemaSerializerVersion": "1.0",
					"UPDATED_BY_CRAWLER": "crawl_date_table",
					"columnsOrdered": "true",
					"averageRecordSize": "7",
					"objectCount": "1",
					"sizeKey": "75",
					"delimiter": ",",
					"compressionType": "none",
					"recordCount": "9",
					"CrawlerSchemaDeserializerVersion": "1.0",
					"typeOfData": "file",
					"skip.header.line.count": "1"
				},
				"Columns": [
					{
						"Name": "col1",
						"Type": "string"
					},
					{
						"Name": "col2",
						"Type": "bigint"
					}
				],
				"Compressed": false,
				"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
				"NumberOfBuckets": -1,
				"Location": "s3://myAthenatest/test_date_part/"
			},
			"Owner": "owner",
			"Parameters": {
				"classification": "csv",
				"CrawlerSchemaSerializerVersion": "1.0",
				"UPDATED_BY_CRAWLER": "crawl_date_table",
				"columnsOrdered": "true",
				"averageRecordSize": "7",
				"objectCount": "1",
				"sizeKey": "75",
				"delimiter": ",",
				"compressionType": "none",
				"recordCount": "9",
				"CrawlerSchemaDeserializerVersion": "1.0",
				"typeOfData": "file",
				"skip.header.line.count": "1"
			},
			"LastAccessTime": 1513804142.0
		}'