Tabel tidak kompatibel saat menggunakan AWS Glue dengan Athena di Amazon QuickSight - Amazon QuickSight

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tabel tidak kompatibel saat menggunakan AWS Glue dengan Athena di Amazon QuickSight

Jika Anda mendapatkan kesalahan saat menggunakan AWS Glue tabel di Athena dengan Amazon QuickSight, itu mungkin karena Anda kehilangan beberapa metadata. Ikuti langkah-langkah ini untuk mengetahui apakah tabel Anda tidak memiliki TableType atribut yang QuickSight dibutuhkan Amazon agar konektor Athena berfungsi. Biasanya, metadata untuk tabel ini tidak dimigrasikan ke Katalog Data. AWS Glue Untuk informasi selengkapnya, lihat Memutakhirkan ke Katalog AWS Glue Data Langkah-demi-langkah di Panduan AWS Glue Pengembang.

Jika Anda tidak ingin bermigrasi ke Katalog AWS Glue Data saat ini, Anda memiliki dua opsi. Anda dapat membuat ulang setiap AWS Glue tabel melalui AWS Glue Management Console. Atau Anda dapat menggunakan AWS CLI skrip yang tercantum dalam prosedur berikut untuk mengidentifikasi dan memperbarui tabel dengan TableType atribut yang hilang.

Jika Anda lebih suka menggunakan CLI untuk melakukan ini, gunakan prosedur berikut untuk membantu Anda mendesain skrip Anda.

Untuk menggunakan skrip CLI untuk mendesain

  1. Gunakan CLI untuk mempelajari AWS Glue tabel mana yang tidak memiliki TableType atribut.

    aws glue get-tables --database-name <your_datebase_name>;

    Misalnya, Anda dapat menjalankan perintah berikut diCLI.

    aws glue get-table --database-name "test_database" --name "table_missing_table_type"

    Berikut ini adalah contoh dari apa output terlihat seperti. Anda dapat melihat bahwa tabel "table_missing_table_type" tidak memiliki TableType atribut yang dideklarasikan.

    {
		"TableList": [
			{
				"Retention": 0,
				"UpdateTime": 1522368588.0,
				"PartitionKeys": [
					{
						"Name": "year",
						"Type": "string"
					},
					{
						"Name": "month",
						"Type": "string"
					},
					{
						"Name": "day",
						"Type": "string"
					}
				],
				"LastAccessTime": 1513804142.0,
				"Owner": "owner",
				"Name": "table_missing_table_type",
				"Parameters": {
					"delimiter": ",",
					"compressionType": "none",
					"skip.header.line.count": "1",
					"sizeKey": "75",
					"averageRecordSize": "7",
					"classification": "csv",
					"objectCount": "1",
					"typeOfData": "file",
					"CrawlerSchemaDeserializerVersion": "1.0",
					"CrawlerSchemaSerializerVersion": "1.0",
					"UPDATED_BY_CRAWLER": "crawl_date_table",
					"recordCount": "9",
					"columnsOrdered": "true"
				},
				"StorageDescriptor": {
					"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
					"SortColumns": [],
					"StoredAsSubDirectories": false,
					"Columns": [
						{
							"Name": "col1",
							"Type": "string"
						},
						{
							"Name": "col2",
							"Type": "bigint"
						}
					],
					"Location": "s3://myAthenatest/test_dataset/",
					"NumberOfBuckets": -1,
					"Parameters": {
						"delimiter": ",",
						"compressionType": "none",
						"skip.header.line.count": "1",
						"columnsOrdered": "true",
						"sizeKey": "75",
						"averageRecordSize": "7",
						"classification": "csv",
						"objectCount": "1",
						"typeOfData": "file",
						"CrawlerSchemaDeserializerVersion": "1.0",
						"CrawlerSchemaSerializerVersion": "1.0",
						"UPDATED_BY_CRAWLER": "crawl_date_table",
						"recordCount": "9"
					},
					"Compressed": false,
					"BucketColumns": [],
					"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
					"SerdeInfo": {
						"Parameters": {
						"field.delim": ","
						},
						"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
					}
				}
			}
		]
	}

  2. Edit definisi tabel di editor Anda untuk ditambahkan "TableType": "EXTERNAL_TABLE" ke definisi tabel, seperti yang ditunjukkan pada contoh berikut.

    {
	"Table": {
		"Retention": 0,
		"TableType": "EXTERNAL_TABLE",
		"PartitionKeys": [
			{
				"Name": "year",
				"Type": "string"
			},
			{
				"Name": "month",
				"Type": "string"
			},
			{
				"Name": "day",
				"Type": "string"
			}
		],
		"UpdateTime": 1522368588.0,
		"Name": "table_missing_table_type",
		"StorageDescriptor": {
			"BucketColumns": [],
			"SortColumns": [],
			"StoredAsSubDirectories": false,
			"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
			"SerdeInfo": {
				"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
				"Parameters": {
					"field.delim": ","
				}
			},
			"Parameters": {
				"classification": "csv",
				"CrawlerSchemaSerializerVersion": "1.0",
				"UPDATED_BY_CRAWLER": "crawl_date_table",
				"columnsOrdered": "true",
				"averageRecordSize": "7",
				"objectCount": "1",
				"sizeKey": "75",
				"delimiter": ",",
				"compressionType": "none",
				"recordCount": "9",
				"CrawlerSchemaDeserializerVersion": "1.0",
				"typeOfData": "file",
				"skip.header.line.count": "1"
			},
			"Columns": [
				{
					"Name": "col1",
					"Type": "string"
				},
				{
					"Name": "col2",
					"Type": "bigint"
				}
			],
			"Compressed": false,
			"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
			"NumberOfBuckets": -1,
			"Location": "s3://myAthenatest/test_date_part/"
		},
		"Owner": "owner",
		"Parameters": {
			"classification": "csv",
			"CrawlerSchemaSerializerVersion": "1.0",
			"UPDATED_BY_CRAWLER": "crawl_date_table",
			"columnsOrdered": "true",
			"averageRecordSize": "7",
			"objectCount": "1",
			"sizeKey": "75",
			"delimiter": ",",
			"compressionType": "none",
			"recordCount": "9",
			"CrawlerSchemaDeserializerVersion": "1.0",
			"typeOfData": "file",
			"skip.header.line.count": "1"
		},
		"LastAccessTime": 1513804142.0
	}
	}

  3. Anda dapat menyesuaikan skrip berikut untuk memperbarui input tabel, sehingga termasuk TableType atribut.

    aws glue update-table --database-name <your_datebase_name> --table-input <updated_table_input>

    Bagian berikut menunjukkan satu contoh. 

    aws glue update-table --database-name test_database --table-input '
	{
			"Retention": 0,
			"TableType": "EXTERNAL_TABLE",
			"PartitionKeys": [
				{
					"Name": "year",
					"Type": "string"
				},
				{
					"Name": "month",
					"Type": "string"
				},
				{
					"Name": "day",
					"Type": "string"
				}
			],
			"Name": "table_missing_table_type",
			"StorageDescriptor": {
				"BucketColumns": [],
				"SortColumns": [],
				"StoredAsSubDirectories": false,
				"OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
				"SerdeInfo": {
					"SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
					"Parameters": {
						"field.delim": ","
					}
				},
				"Parameters": {
					"classification": "csv",
					"CrawlerSchemaSerializerVersion": "1.0",
					"UPDATED_BY_CRAWLER": "crawl_date_table",
					"columnsOrdered": "true",
					"averageRecordSize": "7",
					"objectCount": "1",
					"sizeKey": "75",
					"delimiter": ",",
					"compressionType": "none",
					"recordCount": "9",
					"CrawlerSchemaDeserializerVersion": "1.0",
					"typeOfData": "file",
					"skip.header.line.count": "1"
				},
				"Columns": [
					{
						"Name": "col1",
						"Type": "string"
					},
					{
						"Name": "col2",
						"Type": "bigint"
					}
				],
				"Compressed": false,
				"InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
				"NumberOfBuckets": -1,
				"Location": "s3://myAthenatest/test_date_part/"
			},
			"Owner": "owner",
			"Parameters": {
				"classification": "csv",
				"CrawlerSchemaSerializerVersion": "1.0",
				"UPDATED_BY_CRAWLER": "crawl_date_table",
				"columnsOrdered": "true",
				"averageRecordSize": "7",
				"objectCount": "1",
				"sizeKey": "75",
				"delimiter": ",",
				"compressionType": "none",
				"recordCount": "9",
				"CrawlerSchemaDeserializerVersion": "1.0",
				"typeOfData": "file",
				"skip.header.line.count": "1"
			},
			"LastAccessTime": 1513804142.0
		}'