Hive 메타스토어와 함께 AWS CLI 사용 - Amazon Athena

Hive 메타스토어와 함께 AWS CLI 사용

aws athena CLI 명령을 사용하여 Athena에서 사용하는 Hive 메타스토어 데이터 카탈로그를 관리할 수 있습니다. Athena에서 사용할 카탈로그를 하나 이상 정의한 후에는 aws athena DDL 및 DML 명령에서 해당 카탈로그를 참조할 수 있습니다.

AWS CLI를 사용하여 Hive 메타스토어 카탈로그 관리

카탈로그 등록: Create-data-catalog

데이터 카탈로그를 등록하려면 create-data-catalog 명령을 사용합니다. name 파라미터를 사용하여 카탈로그에 사용할 이름을 지정합니다. Lambda 함수의 ARN을 parameters 인수의 metadata-function 옵션에 전달합니다. 새 카탈로그에 대한 태그를 만들려면 하나 이상의 공백으로 구분된 Key=key,Value=value 인수 페어와 함께 tags 파라미터를 사용합니다.

다음 예제에서는 hms-catalog-1이라는 Hive 메타스토어 카탈로그를 등록합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena create-data-catalog --name "hms-catalog-1" --type "HIVE" --description "Hive Catalog 1" --parameters "metadata-function=arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3,sdk-version=1.0" --tags Key=MyKey,Value=MyValue --region us-east-1

카탈로그 세부 정보 표시: Get-data-catalog

카탈로그의 세부 정보를 표시하려면 다음 예제와 같이 카탈로그 이름을 get-data-catalog 명령에 전달합니다.

$ aws athena get-data-catalog --name "hms-catalog-1" --region us-east-1

다음 샘플 결과는 JSON 형식입니다.

{ "DataCatalog": { "Name": "hms-catalog-1", "Description": "Hive Catalog 1", "Type": "HIVE", "Parameters": { "metadata-function": "arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3", "sdk-version": "1.0" } } }

등록된 카탈로그 나열: List-data-catalogs

등록된 카탈로그를 나열하려면 다음 예제와 같이 list-data-catalogs 명령을 사용하고 필요에 따라 리전을 지정합니다. 나열된 카탈로그에는 항상 AWS Glue가 포함되어 있습니다.

$ aws athena list-data-catalogs --region us-east-1

다음 샘플 결과는 JSON 형식입니다.

{ "DataCatalogs": [ { "CatalogName": "AwsDataCatalog", "Type": "GLUE" }, { "CatalogName": "hms-catalog-1", "Type": "HIVE", "Parameters": { "metadata-function": "arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3", "sdk-version": "1.0" } } ] }

카탈로그 업데이트: Update-data-catalog

데이터 카탈로그를 업데이트하려면 다음 예제와 같이 update-data-catalog 명령을 사용합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena update-data-catalog --name "hms-catalog-1" --type "HIVE" --description "My New Hive Catalog Description" --parameters "metadata-function=arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new,sdk-version=1.0" --region us-east-1

카탈로그 삭제: Delete-data-catalog

데이터 카탈로그를 삭제하려면 다음 예제와 같이 delete-data-catalog 명령을 사용합니다.

$ aws athena delete-data-catalog --name "hms-catalog-1" --region us-east-1

데이터베이스 세부 정보 표시: Get-database

데이터베이스의 세부 정보를 표시하려면 다음 예제와 같이 카탈로그 및 데이터베이스의 이름을 get-database 명령에 전달합니다.

$ aws athena get-database --catalog-name hms-catalog-1 --database-name mydb

다음 샘플 결과는 JSON 형식입니다.

{ "Database": { "Name": "mydb", "Description": "My database", "Parameters": { "CreatedBy": "Athena", "EXTERNAL": "TRUE" } } }

카탈로그의 데이터베이스 나열: List-databases

카탈로그의 데이터베이스를 나열하려면 다음 예제와 같이 list-databases 명령을 사용하고 필요에 따라 리전을 지정합니다.

$ aws athena list-databases --catalog-name AwsDataCatalog --region us-west-2

다음 샘플 결과는 JSON 형식입니다.

{ "DatabaseList": [ { "Name": "default" }, { "Name": "mycrawlerdatabase" }, { "Name": "mydatabase" }, { "Name": "sampledb", "Description": "Sample database", "Parameters": { "CreatedBy": "Athena", "EXTERNAL": "TRUE" } }, { "Name": "tpch100" } ] }

테이블 세부 정보 표시: Get-table-metadata

열 이름 및 데이터 형식을 포함하여 테이블의 메타데이터를 표시하려면 다음 예제와 같이 카탈로그 이름, 데이터베이스 이름 및 테이블 이름을 get-table-metadata 명령에 전달합니다.

$ aws athena get-table-metadata --catalog-name AwsDataCatalog --database-name mydb --table-name cityuseragent

다음 샘플 결과는 JSON 형식입니다.

{ "TableMetadata": { "Name": "cityuseragent", "CreateTime": 1586451276.0, "LastAccessTime": 0.0, "TableType": "EXTERNAL_TABLE", "Columns": [ { "Name": "city", "Type": "string" }, { "Name": "useragent1", "Type": "string" } ], "PartitionKeys": [], "Parameters": { "COLUMN_STATS_ACCURATE": "false", "EXTERNAL": "TRUE", "inputformat": "org.apache.hadoop.mapred.TextInputFormat", "last_modified_by": "hadoop", "last_modified_time": "1586454879", "location": "s3://amzn-s3-demo-bucket/", "numFiles": "1", "numRows": "-1", "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "rawDataSize": "-1", "serde.param.serialization.format": "1", "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe", "totalSize": "61" } } }

데이터베이스의 모든 테이블에 대한 메타데이터 표시: List-table-metadata

데이터베이스의 모든 테이블에 대한 메타데이터를 표시하려면 카탈로그 이름 및 데이터베이스 이름을 list-table-metadata 명령에 전달합니다. list-table-metadata 명령은 테이블 이름을 지정하지 않는다는 점을 제외하면 get-table-metadata 명령과 유사합니다. 결과 수를 제한하려면 다음 예제와 같이 --max-results 옵션을 사용할 수 있습니다.

$ aws athena list-table-metadata --catalog-name AwsDataCatalog --database-name sampledb --region us-east-1 --max-results 2

다음 샘플 결과는 JSON 형식입니다.

{ "TableMetadataList": [ { "Name": "cityuseragent", "CreateTime": 1586451276.0, "LastAccessTime": 0.0, "TableType": "EXTERNAL_TABLE", "Columns": [ { "Name": "city", "Type": "string" }, { "Name": "useragent1", "Type": "string" } ], "PartitionKeys": [], "Parameters": { "COLUMN_STATS_ACCURATE": "false", "EXTERNAL": "TRUE", "inputformat": "org.apache.hadoop.mapred.TextInputFormat", "last_modified_by": "hadoop", "last_modified_time": "1586454879", "location": "s3://amzn-s3-demo-bucket/", "numFiles": "1", "numRows": "-1", "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "rawDataSize": "-1", "serde.param.serialization.format": "1", "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe", "totalSize": "61" } }, { "Name": "clearinghouse_data", "CreateTime": 1589255544.0, "LastAccessTime": 0.0, "TableType": "EXTERNAL_TABLE", "Columns": [ { "Name": "location", "Type": "string" }, { "Name": "stock_count", "Type": "int" }, { "Name": "quantity_shipped", "Type": "int" } ], "PartitionKeys": [], "Parameters": { "EXTERNAL": "TRUE", "inputformat": "org.apache.hadoop.mapred.TextInputFormat", "location": "s3://amzn-s3-demo-bucket/", "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "serde.param.serialization.format": "1", "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe", "transient_lastDdlTime": "1589255544" } } ], "NextToken": "eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJ0Ljk0YWZjYjk1MjJjNTQ1YmU4Y2I5OWE5NTg0MjFjYTYzIn0sIlJBTkdFX0tFWSI6eyJzIjoiY2xlYXJpbmdob3VzZV9kYXRhIn19LCJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE1ODkzNDIwMjIsIm5hbm9zIjo2NTUwMDAwMDB9fQ==" }

DDL 및 DML 문 실행

AWS CLI를 사용하여 DDL 및 DML 문을 실행할 때 다음 두 가지 방법 중 하나로 Hive 메타스토어 카탈로그의 이름을 전달할 수 있습니다.

  • 이를 지원하는 문으로 직접 전달

  • --query-execution-context Catalog 파라미터를 사용하여 전달

DDL 문

다음 예제에서는 show create table DDL 문의 일부로 카탈로그 이름을 직접 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution --query-string "show create table hms-catalog-1.hms_tpch_partitioned.lineitem" --result-configuration "OutputLocation=s3://amzn-s3-demo-bucket/lambda/results"

다음 예제 DDL show create table 문은 --query-execution-contextCatalog 파라미터를 사용하여 Hive 메타스토어 카탈로그 이름 hms-catalog-1을 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution --query-string "show create table lineitem" --query-execution-context "Catalog=hms-catalog-1,Database=hms_tpch_partitioned" --result-configuration "OutputLocation=s3://amzn-s3-demo-bucket/lambda/results"

DML 문

다음 예제 DML select 문은 카탈로그 이름을 쿼리에 직접 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution --query-string "select * from hms-catalog-1.hms_tpch_partitioned.customer limit 100" --result-configuration "OutputLocation=s3://amzn-s3-demo-bucket/lambda/results"

다음 예제 DML select 문은 --query-execution-contextCatalog 파라미터를 사용하여 Hive 메타스토어 카탈로그 이름 hms-catalog-1을 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution --query-string "select * from customer limit 100" --query-execution-context "Catalog=hms-catalog-1,Database=hms_tpch_partitioned" --result-configuration "OutputLocation=s3://amzn-s3-demo-bucket/lambda/results"