스키마 업데이트 처리

이 단원에서는 다양한 데이터 형식의 스키마 업데이트를 처리하는 방법을 안내합니다. Athena는 스키마-온-리드(schema-on-read) 쿼리 엔진입니다. 즉, Athena에 테이블을 만들면 데이터를 읽을 때 스키마를 적용합니다. 기본 데이터를 변경하거나 다시 작성하지 않습니다.

테이블 스키마 변경이 예측되는 경우, 필요에 적합한 데이터 형식으로 만들어 보세요. 변화하는 스키마에 대해 기존 Athena 쿼리를 다시 사용하고, 파티션이 있는 테이블을 쿼리할 때 스키마 불일치 오류를 방지하는 것이 목표입니다.

이러한 목표를 달성하려면 다음 주제의 테이블을 토대로 테이블의 데이터 형식을 선택합니다.

데이터 형식별 지원되는 스키마 업데이트 작업

다음 표에서는 데이터 스토리지 형식과 지원되는 스키마 조작을 요약합니다. 이 표를 사용하면 시간이 지남에 따라 스키마가 변경되더라도 Athena 쿼리를 계속 사용할 수 있는 형식을 선택하는 데 도움이 됩니다.

이 표에서 Parquet과 ORC가 다른 기본 열 액세스 방법이 서로 다른 열 기반 형식임을 알 수 있습니다. 기본적으로 Parquet은 이름으로 열에 액세스하고 ORC는 인덱스(서수 값)로 액세스합니다. 따라서 Athena는 테이블을 생성할 때 기본 열 액세스 방법을 전환하여 스키마 변화를 통해 유연성을 강화할 수 있도록 정의된 SerDe 속성을 제공합니다.

Parquet의 경우 parquet.column.index.access 속성을 true로 설정하여 열의 서수 번호를 사용하도록 열 액세스 방법을 설정할 수 있습니다. 이 속성을 false로 설정하면 열 이름을 사용하도록 열 액세스 방법이 변경됩니다. 마찬가지로 ORC의 경우 orc.column.index.access 속성을 사용하여 열 액세스 방법을 제어합니다. 자세한 내용은 Apache ORC 및 Apache Parquet의 인덱스 액세스에 대한 이해 단원을 참조하십시오.

CSV 및 TSV를 사용하면 열 순서 변경, 테이블 시작 부분에 열 추가를 제외한 모든 스키마 조작을 수행할 수 있습니다. 예를 들어 스키마 혁신을 위해 열을 제거하지 않고 열 이름만 바꾸면 되는 경우 CSV 또는 TSV로 테이블을 생성할 수 있습니다. 열을 제거해야 하는 경우 CSV 또는 TSV를 사용하지 않고 다른 지원되는 형식 중 Parquet, ORC 등과 같은 열 기반 형식을 사용하는 것이 좋습니다.

Apache ORC 및 Apache Parquet의 인덱스 액세스에 대한 이해

PARQUET 및 ORC는 인덱스 또는 이름으로 읽을 수 있는 열 기반 데이터 스토리지 형식입니다. 데이터를 이러한 형식으로 저장하면 스키마에 대한 모든 작업을 수행하고 스키마 불일치 오류 없이 Athena 쿼리를 실행할 수 있습니다.

이는 기본값이므로 CREATE TABLE 쿼리에서 SerDe 속성을 지정하는 것은 선택 사항이며 묵시적으로 사용됩니다. 이 방법을 사용할 경우 스키마 업데이트 작업 중 일부만 실행하고 나머지는 금지할 수 있습니다. 이러한 작업을 사용하려면 다른 CREATE TABLE 쿼리를 실행하고 SerDe 설정을 변경하세요.

다음 섹션에서는 이러한 경우에 대해 상세히 설명합니다.

ORC: 인덱스로 읽기

기본적으로 ORC의 테이블은 인덱스로 읽습니다. 이는 다음 구문으로 정의됩니다.

WITH SERDEPROPERTIES ( 
  'orc.column.index.access'='true')

인덱스로 읽기를 사용하면 열 이름을 변경할 수 있습니다. 하지만 테이블 중간에서 열을 제거하거나 추가할 수는 없습니다.

테이블 중간에 열을 추가하거나 ORC에서 열을 제거할 수 있도록 ORC에서 이름으로 읽도록 지정하려면 CREATE TABLE 명령문에서 SerDe 속성 orc.column.index.access를 false로 설정합니다. 이 구성에서는 열의 이름을 바꿀 수 없습니다.

다음 예제에서는 이름으로 읽도록 ORC를 변경하는 방법을 보여 줍니다.

CREATE EXTERNAL TABLE orders_orc_read_by_name (
   `o_comment` string,
   `o_orderkey` int, 
   `o_custkey` int, 
   `o_orderpriority` string, 
   `o_orderstatus` string, 
   `o_clerk` string, 
   `o_shippriority` int, 
   `o_orderdate` string
) 
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
WITH SERDEPROPERTIES ( 
  'orc.column.index.access'='false') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION 's3://amzn-s3-demo-bucket/orders_orc/';

Parquet: 이름으로 읽기

기본적으로 Parquet의 테이블은 이름으로 읽습니다. 이는 다음 구문으로 정의됩니다.

WITH SERDEPROPERTIES ( 
  'parquet.column.index.access'='false')

이름으로 읽기를 사용하면 테이블 중간에 열을 추가하고 열을 제거할 수 있습니다. 하지만 열의 이름을 바꿀 수는 없습니다.

열의 이름을 바꿀 수 있도록 Parquet에서 인덱스로 읽도록 지정하려면 parquet.column.index.access SerDe 속성을 true로 설정하여 테이블을 만들어야 합니다.