CREATE EXTERNAL TABLE

作成され、外部スキーマ名で修飾されるテーブルの名前。外部テーブルは、外部スキーマで作成されている必要があります。詳細については、「CREATE EXTERNAL SCHEMA」を参照してください。

テーブル名の最大長は 127 バイトです。それより長い名前は 127 バイトまで切り詰められます。最大 4 バイトまで UTF-8 マルチバイト文字を使用できます。Amazon Redshift では、ユーザー定義の一時テーブルと、クエリ処理またはシステムメンテナンス中に Amazon Redshift によって作成された一時テーブルを含め、クラスターごとに 9,900 テーブルの制限を適用します。必要に応じて、データベース名でテーブル名を修飾することができます。次の例では、データベース名は spectrum_db、外部スキーマ名は spectrum_schema、テーブル名は test です。

create external table spectrum_db.spectrum_schema.test (c1 int)
stored as parquet
location 's3://amzn-s3-demo-bucket/myfolder/';

指定のデータベースまたはスキーマが存在せず、テーブルが作成されていない場合、このステートメントはエラーを返します。システムデータベース template0、template1、padb_harvest、または sys:internal にテーブルまたはビューを作成することはできません。

テーブル名は、指定のスキーマで一意の名前にする必要があります。

有効な名前の詳細については、「名前と識別子」を参照してください。

作成される各列の名前とデータタイプ。

列名の最大長は 127 バイトです。それより長い名前は 127 バイトまで切り詰められます。最大 4 バイトまで UTF-8 マルチバイト文字を使用できます。列名 "$path" または "$size" は指定できません。有効な名前の詳細については、「名前と識別子」を参照してください。

デフォルトでは、Amazon Redshift は疑似列 ($path および $size) を使用して外部テーブルを作成します。セッションの疑似列の作成を無効にするには、spectrum_enable_pseudo_columns設定パラメータを false に設定します。詳細については、「疑似列 」を参照してください。

擬似列が有効な場合、1 つのテーブルで定義できる列の最大数は 1,598 です。擬似列が有効でない場合、1 つのテーブルで定義できる列の最大数は 1,600 です。

「横長のテーブル」を作成する場合は、ロードとクエリ処理の結果が即時に表示されるように、列リストが行幅の限度を超えないことを確認します。詳細については、「使用に関する注意事項」を参照してください。

CREATE EXTERNAL TABLE AS コマンドの場合、列はクエリから取得されるため、列リストは必要ありません。

次の データ型 がサポートされています。

DATE では、以下に示す形式を使用できます。数字を使用して表される月の値では、次の形式がサポートされています。

3 文字の略語を使用して表される月の値では、次の形式がサポートされています。

年の値が一貫して 100 未満の場合、年は次の方法で計算されます。

テキストファイルのタイムスタンプ値は、yyyy-mm-dd HH:mm:ss.SSSSSS形式であることが必要です。次のタイムスタンプ値は、2017-05-01 11:30:59.000000となっています。

VARCHAR 列の長さは、文字単位ではなくバイト単位で定義されます。例えば、VARCHAR(12) 列には、シングルバイト文字なら 12 個、2 バイト文字なら 6 個含めることができます。外部テーブルのクエリを実行すると、エラーが返されずに、定義された列サイズに合うように結果が切り捨てられます。詳細については、「ストレージと範囲」を参照してください。

最高のパフォーマンスを得るために、データに合う最小の列サイズを指定することをお勧めします。列の値の最大サイズ (バイト単位) を調べるには、OCTET_LENGTH 関数を使用します。次の例では、E メール列の値の最大サイズを返します。

select max(octet_length(email)) from users;

max
---
 62

1 つ以上のパーティション列でパーティション化されたテーブルを定義する句。指定の組み合わせごとに独立したデータディレクトリが使用されます。これにより、一部の状況でクエリパフォーマンスが向上します。パーティション化された列はテーブルデータ内には存在しません。テーブル列と同じ col_name の値を使用すると、エラーになります。

パーティションテーブルを作成した後、ALTER TABLE… ADD PARTITION ステートメントを使用してテーブルを変更し、新しいパーティションを外部カタログに登録します。パーティションを追加する際は、パーティションデータを含む で Amazon S3 サブフォルダの位置を定義します。

たとえば、テーブル spectrum.lineitem_part が PARTITIONED BY (l_shipdate date) で定義されている場合は、以下の ALTER TABLE コマンドを実行してパーティションを追加します。

ALTER TABLE spectrum.lineitem_part ADD PARTITION (l_shipdate='1992-01-29')
LOCATION 's3://spectrum-public/lineitem_partition/l_shipdate=1992-01-29';

CREATE EXTERNAL TABLE AS を使用する場合、ALTER TABLE...ADD PARTITION を実行する必要はありません。Amazon Redshift は、新しいパーティションを外部カタログに自動的に登録します。また、Amazon Redshift は、テーブルに定義された 1 つまたは複数のパーティションキーに基づいて、対応するデータを Amazon S3 のパーティションに自動的に書き込みます。

パーティションを表示するには、SVV_EXTERNAL_PARTITIONSシステムビューにクエリを実行します。

仮想データの型式を指定する句。以下に、rowformat で想定される値を示します。

'区切り記号'に 1 つの ASCII 文字を指定します｡ 印刷不能な ASCII 文字は、'\ddd'の形式 (d は、0～7 で表され最大 '\177' までを取る 8 進数) を使用して指定できます。次の例では、BEL (ベル) 文字を 8 進数で指定しています。

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\007'

ROW FORMAT を省略した場合のデフォルト形式は DELIMITED FIELDS TERMINATED BY '\A' (ヘッダーの開始) と LINES TERMINATED BY '\n' (改行) です。

基盤となるデータの SERDE 形式を指定する句。

ROW FORMAT を省略した場合のデフォルト形式は DELIMITED FIELDS TERMINATED BY '\A' (ヘッダーの開始) と LINES TERMINATED BY '\n' (改行) です。

外部データファイルのファイル形式。

有効な形式は次のとおりです。

CREATE EXTERNAL TABLE AS コマンドは、TEXTFILE と PARQUET の 2 つのファイル形式のみをサポートしています。

INPUTFORMAT と OUTPUTFORMAT では、以下の例に示すように、クラス名を指定します。

'org.apache.hadoop.mapred.TextInputFormat'

データファイルを含む Amazon S3 バケットかフォルダ、または Amazon S3 オブジェクトパスのリストを含むマニフェストファイルへのパス。バケットは、Amazon Redshift クラスターと同じ AWS リージョン内に置かれている必要があります。サポートされている AWS リージョンの一覧は、「Amazon Redshift Spectrum の制限事項」でご確認ください。

パスがバケットかフォルダを指定している場合 ('s3://amzn-s3-demo-bucket/custdata/' など)、Redshift Spectrum は指定されたバケットかフォルダ、およびサブフォルダのファイルをスキャンします。Redshift Spectrum は、隠しファイルと、ファイル名がピリオドやアンダースコアで始まるファイルを無視します。

パスがマニフェストファイルを指定している場合、's3://bucket/manifest_file'引数は 1 つのファイル (たとえば 's3://amzn-s3-demo-bucket/manifest.txt' など) を明示的に参照する必要があります。キープレフィックスを参照することはできません。

マニフェストは、JSON 形式のテキストファイルであり、Amazon S3 からロードする各ファイルの URL とファイルサイズ (バイト単位) を示します。URL にはバケット名およびファイルの完全オブジェクトパスが含まれます。マニフェストで指定するファイルの場所は異なるバケットでもかまいませんが、すべてのバケットは Amazon Redshift クラスターと同じ AWS リージョンに置かれている必要があります。ファイルが 2 回リストされている場合、ファイルは 2 回ロードされます。次の例は、3 つのファイルをロードするマニフェストの JSON を示しています。

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1", "meta": { "content_length": 5956875 } },
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2", "meta": { "content_length": 5997091 } },
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1", "meta": { "content_length": 5978675 } }
  ]
}

特定のファイルを含めることを必須にすることができます。これを行うには、マニフェストのファイルレベルで mandatory オプションを含めます。欠落している必須ファイルを使用して外部テーブルをクエリすると、SELECT ステートメントは失敗します。外部テーブルの定義に含まれるすべてのファイルが存在することを確認します。これらがすべて存在しない場合は、最初の必須ファイルが見つかりませんというエラーが表示されます。次の例では、mandatoryオプションを true に設定したマニフェストの JSON を説明します。

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1", "mandatory":true, "meta": { "content_length": 5956875 } },
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2", "mandatory":false, "meta": { "content_length": 5997091 } },
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1", "meta": { "content_length": 5978675 } }
  ]
}

UNLOAD を使用して作成したファイルを参照する場合は、UNLOADで MANIFEST パラメータを使用して作成したマニフェストを使用できます。マニフェストファイルは、「Amazon S3 からの COPY」でのマニフェストファイルと互換性がありますが、使用するキーが異なります。使用しないキーは無視されます。

テーブルプロパティのテーブル定義を設定する句。