Amazon S3 からの継続的なファイル取り込みによるテーブルのロード (プレビュー)
| これは、プレビューで使用できる自動コピー (SQL COPY JOB) に関する、プレリリースドキュメントです。 ドキュメントと機能はどちらも変更されることがあります。この機能については、テスト環境のみで使用し、本番環境では使用しないことをお勧めします。パブリックプレビューは 2024 年 10 月 31 日に終了します。プレビュークラスターは、プレビュー終了 2 週間後に自動的に削除されます。ベータ版の利用規約については、「AWS のサービス条件 |
注記
Amazon Redshift クラスターを [Preview] (プレビュー) で作成して、Amazon Redshift の新機能をテストできます。これらの機能を本番稼働で使用したり、[プレビュー] クラスターを本稼働クラスターや別のトラックのクラスターに移動したりすることはできません。プレビューの利用規約については、「AWS のサービス条件
[Preview] (プレビュー) でクラスターを作成するには
AWS Management Console にサインインして、https://console.aws.amazon.com/redshiftv2/
で Amazon Redshift コンソールを開きます。 ナビゲーションメニューで [Provisioned clusters dashboard] (プロビジョニングされたクラスターダッシュボード) を選択し、[Clusters] (クラスター) を選択します。現在の AWS リージョン にあるアカウントのクラスターがリストされています。各クラスターのプロパティのサブセットが、リストの列に表示されます。
[Clusters] (クラスター) リストページに、プレビューを紹介するバナーが表示されます。[Create preview cluster] (プレビュークラスターの作成) ボタンを選択して、クラスターの作成ページを開きます。
クラスターのプロパティを入力します。テストしたい機能を含む [プレビュートラック] を選択します。プレビュートラックにあることを示すクラスターの名前を入力することをお勧めします。テストする機能について、-preview というラベルの付いたオプションを含む、クラスターのオプションを選択します。クラスター作成の詳細については、「Amazon Redshift 管理ガイド」の「クラスターの作成」を参照してください。
[クラスターを作成] を選択して、プレビューのクラスターを作成します。
プレビュークラスターが使用可能になったら、SQL クライアントを使用してデータをロードし、クエリを実行します。
クラスターは preview_2023 という名前のプレビュートラックで作成する必要があります。テストには新しいクラスターを使用してください。このトラックへのクラスターの復元はサポートされていません。自動コピー機能は Amazon Redshift Serverless ワークグループでは使用できません。
このプレビューは以下の AWS リージョン で使用できます。
-
米国東部 (オハイオ) リージョン (us-east-2)
-
米国東部 (バージニア北部) リージョン (us-east-1)
-
米国西部 (オレゴン) リージョン (us-west-2)
-
アジアパシフィック (東京) リージョン (ap-northeast-1)
-
欧州 (ストックホルム) リージョン (eu-north-1)
-
欧州 (アイルランド) リージョン (eu-west-1)
COPY JOB を使用して、Amazon S3 に保存されているファイルから Amazon Redshift テーブルにデータをロードすることができます。Amazon Redshift は、COPY コマンドで指定したパスに新しい Amazon S3 ファイルが追加されると、これを検出します。これに伴い、外部データインジェストパイプラインを作成しなくても、COPY コマンドが自動的に実行されます。Amazon Redshift は、ロードされたファイルを追跡します。Amazon Redshift は、COPY コマンドごとにまとめてバッチ処理されるファイルの数を決定します。結果の COPY コマンドはシステムビューで表示できます。
COPY JOB は 1 回定義します。今後の実行でも同じパラメータが使用されます。
CREATE、LIST、SHOW、DROP、ALTER、RUN の各ジョブのオプションを使用して、ロード操作を管理します。詳細については、「COPY JOB (プレビュー)」を参照してください。
システムビューにクエリを実行して、COPY JOB のステータスと進行状況を確認できます。ビューは次のように表示されます。
SYS_COPY_JOB (プレビュー) — 現在定義されている各 COPY JOB の行が含まれます。
STL_LOAD_ERRORS — COPY コマンドのエラーが含まれます。
STL_LOAD_COMMITS — COPY コマンドのデータロードのトラブルシューティングに使用される情報が含まれます。
SYS_LOAD_HISTORY — COPY コマンドの詳細が含まれます。
SYS_LOAD_ERROR_DETAIL — COPY コマンドエラーの詳細が含まれます。
COPY JOB によってロードされたファイルのリストを取得するには、以下の例を <job_id> に置き換えて実行します。
SELECT job_id, job_name, data_source, copy_query,filename,status, curtime FROM sys_copy_job copyjob JOIN stl_load_commits loadcommit ON copyjob.job_id = loadcommit.copy_job_id WHERE job_id =<job_id>;
