AWS Glue Studio によって、ビジュアルジョブをパラメータ化できます。本番環境と開発環境ではカタログテーブル名が異なる場合があるため、ジョブの実行時に実行されるデータベースとテーブルのランタイムパラメータを定義して選択できます。
ジョブのパラメータ化により、ソースとターゲットをパラメータ化して、AWS Glue データカタログノードを使用する際にそれらのパラメータをジョブに保存できます。ソースとターゲットをパラメータとして指定すると、特に同じジョブを複数の環境で使用する場合に、ジョブの再利用が可能になります。ソースとターゲットを管理する時間と労力を節約して、デプロイメント環境全体でコードをプロモートする際に役立ちます。さらに、指定したカスタムパラメータは、特定の実行のデフォルト引数をオーバーライドします。AWS Glue仕事。
ソースパラメータとターゲットパラメータを追加するには
AWS Glue データカタログノードをソースまたはターゲットとして使用しているかどうかにかかわらず、[Job details] (ジョブの詳細) タブの [Advanced properties] (詳細プロパティ) セクションでランタイムパラメータを定義できます。
-
ソースノードまたはターゲットノードとして AWS Glue データカタログノードを選択します。
-
[Job details] (ジョブの詳細) タブを選択します。
-
[Advanced properties] (詳細プロパティ) を選択します。
-
[Job parameters] (ジョブパラメータ) セクションで、キー値を入力します。例えば、
--db.source
はデータベースソースのパラメータになります。キー名の後に '-' (ダッシュ) が続いている限り、任意の名前をキーに入力できます。 -
値を入力します。例えば、
databasename
はパラメータ化されるデータベースの値になります。 -
さらにパラメータを追加する場合は、[Add new parameter] (新しいパラメータを追加) を選択します。最大 50 個のパラメータを使用できます。キーと値のペアを定義したら、AWS Glue データカタログノードでパラメータを使用できます。
ランタイムパラメータを選択するには
注記
データベースとテーブルのランタイムパラメータを選択するプロセスは、AWS Glue データカタログノードがソースであっても、ターゲットであっても同じです。
-
ソースノードまたはターゲットノードとして AWS Glue データカタログノードを選択します。
-
[Data source properties - Data Catalog] (データソースのプロパティ - データカタログ) タブの [Database] (データベース) で、[Use runtime parameters] (ランタイムパラメータを使用) を選択します。
-
ドロップダウンメニューからパラメータを選択します。例えば、ソースデータベースに定義したパラメータを選択し、[Apply] (適用) を選択すると、データベースのドロップダウンメニューにデータベースが自動的に入力されます。
-
[Table] (テーブル) セクション で、ソーステーブルとして定義済みのパラメータを選択します。[Apply] (適用) を選択した場合は、使用するテーブルとしてテーブルが自動的に入力されます。
-
ジョブを保存して実行すると、AWS Glue Studio はジョブの実行中に選択されたパラメータを参照します。