チュートリアル: Elasticsearch 向けの AWS Glue コネクタを使用する

AWS Secrets Manager コンソール にサインインします。

サービスの概要ページまたは [シークレット] リストページで、[新しいシークレットの保存] を選択します｡

[新しいシークレットの保存] ページで、[他の種類のシークレット] を選択します。このオプションの意味は、シークレットの構造と詳細を指定する必要があるということです。

の追加キーおよび値のペアを OpenSearch クラスターユーザー名として使用します。例:

es.net.http.auth.user: username

[+ 行を追加] を選択して、パスワードとして別のキーと値のペアを入力します。例:

es.net.http.auth.pass: password

[Next] を選択します。

シークレット名を入力します 例えば、my-es-secret です。オプションで説明を含めることができます。

このチュートリアルの後半で使用するシークレット名を記録し、[Next] (次へ) を選択します。

[Next] (次へ) をもう一度選択して、[Store]　(保存) を選択してシークレットを作成します。

まだ　License Manager を使用するための AWS アカウント設定をしていない場合、次の操作を行います。

1. AWS License Manager コンソール、https://console.aws.amazon.com/license-manager を開きます 。

2. Create customer managed license (カスタマー管理ライセンスの作成) を選択します。

3. [IAM permissions (one-time setup)] 画面で [I grant AWS License Manager the required permissions] を選択し、次に [Grant permissions] を選択します。

   このウィンドウが表示されない場合は、必要なアクセス許可がすでに設定されています。

https://console.aws.amazon.com/gluestudio/ で AWS Glue Studio コンソールを開きます。

AWS Glue Studio コンソールのナビゲーションペインで、メニューアイコン ( ) を展開して、[Connectors (コネクタ) を選択します。

[Connectors] (コネクタ) ページで、[Go to AWS Marketplace] をクリックします。

AWS Marketplace の [AWS Glue Studio の製品を検索] セクションで、検索フィールドに「Elasticsearch 向けの AWS Glue コネクタ」と入力し、Enter キーを押します。

[Elasticsearch 向けの AWS Glue コネクタ] というコネクタの名前を選択します。

コネクタの製品ページで、そのコネクタに関するタブを開いて情報を表示します。続行する準備が整ったら、[Continue to Subscribe] (スクライブを続行する) を選択します。

ソフトウェアの利用規約を確認します。[Accept Terms] (規約に同意する) をクリックします。

サブスクリプションプロセスが完了すると、「Thank you for subscribing to this product! You can now configure your software.」(製品にサブスクライブしていただきありがとうございます。ソフトウェアの設定が可能になりました。) という通知が表示されます。バナーの上に [Continue to Configuration] (設定に進む) ボタンがあります。[Continue to Configuration (設定に進む)] を選択します。

[Configure this software] (このソフトウェアを設定) ページで、フルフィルメントオプションを選択します。AWS Glue 1.0/2.0 または AWS Glue 3.0 を選択できます。[Continue to Launch] (続行して起動する) を選択します。

AWS Marketplace コンソールの [Launch this software] (ソフトウェアの起動) ページで、Usage Instructions (使用方法) を選択し、表示されるウィンドウでリンクを選択します。

ブラウザ は AWS Glue Studio コンソールの 「Create marketplace connection] ページにリダイレクトされます。

接続の名前を入力します。例えば、my-es-connection です。

[Connection access] (接続アクセス) セクションの [Connection credential type] (接続の認証情報タイプ) で、[User name and password] (ユーザー名とパスワード) を選択します。　　　

[AWS シークレット] で、シークレット名を入力します。例えば、my-es-secret です。

[Network options] (ネットワークオプション) セクションで、VPC 情報を入力して OpenSearch クラスターに接続します。

[Create connection and activate connector] (接続の作成とコネクタのアクティブ化) を選択します。

ETL ジョブに必要なIAMアクセス許可を確認する で説明しているように、アクセス許可を設定します。

AWS Glue Studio で説明しているように、コネクタの使用に必要なアクセス許可 でコネクタを使用するときに必要な追加のアクセス許可を設定します。

AWS Glue Studio で コネクタ を選択します。

[Your connections] (接続) リストで、作成した接続を選択し、[Create job] を選択します。

ビジュアルジョブエディタで、[Data source node] (データソースノード) を選択します。右側の[Data source properties - Connector] (データソースのプロパティ- コネクタ) タブで、コネクタの追加情報を設定します。

1. [Add schema] (スキーマの追加) を選択し、データソースにデータセットのスキーマを入力します。接続には、データカタログに格納されたテーブルは使用されません。つまり、AWS Glue Studio はデータのスキーマを認識しません。このスキーマ情報は手動で指定する必要があります。スキーマエディタの使用方法については、「カスタム変換ノードでスキーマを編集する」を参照してください。

2. Connection options (接続オプション) を展開します。

3. [Add new option] (新しいオプションの追加) を選択し、AWS シークレットに入力されなかったコネクタに必要な情報を入力します。

   • es.nodes: https://<OpenSearch ドメインエンドポイント>

   • es.port: 443

   • path: test

   • es.nodes.wan.only.: true

   これらの接続オプションの詳細については、「https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html」を参照してください。

グラフにターゲットノードを追加します。

データターゲットは Amazon S3 にすることも、AWS Glue Data Catalog またはコネクタからの情報を使用して別の場所にデータを書き込むこともできます。例えば、データカタログテーブルを使用して Amazon RDS のデータベースに書き込むことも、コネクタをデータターゲットとして使用して、AWS Glue でネイティブにサポートされていないデータストアに書き込むこともできます。

データターゲットのコネクタを選択する場合は、そのコネクタ用に作成された接続を選択する必要があります。また、コネクタプロバイダで必要な場合は、コネクタに追加情報を提供するオプションを追加する必要があります。AWS シークレットの情報を含む接続を使用する場合は、接続オプションでユーザー名とパスワード認証を指定する必要はありません。

オプションで、AWS Glue マネージド変換によるデータの変換 の説明の通り、追加のデータソースと 1 つ以上の変換ノードを追加します。

ステップ 3 から ジョブのプロパティを変更する の説明の通りジョブプロパティを設定し、ジョブを保存します。

AWS Glue Studio コンソールを使用して、ビジュアルエディタページで [Run](実行) を選択します。

成功バナーで、[Run Details] (実行の詳細) を選択するか、[Runs] (実行) タブをクリックして、ジョブの実行に関する情報を表示します。