開発エンドポイント

開発エンドポイントは、AWS Glue スクリプトの作成およびテストに使用できる環境です。AWS Glue を使用して、開発エンドポイントを作成、編集、削除できます。作成されたすべての開発エンドポイントを一覧表示できます。開発エンドポイントの SSH キーを追加、削除、または変更できます。開発エンドポイントで使用するノートブックを作成することもできます。

開発環境をプロビジョニングするための設定値を提供します。これらの値は、開発エンドポイントに安全にアクセスし、エンドポイントからデータストアにアクセスできるようにネットワークを設定する方法を AWS Glue に指定します。次に、開発エンドポイントに接続するノートブックを作成できます。ノートブックを使用して ETL スクリプトを作成し、テストします。

AWS Glue の ETL ジョブの実行に使用する IAM ロールと同様のアクセス許可を持つ AWS Identity and Access Management (IAM) ロールを使用します。Virtual Private Cloud (VPC)、サブネット、セキュリティグループを使用して、データリソースに安全に接続できる開発エンドポイントを作成します。SSH を使用して開発環境に接続するための SSH キーペアを生成します。

JDBC を通じてデータセットにアクセスするために使用できる VPC 内で、Amazon S3 のデータ用の開発エンドポイントを作成できます。

ローカルマシンに Jupyter Notebook クライアントをインストールし、これを使用して開発エンドポイントで ETL スクリプトをデバッグおよびテストできます。または Sagemaker ノートブックを使用して、AWS 上の JupyterLab で ETL スクリプトを記述できます。「開発エンドポイントで Amazon SageMaker ノートブックを使用する」を参照してください。

AWS Glue は、aws-glue-dev-endpoint をプレフィックスとする名前を Amazon EC2 インスタンスにタグ付けします。

開発エンドポイントにノートブックサーバーをセットアップして、AWS Glue 拡張機能で PySpark を実行できます。