AWS Glue での Python シェルジョブに関するジョブプロパティの設定

Python の .egg ファイルまたは .whl ファイルを作成するには

1. Virtual Private Cloud (VPC) で Amazon Redshift クラスターを作成し、テーブルにデータを追加します。

2. クラスターを作成した VPC と SecurityGroup とサブネットを組み合わせて AWS Glue 接続を作成します。接続に成功するかどうかをテストします。

3. redshift_example という名前のディレクトリを作成して、setup.py という名前のファイルを作成します。次のコードを setup.py に貼り付けます。

   from setuptools import setup
   
   setup(
       name="redshift_module",
       version="0.1",
       packages=['redshift_module']
   ) 
   

4. redshift_example ディレクトリに redshift_module ディレクトリを作成します。redshift_module ディレクトリに、ファイル __init__.py と pygresql_redshift_common.py を作成します。

5. __init__.py ファイルは空のままにします。pygresql_redshift_common.py 内に次のコードを貼り付けます。port、db_name、user、および password_for_user を、Amazon Redshift クラスター固有の詳細に置き換えます。table_name を Amazon Redshift のテーブルの名前と置き換えます。

   import pg
   
   
   def get_connection(host):
       rs_conn_string = "host=%s port=%s dbname=%s user=%s password=%s" % (
           host, port, db_name, user, password_for_user)
   
       rs_conn = pg.connect(dbname=rs_conn_string)
       rs_conn.query("set statement_timeout = 1200000")
       return rs_conn
   
   
   def query(con):
       statement = "Select * from table_name;"
       res = con.query(statement)
       return res
       
   

6. redshift_example ディレクトリに変更します (現在のディレクトリではない場合)。

7. 次のいずれかを行います。

   • .egg ファイルを作成するには、次のコマンドを実行します。

     python setup.py bdist_egg

   • .whl ファイルを作成するには、次のコマンドを実行します。

     python setup.py bdist_wheel

8. 前述のコマンドに必要な依存関係をインストールします。

9. このコマンドでは、dist ディレクトリにファイルを作成します。

   • egg ファイルを作成した場合は、redshift_module-0.1-py2.7.egg という名前になります。

   • wheel ファイルを作成した場合は、redshift_module-0.1-py2.7-none-any.whl という名前になります。

   このファイルを Amazon S3 にアップロードします。

   この例では、アップロードするファイルパスは s3://DOC-EXAMPLE-BUCKET/EGG-FILE または s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE に配置します。

10. AWS Glue ジョブのスクリプトとして使用する Python ファイルを作成し、このファイルに次のコードを追加します。

    from redshift_module import pygresql_redshift_common as rs_common
    
    con1 = rs_common.get_connection(redshift_endpoint)
    res = rs_common.query(con1)
    
    print "Rows in the table cities are: "
    
    print res
          
    

11. 前述のファイルを Amazon S3 にアップロードします。この例では、アップロードするファイルパスは s3://DOC-EXAMPLE-BUCKET/scriptname.py に配置します。

12. このスクリプトを使用して、Python シェルジョブを作成します。AWS Glue コンソールの [Job properties] (ジョブプロパティ) ページの [Python library path] (Python ライブラリパス) ボックスで .egg/.whl ファイルへのパスを指定します。複数の .egg/.whl ファイルおよび Python ファイルがある場合は、このボックスにカンマ区切りリストとして指定します。

    .egg ファイルを変更または名前変更する場合、ファイル名は「python setup.py bdist_egg」コマンドによって生成されたデフォルト名を使用するか、Python モジュールの命名規則に従う必要があります。詳細については、「Style Guide for Python Code」を参照してください。

    次の例のように、AWS CLI でコマンドを使用してジョブを作成します。

    aws glue create-job --name python-redshift-test-cli --role Role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}' 
         --connections Connections="connection-name" --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'
    

    ジョブが実行されると、スクリプトは、Amazon Redshift クラスターの [table_name] テーブルに作成された行をプリントします。