在 中設定 Python shell 任務的任務屬性 AWS Glue

建立 Python .egg 或 .whl 檔案

1. 在 Virtual Private Cloud (VPC) 建立 Amazon Redshift 叢集並將一些資料新增到資料表。

2. 為您在建立叢集時所用的 VPC-SecurityGroup-Subnet 組合建立 AWS Glue 連線。​ 測試連線是否成功。

3. 建立名為 redshift_example 的目錄，並建立名為 setup.py 的檔案。​ 將以下程式碼貼入 setup.py。

   from setuptools import setup
   
   setup(
       name="redshift_module",
       version="0.1",
       packages=['redshift_module']
   ) 
   

4. 在 redshift_example 目錄中，建立 redshift_module 目錄。​在 redshift_module​ 目錄中，建立檔案 __init__.py 和 pygresql_redshift_common.py。

5. 將 __init__.py 檔案留空。在 pygresql_redshift_common.py 中貼上以下程式碼。在先前的程式碼中，將 port、db_name、user​ 和 password_for_user 取代為 Amazon Redshift 叢集的特定詳細資訊。將 table-name 取代為 Amazon Redshift 中的資料表名稱。

   import pg
   
   
   def get_connection(host):
       rs_conn_string = "host=%s port=%s dbname=%s user=%s password=%s" % (
           host, port, db_name, user, password_for_user)
   
       rs_conn = pg.connect(dbname=rs_conn_string)
       rs_conn.query("set statement_timeout = 1200000")
       return rs_conn
   
   
   def query(con):
       statement = "Select * from table_name;"
       res = con.query(statement)
       return res
       
   

6. 如果您尚未這麼做，請變更至 redshift_example 目錄。​

7. 執行以下任意一項：

   • 執行下列命令以建立 .egg 檔案。

     python setup.py bdist_egg

   • 執行下列命令以建立 .whl 檔案。

     python setup.py bdist_wheel

8. 安裝上述命令所需的相依項目。

9. 該命令會在 dist 目錄中建立檔案。

   • 如果您建立了 egg 檔案，會命名為 redshift_module-0.1-py2.7.egg。

   • 如果您建立了 wheel 檔案，會命名為 redshift_module-0.1-py2.7-none-any.whl。

   將此檔案上傳到 Amazon S3。

   在此範例中，上傳的檔案路徑為 s3://DOC-EXAMPLE-BUCKET/EGG-FILE 或 s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE。

10. 建立要用來做為 AWS Glue 任務之指令碼的​ Python 檔案，並將以下程式碼新增到該檔案。

    from redshift_module import pygresql_redshift_common as rs_common
    
    con1 = rs_common.get_connection(redshift_endpoint)
    res = rs_common.query(con1)
    
    print "Rows in the table cities are: "
    
    print res
          
    

11. 將上述檔案上傳到 Amazon S3。在此範例中，上傳的檔案路徑為 s3://DOC-EXAMPLE-BUCKET/scriptname.py。

12. 使用此指令碼建立 Python shell 任務。在 AWS Glue 主控台的 Job properties (任務屬性) 頁面上，在 Python library path (Python 程式庫路徑) 方塊中指定 .egg/.whl 檔案的路徑。如果您有多個 .egg/.whl 檔案和​ Python 檔案，請在此方塊中提供以逗號分隔的清單。

    修改或重新命名 .egg 檔案時，檔案名稱必須使用由「python setup.py bdist_egg」指令產生的預設名稱，或必須承繼 Python 模組命名慣例。如需詳細資訊，請參閱 Python 程式碼樣式指南。

    使用 AWS CLI，使用 命令建立任務，如下列範例所示。

    aws glue create-job --name python-redshift-test-cli --role Role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}' 
         --connections Connections="connection-name" --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'
    

    當任務執行時，指令碼會列印在 Amazon Redshift 叢集 table_name 資料表中建立的列。