ステップ 2: データソースと分類子を選択する

に適切なオプションを選択します。データは既にマッピングされていますか。AWS Glue テーブル？ 「まだ」または「はい」を選択します。デフォルトでは、「未実施」が選択されています。

クローラーは、クロールのソースとして直接データストアにアクセスでき、また既存のデータカタログのテーブルをソースとして使用することもできます。クローラーが既存のカタログテーブルを使用する場合、それらのカタログのテーブルで指定されたデータストアをクロールします。

Delta テーブルを使用するには、まず Athena DDLまたは を使用して Delta テーブルを作成します AWS Glue API。

Athena を使用して、場所を Amazon S3 フォルダに設定し、テーブルタイプを 'DELTA' に設定します。

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

を使用して AWS Glue API、テーブルパラメータマップ内でテーブルタイプを指定します。テーブルパラメータには、次のキーおよび値のペアを含める必要があります。テーブルを作成する方法の詳細については、「create_table の Boto3 ドキュメント」を参照してください。

{
    "table_type":"delta"
}

クローラーでスキャンするデータソースのリストを選択または追加します。

（オプション) データソースJDBCとして を選択した場合は、JDBCドライバー情報が保存されている接続アクセスを指定するときに、独自のドライバーを使用できます。

クロールで何を含め、何を除外するかを評価する際、クローラーは必要なインクルードパスを評価することから始めます。Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB (MongoDB 互換)、リレーショナルデータストアの場合は、インクルードパスを指定する必要があります。

JDBC データストアの場合、構文は database-name/schema-name/table-name または ですdatabase-name/table-name。構文は、データベースエンジンでデータベース内のスキーマがサポートされているかどうかに依存します。例えば、MySQL や Oracle などのデータベースエンジンの場合、インクルードパスschema-nameに を指定しないでください。インクルードパスでスキーマやテーブルの代わりにパーセント記号 (%) を使用することで、データベース内のすべてのスキーマやテーブルを表すことができます。インクルードパスでデータベースの代わりにパーセント記号 (%) を使用することはできません。

クローラーが Amazon S3 パス内の Iceberg または Hudi メタデータフォルダを検出するために通過できる Amazon S3 パスの最大深度を定義します。このパラメータの目的は、クローラーの実行時間を制限することです。デフォルト値は 10 で、最大値は 20 です。

この機能を利用すると、特定のファイルまたはテーブルをクロールから除外できます。エクスクルードパスは、インクルードパスを基準とする相対パスです。たとえば、JDBCデータストア内のテーブルを除外するには、除外パスにテーブル名を入力します。

クローラーは、 を使用してJDBCデータストアに接続します。AWS Glue 接続文字列を含むJDBCURI接続。クローラーは、 のJDBCユーザー名とパスワードを使用してデータベースエンジン内のオブジェクトにのみアクセスできます。AWS Glue 接続。クローラーは、JDBC接続を介してアクセスできるテーブルのみを作成できます。クローラーが を使用してデータベースエンジンにアクセスするとJDBCURI、インクルードパスを使用して、データベースエンジン内のどのテーブルがデータカタログに作成されるかを決定します。例えば、My ではSQL、 の包含パスを指定するとMyDatabase/%、 内のすべてのテーブルMyDatabaseがデータカタログに作成されます。Amazon Redshift にアクセスする場合、MyDatabase/% というインクルードパスを指定すると、データベース MyDatabase の各スキーマ内のすべてのテーブルがデータカタログで作成されます。MyDatabase/MySchema/% のインクルードパスを指定すると、データベース MyDatabase のすべてのテーブルとスキーマ MySchema が作成されます。

インクルードパスの指定後に、1 つ以上の Unix 形式の glob 除外パターンを指定することで、インクルードパスに含まれる予定であったオブジェクトをクロールから除外できます。これらのパターンはインクルードパスに適用されて、どのオブジェクトを除外するか決定します。また、これらのパターンはクローラによって作成されるテーブルのプロパティとして保存されます。AWS Glue PySpark などの拡張機能はcreate_dynamic_frame.from_catalog、テーブルプロパティを読み取って、除外パターンで定義されたオブジェクトを除外します。

AWS Glue は、除外globパターンで次のパターンをサポートします。

AWS Glue は次のようにglob除外パターンを解釈します。

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

各ソースのタイプには、異なる追加パラメータのセットが必要です。

を選択または追加する AWS Glue 接続。接続の詳細については、「データへの接続」を参照してください

クローラーがクローリングするための追加のメタデータプロパティを選択します。

データソースに接続するクローラーのカスタムJDBCドライバークラス名を入力します。

.jar ファイルへの既存の Amazon S3 パスを選択します。これは、クローラーがデータソースに接続するためにカスタムJDBCドライバーを使用する場合に.jarファイルを保存する場所です。

データサンプルのみをクロールするかどうかを選択します。選択しない場合は、テーブル全体がクロールされます。テーブルが高スループットテーブルではない場合、すべてのレコードのスキャンには時間がかかることがあります。

Delta Lake テーブルの作成方法を次の中から選択します。

クローラーで使用する DynamoDB テーブル読み取りキャパシティーユニットの割合を指定します。読み取りキャパシティーユニットは、DynamoDB で定義されている用語で、テーブルに対して実行できる読み取り回数/秒のレート制限として機能する数値です。0.1～1.5 の値を入力します。指定しない場合、プロビジョニングされたテーブルの場合は 0.5、オンデマンドテーブルの場合は最大の設定済みキャパシティーの 1/4 にデフォルト設定されます。 AWS Glue クローラーでは、プロビジョニングされたキャパシティモードのみを使用する必要があることに注意してください。

必要に応じて、この Amazon S3 ターゲットで使用するネットワーク接続を含めます。各クローラーは 1 つのネットワーク接続に制限されているため、他の Amazon S3 ターゲットも同じ接続を使用します (空欄の場合は接続なし)。

接続の詳細については、「データへの接続」を参照してください

データセット内のサンプルファイルをクロールするときにクロールされる各リーフフォルダ内のファイル数を指定します。この機能をオンにすると、このデータセット内のすべてのファイルをクロールする代わりに、クローラーはクロールする各リーフフォルダ内の一部のファイルをランダムに選択します。

サンプリングするクローラーは、データ形式について事前に知識があり、フォルダ内のスキーマが変更されないことを知っているお客様に最適です。この機能をオンにすると、クローラーの実行時間が大幅に短縮されます。

有効な値は、1 から 249 までの整数です。指定しない場合、すべてのファイルがクロールされます。

このフィールドは、すべての Amazon S3 データソースに影響するグローバルフィールドです。

クローラーを定義する前にカスタム分類子を定義します。分類子は、指定されたファイルがクローラーで処理可能な形式であるかどうかをチェックします。処理可能な場合、分類子は、そのデータ形式と一致する StructType オブジェクトの形式でスキーマを作成します。

詳細については、「分類子の定義と管理」を参照してください。