AWS Glue データカタログの入力

AWS Glue クローラー – AWS Glue クローラー は、データベース、データレイク、ストリーミングデータなどのデータソースを自動的に検出してカタログ化できます。クローラーは、さまざまなデータソースのメタデータを自動的に検出して推測できるため、データカタログにデータを入力する最も一般的な推奨方法です。

メタデータの手動追加 – AWS Glue コンソール、Lake Formation コンソール、AWS CLI API、または AWS Glue API を使用して、データベース、テーブル、および接続の詳細を手動で定義し、これらをデータカタログに追加できます。手動入力は、クロールできないデータソースをカタログ化する場合に便利です。

他の AWS サービスとの統合 — AWS Lake Formation や Amazon Athena などのサービスからのメタデータをデータカタログに入力できます。これらのサービスは、データカタログでデータソースを検出して登録できます。

既存のメタデータリポジトリからの入力 – Apache Hive Metastore などの既存のメタデータストアがある場合は、AWS Glue を使用してそのメタデータをデータカタログにインポートできます。詳細については、GitHub で「Migration between the Hive Metastore and the AWS Glue Data Catalog」を参照してください。