AWS Glue Studio でのカスタムコネクタと接続の使用 - AWS Glue

AWS Glue Studio でのカスタムコネクタと接続の使用

AWS Glue には、JDBC 接続を使用する最も一般的なデータストア (Amazon Redshift、Amazon Aurora、Microsoft SQL Server、MySQL、MongoDB、PostgreSQL など) に対するサポートが組み込まれています。また、AWS Glue では、抽出、変換、ロード (ETL) ジョブ用にカスタム JDBC ドライバも使用できます。SaaS アプリケーションなど、ネイティブにサポートされていないデータストアに対しては、コネクタを使用することができます。

コネクタ とは AWS Glue Studio 内でデータストアに対するアクセスを支援するための、オプションのコードパッケージです。AWS Marketplace で提供されている複数のコネクタをサブスクライブすることができます。

ETL ジョブの作成時には、ネイティブにサポートされているデータストアを使用するか、AWS Marketplace からのコネクタ、または独自のカスタムコネクタを使用できます。コネクタを使用するには、最初にコネクタのための接続を作成する必要があります。接続には、特定のデータストアに接続するために必要なプロパティが含まれます。ETL ジョブでは、データソースおよびデータターゲットとの接続を使用します。コネクタと接続は、データストアへのアクセスを容易にするために連携して動作します。

コネクタの接続を作成する際に、次の接続を使用できます。

  • Amazon Aurora – セキュリティ、バックアップと復元、メモリ内アクセラレーションを組み込んだ、スケーラブルで高性能なリレーショナルデータベースエンジン。

  • Amazon DocumentDB – MongoDB と SQL API をサポートする、スケーラブルで可用性の高いフルマネージドのドキュメントデータベースサービス。

  • Amazon Redshift – MongoDB および SQL API をサポートする、スケーラブルで可用性の高いフルマネージドのドキュメントデータベースサービス。

  • Azure SQL – スケーラブルで信頼性が高く安全なデータストレージと管理機能を提供する、Microsoft Azure のクラウドベースのリレーショナルデータベースサービス。

  • Cosmos DB – スケーラブルで高性能なデータストレージとクエリ機能を提供する、Microsoft Azure のグローバルに分散されたクラウドデータベースサービス。

  • Google BigQuery – 大規模なデータセットに対して高速 SQL クエリを実行するためのサーバーレスクラウドデータウェアハウス。

  • JDBC – 接続と、データ接続とのインタラクションに Java API を使用するリレーショナルデータベース管理システム (RDBMS)。

  • Kafka – リアルタイムのデータストリーミングとメッセージングに使用されるオープンソースのストリーム処理プラットフォーム。

  • MariaDB – 強化されたパフォーマンス、スケーラビリティ、および機能を提供する、コミュニティによって開発された MySQL のフォーク。

  • MongoDB – 高いスケーラビリティ、柔軟性、パフォーマンスを提供する、クロスプラットフォームのドキュメント指向データベース。

  • MongoDB Atlas – MongoDB のデプロイの管理とスケーリングを簡素化する、MongoDB のクラウドベースの Database as a Service (DBaaS) オファリング。

  • Microsoft SQL Server – 堅牢なデータストレージ、分析、レポート機能を提供する、Microsoft のリレーショナルデータベース管理システム (RDBMS)。

  • MySQL – ウェブアプリケーションで広く使用されており、その信頼性とスケーラビリティで知られる、オープンソースのリレーショナルデータベース管理システム (RDBMS)。

  • ネットワーク- ネットワークデータソースは、データ統合プラットフォームによってアクセスできる、ネットワークからアクセス可能なリソースまたはサービスを表します。

  • OpenSearch – OpenSearch データソースは、OpenSearch が接続してデータを取り込むことができるアプリケーションです。

  • Oracle – 堅牢なデータストレージ、分析、レポート機能を提供する、Oracle Corporation のリレーショナルデータベース管理システム (RDBMS)。

  • PostgreSQL – 堅牢なデータストレージ、分析、レポート機能を提供する、オープンソースのリレーショナルデータベース管理システム (RDBMS)。

  • [Salesforce] – Salesforce は、販売、カスタマーサービス、e コマースなどに役立つカスタマーリレーションシップ管理 (CRM) ソフトウェアを提供します。Salesforce ユーザーの場合は、AWS Glue を Salesforce アカウント に接続できます。次に、ETL ジョブのデータソースまたは送信先として Salesforce を使用できます。これらのジョブを実行して、Salesforce と AWS サービス、またはその他のサポートされているアプリケーション間でデータを転送します。

  • SAP HANA – 高速データ処理、高度な分析、リアルタイムのデータ統合を提供する、インメモリデータベースおよび分析プラットフォーム。

  • Snowflake – スケーラブルで高性能なデータストレージと分析サービスを提供するクラウドベースのデータウェアハウス。

  • Teradata – 高性能のデータストレージ、分析、レポート機能を提供する、リレーショナルデータベース管理システム (RDBMS)。

  • Vertica – 高速なクエリパフォーマンス、高度な分析、およびスケーラビリティを提供する、ビッグデータ分析用に設計されたカラム指向の分析データウェアハウス。