Amazon Athena MySQL コネクタ

Amazon Athena Lambda MySQL コネクタは、Amazon Athena での MySQL のデータベースへのアクセスを可能にします。

このコネクタは、Glue データカタログにフェデレーティッドカタログとして登録できます。Lake Formation で定義されたデータアクセスコントロールを、カタログ、データベース、テーブル、列、行、タグレベルでサポートします。このコネクタは、Glue 接続を使用して Glue の設定プロパティを一元管理しています。

前提条件

制限

用語

パラメータ

このセクションのパラメータを使用して MySQL コネクタを設定します。

接続文字列

次の形式の JDBC 接続文字列を使用して、データベースインスタンスに接続します。

mysql://${jdbc_connection_string}

zeroDateTimeBehavior=convertToNull

マルチプレックスハンドラーの使用

マルチプレクサーを使用すると、単一の Lambda 関数から複数のデータベースインスタンスに接続できます。各リクエストはカタログ名によりルーティングされます。Lambda では以下のクラスを使用します。

マルチプレックスハンドラーのパラメータ

mysql1 (デフォルト) と mysql2 の 2 つのデータベースインスタンスをサポートする MySql MUX Lambda 関数用のプロパティを次に示します。

認証情報の提供

JDBC 接続文字列の中でデータベースのユーザー名とパスワードを指定するには、接続文字列のプロパティ、もしくは AWS Secrets Manager を使用します。

シークレット名を含む接続文字列の例

次の文字列には、シークレット名 ${Test/RDS/MySql1} が含まれています。

mysql://jdbc:mysql://mysql1.host:3306/default?...&${Test/RDS/MySql1}&...

次の例のように、コネクタはシークレット名を使用し、シークレットを取得してユーザー名とパスワードを提供します。

mysql://jdbc:mysql://mysql1host:3306/default?...&user=sample2&password=sample2&...

現在、MySQL コネクタは user と password の JDBC プロパティを認識します。

単一接続ハンドラーの使用

次の単一接続のメタデータハンドラーとレコードハンドラーを使用して、単一の MySQL インスタンスに接続できます。

単一接続ハンドラーのパラメータ

単一接続ハンドラーでは、1 つのデータベースインスタンスがサポートされます。また、default 接続文字列パラメータを指定する必要があります。他のすべての接続文字列は無視されます。

Lambda 関数でサポートされる単一の MySQL インスタンス用のプロパティ例を次に示します。

スピルパラメータ

Lambda SDK は Amazon S3 にデータをスピルする可能性があります。同一の Lambda 関数によってアクセスされるすべてのデータベースインスタンスは、同じ場所にスピルします。

サポートされるデータ型

次の表に、JDBC と Arrow に対応するデータ型を示します。

パーティションと分割

パーティションは、コネクタを分割する方法を決定するために使用されます。Athena は varchar 型の合成列を作成し、コネクタが分割を生成できるようにするために、テーブルに対するパーティションのスキームを示します。コネクタは実際のテーブル定義を変更しません。

パフォーマンス

MySQL はネイティブパーティションをサポートしています。Athena MySQL コネクタは、これらのパーティションからデータを並列に取得できます。均一なパーティション分散の非常に大きなデータセットをクエリする場合は、ネイティブパーティションを強くお勧めします。

Athena MySQL コネクタは述語のプッシュダウンを実行して、クエリによってスキャンされるデータを減少させます。スキャンされるデータ量を削減し、クエリ実行のランタイムを短縮するために、LIMIT 句、単純な述語、および複雑な式はコネクタにプッシュダウンされます。

LIMIT 句

LIMIT N ステートメントにより、クエリによってスキャンされるデータが削減されます。LIMIT N プッシュダウンを使用すると、コネクタは N 行のみを Athena に返します。

述語

述語は、ブール値に照らして評価し、複数の条件に基づいて行をフィルタリングする SQL クエリの WHERE 句内の式です。Athena MySQL コネクタは、これらの式を組み合わせて MySQL に直接プッシュすることで、機能を強化し、スキャンされるデータ量を削減できます。

次の Athena MySQL コネクタ演算子は、述語のプッシュダウンをサポートしています。

組み合わせたプッシュダウンの例

クエリ機能を強化するには、次の例のようにプッシュダウンタイプを組み合わせます。

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

MySQL などのフェデレーテッドクエリのパフォーマンスを向上させるために述語プッシュダウンを使用する方法の記事については、AWS Big Data Blog の「Improve federated queries with predicate pushdown in Amazon Athena」を参照してください。

パススルークエリ

MySQL コネクタは、パススルークエリをサポートします。パススルークエリは、テーブル関数を使用して、実行のためにクエリ全体をデータソースにプッシュダウンします。

MySQL でパススルークエリを使用するには、以下の構文を使用できます。

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

次のクエリ例は、MySQL 内のデータソースにクエリをプッシュダウンします。クエリは customer テーブル内のすべての列を選択し、結果を 10 個に制限します。

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

ライセンス情報

このコネクタを使用することにより、pom.xml ファイル内のリストにある、サードパーティのコンポーネントが使用されることを承認し、 GitHub.com にある LICENSE.txt ファイルに記載されている、個別のサードパーティライセンスの使用条件に同意したとみなされます。

追加リソース

最新の JDBC ドライバーのバージョン情報については、GitHub.com の MySQL コネクタ用の pom.xml ファイルを参照してください。

このコネクタに関するその他の情報については、GitHub.com で対応するサイトを参照してください。