Amazon Athena DynamoDB コネクタ

Amazon Athena DynamoDB コネクタは、Amazon Athena が DynamoDB とやり取りすることを可能にして、テーブルを SQL でクエリできるようにします。INSERT INTO などの書き込み操作はサポートされていません。

アカウントで Lake Formation を有効にしている場合、AWS Serverless Application Repository でデプロイした Athena フェデレーション Lambda コネクタの IAM ロールには、Lake Formation での AWS Glue Data Catalog への読み取りアクセス権が必要です。

前提条件

パラメータ

このセクションの Lambda 環境変数により、DynamoDB コネクタを設定します。

AWS Glueでのデータベースとテーブルのセットアップ

コネクタに組み込まれたスキーマ推論機能には制限があるため、メタデータ用としては AWS Glue の使用が適しています。これを行うには、AWS Glue にデータベースとテーブルが必要です。DynamoDB で使用できるようにするには、そのプロパティを編集する必要があります。

必要な許可

このコネクタが必要とする IAM ポリシーの完全な詳細については、athena-dynamodb.yaml ファイルの Policies セクションを参照してください。次のリストは、必要なアクセス権限をまとめたものです。

パフォーマンス

Athena DynamoDB コネクタは並列スキャンをサポートしており、DynamoDB クエリの一部として述語のプッシュダウンを試みます。X が異なる値を持つハッシュキー述語を使用すると、DynamoDB に対する X クエリ呼び出しが発生します。他のすべての述語シナリオでは、スキャン呼び出しの数が Y となります。この際 Y は、テーブルのサイズとプロビジョニングされたスループットに基づいて、ヒューリスティックに決定されます。ただし、列のサブセットを選択すると、クエリのランタイムが長くなる場合があります。

LIMIT 句と単純な述語がプッシュダウンされるため、スキャンされるデータの量が減少し、クエリ実行のランタイムの短縮につながります。

LIMIT 句

LIMIT N ステートメントにより、クエリによってスキャンされるデータが削減されます。LIMIT N プッシュダウンを使用すると、コネクタは N 行のみを Athena に返します。

述語

述語は、ブール値に照らして評価し、複数の条件に基づいて行をフィルタリングする SQL クエリの WHERE 句内の式です。機能を強化し、スキャンされるデータの量を減らすために、Athena DynamoDB コネクタはこれらの式を組み合わせて、DynamoDB に直接プッシュできます。

次の Athena DynamoDB コネクタ演算子は、述語のプッシュダウンをサポートしています。

組み合わせたプッシュダウンの例

クエリ機能を強化するには、次の例のようにプッシュダウンタイプを組み合わせます。

SELECT *
FROM my_table
WHERE col_a > 10 and col_b < 10
LIMIT 10

DynamoDB などのフェデレーテッドクエリのパフォーマンスを向上させるために述語プッシュダウンを使用する方法の記事については、「AWS Big Data Blog」の「Improve federated queries with predicate pushdown in Amazon Athena」を参照してください。

パススルークエリ

DynamoDB コネクタはパススルークエリをサポートし、PartiQL 構文を使用します。DynamoDB GetItem API オペレーションはサポートされません。PartiQL を使用した DynamoDB のクエリに関する詳細については、「Amazon DynamoDB デベロッパーガイド」の「PartiQL select statements for DynamoDB」を参照してください。

DynamoDB でパススルークエリを使用するには、以下の構文を使用します。

SELECT * FROM TABLE(
        system.query(
            query => 'query_string'
        ))

以下の DynamoDB パススルークエリ例は、PartiQL を使用して、2022 年 12 月 24 日より後の DateWatched プロパティを持つ Fire TV Stick デバイスのリストを返します。

SELECT * FROM TABLE(
        system.query(
           query => 'SELECT Devices 
                       FROM WatchList 
                       WHERE Devices.FireStick.DateWatched[0] > '12/24/22''
        ))

トラブルシューティング

ソートキー列上の複数フィルター

エラーメッセージ: KeyConditionExpression にはキーごとに 1 つの条件のみを含める必要があります

原因: この問題は、Athena エンジンバージョン 3 で、DynamoDB ソートキー列上に下限フィルターと上限フィルターの両方があるクエリで発生する可能性があります。DynamoDB はソートキー上で複数のフィルター条件をサポートしていないため、両方の条件が適用されたクエリをコネクタがプッシュダウンしようとするとエラーが発生します。

解決策: コネクタをバージョン 2023.11.1 以降に更新します。コネクタを更新する手順については、「データソースコネクタを更新する」を参照してください。

コスト

コネクタの使用料金は、基礎として使用されている AWS リソースによって異なります。スキャンを使用するクエリでは、大量のリードキャパシティーユニット (RCU) を利用することがあるため、「Amazon DynamoDB pricing」 (Amazon DynamoDB の料金) に記載された情報を慎重に検討してください。

追加リソース