AWS Glue の Amazon Q データ統合は、データエンジニアや ETL 開発者が自然言語を使用してデータ統合ジョブを構築できるようにする、AWS Glue の新しい生成 AI 機能です。エンジニアや開発者は Amazon Q にジョブの作成、問題のトラブルシューティング、AWS Glue やデータ統合に関する質問への回答を依頼できます。
Amazon Q とは
注記
Amazon Bedrock を搭載: AWS により不正使用検知が自動化されています。Amazon Q データ統合は Amazon Bedrock に構築されているため、ユーザーは Amazon Bedrock に実装されているコントロールを最大限に活用し、安全性、セキュリティ、人工知能 (AI) の責任ある使用を実施できます。
Amazon Q は、生成人工知能 (AI) を活用した会話型アシスタントであり、AWS アプリケーションの理解、構築、拡張、運用を支援します。Amazon Q を支えるモデルは高品質の AWS コンテンツで強化されているため、より完全かつ実用的で参考になる回答が得られ、AWS での構築を加速できるようにします。詳細については、「Amazon Q とは」を参照してください。
AWS Glue の Amazon Q データ統合とは
AWS Glue の Amazon Q データ統合には以下の機能が含まれています。
チャット — AWS Glue の Amazon Q データ統合では、AWS Glue についてや、AWS Glueの送信元と送信先のコネクター、AWS Glue ETL ジョブ、データカタログ、クローラーや AWS Lake Formation、その他の機能に関するドキュメント、ベストプラクティスなど、データ統合分野に関する自然言語の質問に英語で回答できます。AWS Glue の Amazon Q データ統合ではステップバイステップの手順が示され、情報の発信元への参照が含まれています。
データ統合コードの生成 — AWS Glue の Amazon Q データ統合は、AWS Glue ETL スクリプトに関する質問に回答し、英語で自然言語の質問を与えた新しいコードを生成できます。
トラブルシューティング — AWS Glue の Amazon Q データ統合は、AWS Glue ジョブのエラーを理解しやすくすることを目的として構築され、問題の根本原因と解決のためのステップバイステップの手順を提供します。
注記
AWS Glue の Amazon Q データ統合では、会話中に将来の応答を通知するために会話のコンテキストを使用することはありません。AWS Glue の Amazon Q データ統合に関する各会話は、以前または将来の会話とは無関係です。
AWS Glue の Amazon Q データ統合の操作について
Amazon Q パネルでは、Amazon Q に対して AWS Glue ETL スクリプト用のコードの生成、AWS Glue 機能に関する質問への回答、エラーのトラブルシューティングを行うようにリクエストできます。応答は PySpark の ETL スクリプトであり、スクリプトをカスタマイズ、レビュー、実行するステップバイステップの手順が説明されています。質問に対して、データ統合ナレッジベースに基づいて、概要と参照用のソース URL を含む回答が生成されます。
たとえば、Amazon Q に「Snowflake から読み取り、フィールドの名前を変更し、Redshift に書き込む Glue スクリプトを提供してください」と依頼すると、それに応じて AWS Glue の Amazon Q データ統合から、要求されたアクションを実行できる AWS Glue ジョブスクリプトが返されます。生成されたコードをレビューして、要求した意図を満たしていることを確認できます。問題がなければ、本番に AWS Glue ジョブとしてデプロイできます。統合に、エラーや障害の説明や解決策の提案を依頼し、解決策を提案することで、ジョブのトラブルシューティングを行うことができます。Amazon Q は、AWS Glue やデータ統合のベストプラクティスに関する質問に回答することができます。
以下は、AWS Glue の Amazon Q データ統合が AWS Glue でのビルドにどのように役立つかを示す質問例です。
AWS Glue ETL コード生成:
S3 から JSON を読み取り、適用マッピングを使用してフィールドを変換し、Amazon Redshift に書き込む AWS Glue スクリプトを記述します
DynamoDB から読み込み、DropNullFields 変換を適用し、Parquet として S3 に書き込むための AWS Glue スクリプトを作成する方法を教えてください。
MySQL から読み取り、ビジネスロジックに基づいていくつかのフィールドを削除し、Snowflake に書き込む AWS Glue スクリプトを教えてください
DynamoDB から読み取り、S3 に JSON として書き込む AWS Glue ジョブを記述してください
S3 向けの AWS Glue Data Catalog の AWS Glue スクリプトの開発を手伝ってください
S3 から JSON を読み取り、null を削除して Redshift に書き込む AWS Glue ジョブを記述してください
AWS Glue 機能の説明:
AWS Glue Data Quality の使用方法を教えてください。
AWS Glue ジョブブックマークの使い方を教えてください。
AWS Glue 自動スケーリングを有効にするにはどうすればよいですか?
AWS Glue 動的フレームと Spark データフレームの違いは何ですか?
AWS Glue はどのようなタイプの接続をサポートしていますか？
AWS Glue のトラブルシューティング:
AWS Glue ジョブのメモリ不足 (OOM) エラーのトラブルシューティング方法を教えてください。
AWS Glue Data Quality の設定時に表示されるエラーメッセージにはどのようなものがありますか。また、その修正方法を教えてください。
Amazon S3 アクセスが拒否されましたというエラーが発生した AWS Glue ジョブを修正するにはどうすればよいですか?
AWS Glue ジョブのデータシャッフルの問題を解決する方法を教えてください。
Amazon Q データ統合を操作するためのベストプラクティス
Amazon Q データ統合を操作するためのベストプラクティスを次に示します。
Amazon Q データ統合を利用する際の質問は、具体的にします。複雑なリクエストの場合は反復し、返される内容が正確であることを確認します。
データ統合プロンプトを自然言語で提供する場合は、生成アシスタントが必要な点を正確に把握できるように、可能な限り具体的に質問します。「S3 からデータを抽出する」と尋ねる代わりに、「S3 から JSON ファイルを抽出する AWS Glue スクリプトを記述する」など、より詳細な情報を提供します。
生成されたスクリプトは実行する前に調べて、正確であることを確認します。生成されたスクリプトにエラーがある場合、または意図した内容と違う場合は、アシスタントに修正方法を指示します。
生成 AI は新しいテクノロジーであり、応答にはハルシネーションと呼ばれる誤りがある場合があります。現在の環境やワークロードで使用する前に、すべてのコードをテストしてエラーや脆弱性がないかを確認する必要があります。
AWS Glue サービス改善における Amazon Q データ統合
AWS Glue で Amazon Q データ統合が AWS のサービスに関する最も関連性の高い情報を提供するのに役立つように、Amazon Q からの特定のコンテンツを使用する場合があります。これには、Amazon Q への質問とその回答などがあり、サービスの改善に役立ちます。
使用するコンテンツとオプトアウト方法については、「Amazon Q Developer ユーザーガイド」の「Amazon Q Developer サービスの改善」を参照してください。
考慮事項
AWS Glue の Amazon Q データ統合を使用する前に、以下の項目について検討してください。
現在、コード生成は PySpark カーネルでのみ機能します。生成されたコードは Python Spark に基づく AWS Glue ジョブ用です。
AWS Glue でサポートされている Amazon Q データ統合のコード生成機能の組み合わせについては、「サポートされているコード生成機能」を参照してください。
