翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon AWS Lake Formation での の使用 EMR
Amazon EMRは、Hadoop Map-Reduce、Spark、Hive、Presto などのサポートされているビッグデータフレームワークでカスタムコードを実行することができる柔軟な AWS マネージドクラスタープラットフォームです。また、組織は Amazon を使用して、高度EMRに分散されたクラスター全体でバッチデータ処理アプリケーションとストリームデータ処理アプリケーションの両方を実行します。Amazon の Apache Spark を使用するとEMR、アクセス許可が Lake Formation によって管理されているデータベースとテーブルでデータ変換とカスタムコードを実行できます。
Amazon をデプロイするには、次の 3 つのオプションがありますEMR。
-
EMR 上の EC2
-
EMR サーバーレス
-
EMR での Amazon EKS
詳細については、「Amazon EMR を Lake Formation と統合する」またはEMR「サーバーレスを使用してきめ細かなアクセスコントロール AWS Lake Formation を行う」を参照してください。
トランザクションテーブル形式のサポート
Amazon EMRリリース 6.15.0 以降には、Spark を使用してデータを読み取りおよび書き込むときに、Apache Hudi 、Apache Iceberg、および Delta Lake
制限については、「Lake Formation EMRを使用した Amazon の考慮事項」を参照してください。
| テーブル形式 | 説明と許可されるオペレーション | Amazon でサポートされている Lake Formation アクセス許可 EMR |
|---|---|---|
|
Apache Hudi |
増分データ処理とデータパイプラインの開発を簡素化するために使用されるオープンテーブル形式。 サポートされているオペレーションのリストについては、「Apache Hudi と Lake Formation」を参照してください。 |
Amazon EMRは、Apache Hudi によるテーブル、行、列、およびセルレベルのアクセスコントロールをサポートしています。 |
|
Apache Iceberg |
大量のファイルのコレクションをテーブルとして管理するオープンテーブル形式。 サポートされているオペレーションのリストについては、「Apache Iceberg と Lake Formation」を参照してください。 |
Amazon EMRは、Apache Iceberg によるテーブル、行、列、およびセルレベルのアクセスコントロールをサポートしています。 |
|
Linux Foundation Delta Lake |
Delta Lake は、Amazon S3 または Hadoop 分散ファイルシステム () 上に一般的に構築されている最新のデータレイクアーキテクチャの実装に役立つオープンソースプロジェクトですHDFS。 サポートされているオペレーションのリストについては、「Delta Lake と Lake Formation」を参照してください。 |
Amazon EMRは、Delta Lake テーブルを使用したテーブル、行、列、セルレベルのアクセスコントロールをサポートしています。 |
追加リソース
ユーザーガイド、ブログ投稿、ワークショップ
