翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR は、Hadoop Map-Reduce、Spark、Hive、Presto など、サポートされているビッグデータフレームワークで任意のカスタムコードを実行できる柔軟な AWS マネージドクラスタープラットフォームです。また、Organizations は Amazon EMR を使用して、高度に分散されたクラスター全体でバッチとストリームの両方のデータ処理アプリケーションを実行します。Amazon EMR 上の Apache Spark を使用すると、Lake Formation によってアクセス許可が管理されているデータベースやテーブルでデータ変換とカスタムコードを実行できます。
Amazon EMR をデプロイするには、3 つのオプションがあります。
-
EMR on EC2
-
EMR Serverless
-
Amazon EMR on EKS
詳細については、「Amazon EMR と Lake Formation の統合」または「EMR Serverless と を使用したきめ細かなアクセスコントロール AWS Lake Formation」を参照してください。
トランザクションテーブル形式のサポート
Amazon EMR リリース 6.15.0 以降では、Spark SQL を使用してデータを読み書きする際の Apache Hudi、Apache Iceberg、および Delta Lake
制限については、「Amazon EMR での Lake Formation の使用に関する考慮事項」を参照してください。
| テーブル形式 | 説明と許可されるオペレーション | Amazon EMR でサポートされている Lake Formation 許可 |
|---|---|---|
|
Apache Hudi |
増分データ処理とデータパイプラインの開発を簡素化するために使用されるオープンテーブル形式。 サポートされているオペレーションのリストについては、「Apache Hudi と Lake Formation」を参照してください。 |
Amazon EMR は、Apache Hudi を使用した、テーブル、行、列、セルレベルのアクセスコントロールをサポートしています。 |
|
Apache Iceberg |
大量のファイルのコレクションをテーブルとして管理するオープンテーブル形式。 サポートされているオペレーションのリストについては、「Apache Iceberg と Lake Formation」を参照してください。 |
Amazon EMR は、Apache Iceberg を使用した、テーブル、行、列、セルレベルのアクセスコントロールをサポートしています。 |
|
Linux Foundation Delta Lake |
Delta Lake は、一般的に Amazon S3 または File system distribuito Hadoop (HDFS) 上に構築される最新のデータレイクアーキテクチャの実装を支援するオープンソースプロジェクトです。 サポートされているオペレーションのリストについては、「Delta Lake と Lake Formation」を参照してください。 |
Amazon EMR は、Delta Lake テーブルでのテーブル、行、列、セルレベルのアクセスコントロールをサポートしています。 |
追加リソース
ユーザーガイド、ブログ投稿、ワークショップ
-
Integration with Amazon EMR using Runtime Roles
(ランタイムロールを使用した Amazon EMR との統合) -
Get a quick start with Apache Hudi, Apache Iceberg, and Delta Lake with Amazon EMR on EKS
(EKS でのAmazon EMR を使って、Apache Hudi、Apache Iceberg、および Delta Lake の使用を迅速に開始)
