Amazon を使用したデータ準備 EMR

Amazon SageMaker Studio と Studio Classic には、Amazon EMRとの統合が組み込まれています。 JupyterLab および Studio Classic ノートブック内で、データサイエンティストとデータエンジニアは既存の Amazon EMRクラスターを検出して接続し、Apache Spark 、Apache Hive 、または Presto を使用して機械学習用の大規模なデータをインタラクティブに調査、視覚化、準備できます。ワンクリックで Spark UI にアクセスして、ノートブックを離れることなく Spark ジョブのステータスとメトリクスをモニタリングできます。

管理者は、Amazon EMRクラスターを定義するAWS CloudFormation テンプレートを作成できます。その後、Studio および AWS Service Catalog Studio Classic ユーザーの でこれらのクラスターテンプレートを起動できるようになります。その後、データサイエンティストは事前定義されたテンプレートを選択して、Studio 環境から直接 Amazon EMRクラスターをセルフプロビジョニングできます。管理者はテンプレートをさらにパラメータ化して、ユーザーが事前定義された値内でクラスターの側面を選択できるようにします。例えば、ユーザーはコアノードの数を指定したり、ドロップダウンメニューからノードのインスタンスタイプを選択したりできます。

を使用すると AWS CloudFormation、管理者は Amazon EMRクラスターの組織、セキュリティ、ネットワークのセットアップを制御できます。データサイエンティストとデータエンジニアは、ワークロードに合わせてこれらのテンプレートをカスタマイズして、複雑な設定を行わずに Studio と Studio Classic から直接オンデマンドの Amazon EMRクラスターを作成できます。ユーザーは、使用後に Amazon EMRクラスターを終了できます。