Préparation des données à l'aide d'Amazon EMR

Amazon SageMaker Studio et Studio Classic sont intégrés à Amazon EMR. Dans les blocs-notes JupyterLab et Studio Classic, les data scientists et les ingénieurs de données peuvent découvrir et se connecter aux clusters Amazon EMR existants, puis explorer, visualiser et préparer de manière interactive des données à grande échelle pour le machine learning à l'aide d'Apache Spark, ApacheHive ou Presto. En un seul clic, ils peuvent accéder à l'interface utilisateur de Spark pour surveiller le statut et les indicateurs de leurs tâches Spark sans quitter leur bloc-notes.

Les administrateurs peuvent créer des AWS CloudFormation modèles qui définissent les clusters Amazon EMR. Ils peuvent ensuite mettre ces modèles de cluster à disposition des utilisateurs de Studio et de Studio Classic AWS Service Catalogpour qu'ils puissent les lancer. Les data scientists peuvent ensuite choisir un modèle prédéfini pour auto-provisionner un cluster Amazon EMR directement depuis leur environnement Studio. Les administrateurs peuvent paramétrer davantage les modèles pour permettre aux utilisateurs de choisir des aspects du cluster selon des valeurs prédéfinies. Par exemple, les utilisateurs peuvent souhaiter spécifier le nombre de nœuds principaux ou sélectionner le type d'instance d'un nœud dans un menu déroulant.

Les administrateurs peuvent ainsi contrôler l'organisation, la sécurité et la configuration réseau des clusters Amazon EMR. AWS CloudFormation Les data scientists et les ingénieurs de données peuvent ensuite personnaliser ces modèles en fonction de leurs charges de travail afin de créer des clusters Amazon EMR à la demande directement depuis Studio et Studio Classic sans configurer de configurations complexes. Les utilisateurs peuvent résilier les clusters Amazon EMR après utilisation.