Préparation des données à l'aide d'Amazon EMR

Amazon SageMaker Studio et Studio Classic sont dotés d'une intégration intégrée à Amazon EMR. Dans les blocs-notes JupyterLab et Studio Classic, les data scientists et les ingénieurs de données peuvent découvrir et se connecter aux EMR clusters Amazon existants, puis explorer, visualiser et préparer de manière interactive des données à grande échelle pour le machine learning à l'aide d'Apache Spark, Apache Hive ou Presto. En un seul clic, ils peuvent accéder à l'interface utilisateur de Spark pour surveiller le statut et les indicateurs de leurs tâches Spark sans quitter leur bloc-notes.

Les administrateurs peuvent créer des AWS CloudFormation modèles qui définissent les EMR clusters Amazon. Ils peuvent ensuite mettre ces modèles de cluster à disposition des utilisateurs de Studio et de Studio Classic AWS Service Catalogpour qu'ils puissent les lancer. Les data scientists peuvent ensuite choisir un modèle prédéfini pour auto-provisionner un EMR cluster Amazon directement depuis leur environnement Studio. Les administrateurs peuvent paramétrer davantage les modèles pour permettre aux utilisateurs de choisir des aspects du cluster selon des valeurs prédéfinies. Par exemple, les utilisateurs peuvent souhaiter spécifier le nombre de nœuds principaux ou sélectionner le type d'instance d'un nœud dans un menu déroulant.

Les administrateurs peuvent ainsi contrôler l'organisation, la sécurité et la configuration réseau des EMR clusters Amazon. AWS CloudFormation Les data scientists et les ingénieurs de données peuvent ensuite personnaliser ces modèles en fonction de leurs charges de travail afin de créer des EMR clusters Amazon à la demande directement depuis Studio et Studio Classic sans configurer de configurations complexes. Les utilisateurs peuvent résilier les EMR clusters Amazon après utilisation.