Créez un cluster Amazon EMR de courte durée et exécutez une étape à l'aide d'un SDK AWS - AWS Exemples de code SDK

D'autres exemples de AWS SDK sont disponibles dans le référentiel AWS Doc SDK Examples GitHub .

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster Amazon EMR de courte durée et exécutez une étape à l'aide d'un SDK AWS

L'exemple de code suivant montre comment créer un cluster Amazon EMR de courte durée qui exécute une étape et se termine automatiquement une fois l'étape terminée.

Python
SDK pour Python (Boto3)

Créez un cluster Amazon EMR de courte durée qui estime la valeur de pi à l'aide d'Apache Spark pour paralléliser un grand nombre de calculs. La tâche écrit la sortie dans les journaux Amazon EMR et dans un compartiment Amazon Simple Storage Service (Amazon S3). Le cluster se termine automatiquement une fois la tâche terminée.

  • Créez un compartiment Amazon S3 et chargez un script de tâche.

  • Créez des rôles AWS Identity and Access Management (IAM).

  • Créez des groupes de sécurité Amazon Elastic Compute Cloud (Amazon EC2).

  • Créez un cluster de courte durée et exécuter une seule étape de tâche.

Il est préférable de visionner cet exemple sur GitHub. Pour obtenir le code source complet et les instructions de configuration et d'exécution, consultez l'exemple complet sur GitHub.

Les services utilisés dans cet exemple

  • Amazon EMR