Travailler avec Task Runner - AWS Data Pipeline

AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peuvent continuer à utiliser le service normalement. En savoir plus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Travailler avec Task Runner

Task Runner est une application d'agent de tâches qui interroge AWS Data Pipeline les tâches planifiées et les exécute sur des EC2 instances Amazon, des EMR clusters Amazon ou d'autres ressources informatiques, en signalant l'état de ces tâches. Selon votre application, vous pouvez choisir d'effectuer les actions suivantes :

  • Permet AWS Data Pipeline d'installer et de gérer une ou plusieurs applications Task Runner pour vous. Lorsqu'un pipeline est activé, la valeur par défaut Ec2Instance ou EmrCluster l'objet référencé par un runsOn champ d'activité est automatiquement créé. AWS Data Pipeline se charge d'installer Task Runner sur une EC2 instance ou sur le nœud principal d'un EMR cluster. Dans ce modèle, AWS Data Pipeline vous pouvez effectuer la majeure partie de la gestion des instances ou des clusters à votre place.

  • Exécuter tout ou partie d'un pipeline sur des ressources que vous gérez. Les ressources potentielles incluent une EC2 instance Amazon de longue durée, un EMR cluster Amazon ou un serveur physique. Vous pouvez installer un lanceur de tâches (qui peut être soit un lanceur de tâches soit un agent de tâches personnalisé de votre propre chef) presque n'importe où, à condition qu'il puisse communiquer avec le service AWS Data Pipeline Web. Dans ce modèle, vous assumez le contrôle quasi total des ressources utilisées et de la façon dont elles sont gérées, et vous devez installer et configurer manuellement Task Runner. Pour ce faire, utilisez les procédures de cette section, décrites dans Exécution de travaux sur des ressources existantes à l'aide de Task Runner.