Ec2Resource - AWS Data Pipeline
BeispieleSyntax

AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestehende Kunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ec2Resource

Eine EC2 Amazon-Instance, die die durch eine Pipeline-Aktivität definierte Arbeit ausführt.

AWS Data Pipeline unterstützt IMDSv2 jetzt die EC2 Amazon-Instance, die eine sitzungsorientierte Methode verwendet, um die Authentifizierung beim Abrufen von Metadateninformationen von Instances besser handhaben zu können. Eine Sitzung beginnt und beendet eine Reihe von Anfragen, die Software, die auf einer EC2 Amazon-Instance ausgeführt wird, verwendet, um auf die lokal gespeicherten EC2 Amazon-Instance-Metadaten und Anmeldeinformationen zuzugreifen. Die Software startet eine Sitzung mit einer einfachen HTTP PUT Anfrage an. IMDSv2 IMDSv2gibt ein geheimes Token an die auf der EC2 Amazon-Instance ausgeführte Software zurück, die das Token als Passwort verwendet, um Anfragen IMDSv2 nach Metadaten und Anmeldeinformationen zu stellen.

Anmerkung

Um sie IMDSv2 für Ihre EC2 Amazon-Instance zu verwenden, müssen Sie die Einstellungen ändern, da die Standardeinstellung nicht kompatibel mit AMI istIMDSv2. Sie können eine neue AMI Version angeben, die Sie über den folgenden SSM Parameter abrufen können:/aws/service/ami-amazon-linux-latest/amzn-ami-hvm-x86_64-ebs.

Informationen zu EC2 Standard-Amazon-Instances, die AWS Data Pipeline erstellt werden, wenn Sie keine Instance angeben, finden Sie unter Standard-Amazon EC2-Instances nach AWS-Region.

Beispiele

EC2-Klassiker

Wichtig

Nur AWS Konten, die vor dem 4. Dezember 2013 erstellt wurden, unterstützen die EC2 -Classic-Plattform. Wenn Sie über eines dieser Konten verfügen, haben Sie möglicherweise die Möglichkeit, EC2Resource Objekte für eine Pipeline in einem EC2 -Classic-Netzwerk zu erstellen, anstatt für ein. VPC Es wird dringend empfohlen, Ressourcen für alle Ihre Pipelines in zu erstellen. VPCs Wenn Sie bereits Ressourcen in EC2 -Classic haben, empfehlen wir Ihnen außerdem, diese auf a zu migrieren. VPC

Das folgende Beispielobjekt startet eine EC2 Instanz in EC2 -Classic, wobei einige optionale Felder gesetzt sind.

{
  "id" : "MyEC2Resource",
  "type" : "Ec2Resource",
  "actionOnTaskFailure" : "terminate",
  "actionOnResourceFailure" : "retryAll",
  "maximumRetries" : "1",
  "instanceType" : "m5.large",
  "securityGroups" : [
    "test-group",
    "default"
  ],
  "keyPair" : "my-key-pair"
}

EC2-VPC

Das folgende Beispielobjekt startet eine EC2 Instanz in einer anderen als der StandardinstanzVPC, wobei einige optionale Felder gesetzt sind.

{
  "id" : "MyEC2Resource",
  "type" : "Ec2Resource",
  "actionOnTaskFailure" : "terminate",
  "actionOnResourceFailure" : "retryAll",
  "maximumRetries" : "1",
  "instanceType" : "m5.large",
  "securityGroupIds" : [
    "sg-12345678",
    "sg-12345678"
  ],
  "subnetId": "subnet-12345678",
  "associatePublicIpAddress": "true",
  "keyPair" : "my-key-pair"
}

Syntax

Pflichtfelder Beschreibung Slot-Typ
resourceRole Die IAM Rolle, die die Ressourcen steuert, auf die die EC2 Amazon-Instance zugreifen kann. String
role Die IAM Rolle, mit AWS Data Pipeline der die EC2 Instance erstellt wird. String

Objektaufruf-Felder Beschreibung Slot-Typ
schedule

Dieses Objekt wird innerhalb der Ausführung eines Zeitplanintervalls aufgerufen.

Sie müssen einen Zeitplanverweis auf ein anderes Objekt angeben, um die Abhängigkeitsausführungsreihenfolge für dieses Objekt festzulegen. Sie können dafür eine der folgenden Möglichkeiten auswählen:

  • Um sicherzustellen, dass alle Objekte in der Pipeline den Zeitplan übernehmen, legen Sie einen Zeitplan explizit für das Objekt fest: "schedule": {"ref": "DefaultSchedule"}. In den meisten Fällen ist es nützlich, den Zeitplanverweis auf das Standard-Pipeline-Objekt zu setzen, damit alle Objekte diesen Zeitplan übernehmen.

  • Wenn der Hauptplan in Ihrer Pipeline verschachtelte Zeitpläne enthält, können Sie ein übergeordnetes Objekt mit Zeitplanreferenz erstellen. Weitere Informationen zu optionalen Beispiel-Zeitplankonfigurationen finden Sie unter https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html.

 Referenzobjekt, z. B. "schedule":{"ref":"myScheduleId"}

Optionale Felder Beschreibung Slot-Typ
actionOnResourceFehlschlag Die Aktion, die nach einem Ressourcenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "retryall" und "retrynone". String
actionOnTaskFehlschlag Die Aktion, die nach einem Aufgabenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "continue" oder "terminate". String
associatePublicIpAdresse Gibt an, ob der Instance eine öffentliche IP-Adresse zugewiesen wird. Wenn sich die Instance in Amazon EC2 oder Amazon befindetVPC, ist der Standardwerttrue. Andernfalls ist der Standardwert false. Boolesch
attemptStatus Zuletzt gemeldeter Status von der Remote-Aktivität. String
attemptTimeout Timeout für die Fertigstellung der Remote-Arbeit. Wenn diese Option aktiviert ist, kann eine Remote-Aktivität, die nicht innerhalb der festgelegten Startzeit abgeschlossen wird, wiederholt werden. Intervall
availabilityZone Die Availability Zone, in der die EC2 Amazon-Instance gestartet werden soll. String
disableIMDSv1 Der Standardwert ist falsch und aktiviert sowohl als auch IMDSv1IMDSv2. Wenn Sie ihn auf true setzen, wird er deaktiviert IMDSv1 und bietet nur IMDSv2s Boolesch
failureAndRerunModus Beschreibt das Verhalten des Konsumentenknotens, wenn Abhängigkeiten fehlschlagen oder erneut ausgeführt werden. Aufzählung
httpProxy Der Proxyhost, über den Clients eine Verbindung zu AWS Diensten herstellen. Referenzobjekt, z. B. "httpProxy":{"ref":"myHttpProxyId"}
imageId

Die ID derAMI, die für die Instanz verwendet werden soll. AWS Data Pipeline Verwendet standardmäßig den HVM AMI Virtualisierungstyp. Die AMI IDs verwendeten Daten basieren auf einer Region. Sie können die Standardeinstellung überschreiben, AMI indem Sie die Option HVM AMI Ihrer Wahl angeben. Weitere Informationen zu AMI Typen finden Sie unter AMILinux-Virtualisierungstypen und Finding a Linux AMI im EC2Amazon-Benutzerhandbuch.

 String
initTimeout Die Zeit, die auf den Start der Ressource gewartet wird. Intervall
instanceCount Als veraltet gekennzeichnet. Ganzzahl
instanceType Der Typ der EC2 Amazon-Instance, die gestartet werden soll. String
keyPair Der Name des Schlüsselpaars. Wenn Sie eine EC2 Amazon-Instance starten, ohne ein key pair anzugeben, können Sie sich nicht bei ihr anmelden. String
lateAfterTimeout Die verstrichene Zeit nach dem Start der Pipeline, innerhalb derer das Objekt abgeschlossen werden muss. Sie wird nur ausgelöst, wenn der Zeitplantyp nicht auf eingestellt ist. ondemand Intervall
maxActiveInstances Die maximale Anzahl gleichzeitiger aktiver Instances einer Komponente. Wiederholungen zählen nicht zur Anzahl der aktiven Instances. Ganzzahl
maximumRetries Die maximale Anzahl von Versuchen bei Ausfällen. Ganzzahl
minInstanceCount Als veraltet gekennzeichnet. Ganzzahl
onFail Eine Aktion, die ausgeführt werden soll, wenn das aktuelle Objekt fehlschlägt. Referenzobjekt, z. B. "onFail":{"ref":"myActionId"}
onLateAction Aktionen, die ausgelöst werden sollen, wenn ein Objekt noch nicht geplant wurde oder noch ausgeführt wird. Referenzobjekt, z. B. "onLateAction":{"ref":"myActionId"}
onSuccess Eine Aktion, die ausgeführt wird, wenn das aktuelle Objekt erfolgreich ist. Referenzobjekt, z. B. "onSuccess":{"ref":"myActionId"}
übergeordneter Das übergeordnete Objekt des aktuellen Objekts, aus dem Slots übernommen werden. Referenzobjekt, z. B. "parent":{"ref":"myBaseObjectId"}
pipelineLogUri Amazon S3 URI (z. B.'s3://BucketName/Key/') zum Hochladen von Protokollen für die Pipeline. String
Region Der Code für die Region, in der die EC2 Amazon-Instance ausgeführt werden soll. Standardmäßig wird die Instance in derselben Region wie die Pipeline ausgeführt. Sie können die Instance in derselben Region als abhängiges Datenset ausführen. Aufzählung
reportProgressTimeout Das Timeout für aufeinanderfolgende Aufrufe von reportProgress durch Remote-Arbeit. Wenn diese Option aktiviert ist, werden Remote-Aktivitäten, die den Fortschritt für den angegebenen Zeitraum nicht melden, als fehlgeschlagen angesehen und erneut versucht. Intervall
retryDelay Die Zeitüberschreitungsdauer zwischen zwei Wiederholungsversuchen. Intervall
runAsUser Der Benutzer, der das ausführen soll TaskRunner. String
runsOn Dieses Feld ist für dieses Objekt nicht zulässig. Referenzobjekt, z. B. "runsOn":{"ref":"myResourceId"}
scheduleType

Mit dem Zeitplantyp können Sie angeben, ob die Objekte in Ihrer Pipeline-Definition am Anfang oder am Ende eines Intervalls oder bedarfsabhängig geplant werden sollen.

Die Werte sind:

  • timeseries. Instanzen werden am Ende jedes Intervalls geplant.

  • cron. Instanzen werden zu Beginn jedes Intervalls geplant.

  • ondemand. Ermöglicht es Ihnen, eine Pipeline einmal pro Aktivierung auszuführen. Sie müssen die Pipeline nicht klonen oder neu erstellen, um sie erneut auszuführen. Wenn Sie einen On-Demand-Zeitplan verwenden, muss er im Standardobjekt angegeben werden und der einzige für die Objekte in der Pipeline angegebene scheduleType sein. Um On-Demand-Pipelines zu verwenden, rufen Sie den ActivatePipeline-Vorgang für jeden nachfolgenden Lauf auf.

Aufzählung
securityGroupIds Die IDs von einer oder mehreren EC2 Amazon-Sicherheitsgruppen, die für die Instances im Ressourcenpool verwendet werden sollen. String
securityGroups Eine oder mehrere EC2 Amazon-Sicherheitsgruppen, die für die Instances im Ressourcenpool verwendet werden sollen. String
spotBidPrice Die maximale Datenmenge pro Stunde für Ihre Spot-Instance in Dollar, wobei es sich um einen Dezimalwert zwischen 0 und einschließlich 20,00 handelt. String
subnetId Die ID des EC2 Amazon-Subnetzes, in dem die Instance gestartet werden soll. String
terminateAfter Die Anzahl der Stunden, nach denen die Ressource zu beenden ist. Intervall
useOnDemandOnLastAttempt Dieses Feld bestimmt, ob beim letzten Versuch, eine Spot-Instance anzufordern, stattdessen eine On-Demand-Instance angefordert wird. Auf diese Weise wird sichergestellt, dass wenn die vorherigen Versuche fehlgeschlagen sind, der letzte Versuch nicht unterbrochen wird. Boolesch
workerGroup Dieses Feld ist für dieses Objekt nicht zulässig. String

Laufzeitfelder Beschreibung Slot-Typ
@activeInstances Liste der aktuell geplanten aktiven Instance-Objekte. Referenzobjekt, z. B. "activeInstances":{"ref":"myRunnableObjectId"}
@actualEndTime Zeitpunkt, zu dem die Ausführung dieses Objekts abgeschlossen wurde. DateTime
@actualStartTime Zeitpunkt, zu dem die Ausführung dieses Objekts gestartet wurde. DateTime
cancellationReason Der cancellationReason, wenn dieses Objekt storniert wurde. String
@cascadeFailedOn Beschreibung der Zuständigkeitskette, bei der das Objekt fehlgeschlagen ist. Referenzobjekt, z. B. "cascadeFailedOn":{"ref":"myRunnableObjectId"}
emrStepLog Schrittprotokolle sind nur Amazon EMR Amazon-Aktivitätsversuchen verfügbar. String
errorId Die Fehler-ID, wenn dieses Objekt fehlgeschlagen ist. String
errorMessage Die Fehlermeldung, wenn dieses Objekt fehlgeschlagen ist. String
errorStackTrace Die Fehler-Stack-Ablaufverfolgung., wenn dieses Objekt fehlgeschlagen ist. String
@failureReason Der Grund für den Ressourcenfehler. String
@finishedTime Der Zeitpunkt, zu der dieses Objekt seine Ausführung beendet hat. DateTime
hadoopJobLog Hadoop-Jobprotokolle sind bei Versuchen für EMR Amazon-Aktivitäten verfügbar. String
@healthStatus Der Integritätsstatus des Objekts, der Erfolg oder Misserfolg der letzten Objekt-Instance widerspiegelt, die einen beendeten Zustand erreicht hat. String
@healthStatusFromInstanceId Id des Objekts der letzten Instance, das einen beendeten Zustand erreicht hat. String
@ Zeit healthStatusUpdated Zeitpunkt, zu dem der Servicestatus beim letzten Mal aktualisiert wurde. DateTime
hostname Der Hostname des Clients, der den Aufgabenversuch aufnimmt. String
@lastDeactivatedTime Zeitpunkt, zu dem dieses Objekt zuletzt deaktiviert wurde. DateTime
@ latestCompletedRun Zeit Zeitpunkt des letzten Laufs, für den die Ausführung abgeschlossen wurde. DateTime
@latestRunTime Zeitpunkt des letzten Laufs, für den die Ausführung geplant war. DateTime
@nextRunTime Zeitpunkt des Laufs, der als nächstes geplant werden soll DateTime
reportProgressTime Der letzte Zeitpunkt, an dem die Remote-Aktivität einen Fortschritt gemeldet hat. DateTime
@scheduledEndTime Die geplante Endzeit für das Objekt. DateTime
@scheduledStartTime Die geplante Startzeit für das Objekt. DateTime
@Status Der Status des Objekts. String
@Version Die Pipeline-Version, mit der das Objekt erstellt wurde. String
@waitingOn Beschreibung der Liste der Abhängigkeiten, auf die dieses Objekt wartet. Referenzobjekt, z. B. "waitingOn":{"ref":"myRunnableObjectId"}

Systemfelder Beschreibung Slot-Typ
@error Fehler mit einer Beschreibung des falsch formatierten Objekts. String
@pipelineId ID der Pipeline, zu der dieses Objekt gehört. String
@sphere Die Position eines Objekts im Lebenszyklus. Komponentenobjekte ergeben Instance-Objekte, die Versuchsobjekte ausführen. String