AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestehende Kunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ec2Resource
Eine EC2 Amazon-Instance, die die durch eine Pipeline-Aktivität definierte Arbeit ausführt.
AWS Data Pipeline unterstützt IMDSv2 jetzt die EC2 Amazon-Instance, die eine sitzungsorientierte Methode verwendet, um die Authentifizierung beim Abrufen von Metadateninformationen von Instances besser handhaben zu können. Eine Sitzung beginnt und beendet eine Reihe von Anfragen, die Software, die auf einer EC2 Amazon-Instance ausgeführt wird, verwendet, um auf die lokal gespeicherten EC2 Amazon-Instance-Metadaten und Anmeldeinformationen zuzugreifen. Die Software startet eine Sitzung mit einer einfachen HTTP PUT Anfrage an. IMDSv2 IMDSv2gibt ein geheimes Token an die auf der EC2 Amazon-Instance ausgeführte Software zurück, die das Token als Passwort verwendet, um Anfragen IMDSv2 nach Metadaten und Anmeldeinformationen zu stellen.
Anmerkung
Um sie IMDSv2 für Ihre EC2 Amazon-Instance zu verwenden, müssen Sie die Einstellungen ändern, da die Standardeinstellung nicht kompatibel mit AMI istIMDSv2. Sie können eine neue AMI Version angeben, die Sie über den folgenden SSM Parameter abrufen können:/aws/service/ami-amazon-linux-latest/amzn-ami-hvm-x86_64-ebs.
Informationen zu EC2 Standard-Amazon-Instances, die AWS Data Pipeline erstellt werden, wenn Sie keine Instance angeben, finden Sie unter Standard-Amazon EC2-Instances nach AWS-Region.
Beispiele
EC2-Klassiker
Wichtig
Nur AWS Konten, die vor dem 4. Dezember 2013 erstellt wurden, unterstützen die EC2 -Classic-Plattform. Wenn Sie über eines dieser Konten verfügen, haben Sie möglicherweise die Möglichkeit, EC2Resource Objekte für eine Pipeline in einem EC2 -Classic-Netzwerk zu erstellen, anstatt für ein. VPC Es wird dringend empfohlen, Ressourcen für alle Ihre Pipelines in zu erstellen. VPCs Wenn Sie bereits Ressourcen in EC2 -Classic haben, empfehlen wir Ihnen außerdem, diese auf a zu migrieren. VPC
Das folgende Beispielobjekt startet eine EC2 Instanz in EC2 -Classic, wobei einige optionale Felder gesetzt sind.
{ "id" : "MyEC2Resource", "type" : "Ec2Resource", "actionOnTaskFailure" : "terminate", "actionOnResourceFailure" : "retryAll", "maximumRetries" : "1", "instanceType" : "m5.large", "securityGroups" : [ "test-group", "default" ], "keyPair" : "my-key-pair" }
EC2-VPC
Das folgende Beispielobjekt startet eine EC2 Instanz in einer anderen als der StandardinstanzVPC, wobei einige optionale Felder gesetzt sind.
{ "id" : "MyEC2Resource", "type" : "Ec2Resource", "actionOnTaskFailure" : "terminate", "actionOnResourceFailure" : "retryAll", "maximumRetries" : "1", "instanceType" : "m5.large", "securityGroupIds" : [ "sg-12345678", "sg-12345678" ], "subnetId": "subnet-12345678", "associatePublicIpAddress": "true", "keyPair" : "my-key-pair" }
Syntax
| Pflichtfelder | Beschreibung | Slot-Typ |
|---|---|---|
| resourceRole | Die IAM Rolle, die die Ressourcen steuert, auf die die EC2 Amazon-Instance zugreifen kann. | String |
| role | Die IAM Rolle, mit AWS Data Pipeline der die EC2 Instance erstellt wird. | String |
| Objektaufruf-Felder | Beschreibung | Slot-Typ |
|---|---|---|
| schedule |
Dieses Objekt wird innerhalb der Ausführung eines Zeitplanintervalls aufgerufen. Sie müssen einen Zeitplanverweis auf ein anderes Objekt angeben, um die Abhängigkeitsausführungsreihenfolge für dieses Objekt festzulegen. Sie können dafür eine der folgenden Möglichkeiten auswählen:
|
Referenzobjekt, z. B. |
| Optionale Felder | Beschreibung | Slot-Typ |
|---|---|---|
| actionOnResourceFehlschlag | Die Aktion, die nach einem Ressourcenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "retryall" und "retrynone". |
String |
| actionOnTaskFehlschlag | Die Aktion, die nach einem Aufgabenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "continue" oder "terminate". |
String |
| associatePublicIpAdresse | Gibt an, ob der Instance eine öffentliche IP-Adresse zugewiesen wird. Wenn sich die Instance in Amazon EC2 oder Amazon befindetVPC, ist der Standardwerttrue. Andernfalls ist der Standardwert false. |
Boolesch |
| attemptStatus | Zuletzt gemeldeter Status von der Remote-Aktivität. | String |
| attemptTimeout | Timeout für die Fertigstellung der Remote-Arbeit. Wenn diese Option aktiviert ist, kann eine Remote-Aktivität, die nicht innerhalb der festgelegten Startzeit abgeschlossen wird, wiederholt werden. | Intervall |
| availabilityZone | Die Availability Zone, in der die EC2 Amazon-Instance gestartet werden soll. | String |
| disableIMDSv1 | Der Standardwert ist falsch und aktiviert sowohl als auch IMDSv1IMDSv2. Wenn Sie ihn auf true setzen, wird er deaktiviert IMDSv1 und bietet nur IMDSv2s | Boolesch |
| failureAndRerunModus | Beschreibt das Verhalten des Konsumentenknotens, wenn Abhängigkeiten fehlschlagen oder erneut ausgeführt werden. | Aufzählung |
| httpProxy | Der Proxyhost, über den Clients eine Verbindung zu AWS Diensten herstellen. | Referenzobjekt, z. B. "httpProxy":{"ref":"myHttpProxyId"} |
| imageId | Die ID derAMI, die für die Instanz verwendet werden soll. AWS Data Pipeline Verwendet standardmäßig den HVM AMI Virtualisierungstyp. Die AMI IDs verwendeten Daten basieren auf einer Region. Sie können die Standardeinstellung überschreiben, AMI indem Sie die Option HVM AMI Ihrer Wahl angeben. Weitere Informationen zu AMI Typen finden Sie unter AMILinux-Virtualisierungstypen und Finding a Linux AMI im EC2Amazon-Benutzerhandbuch. |
String |
| initTimeout | Die Zeit, die auf den Start der Ressource gewartet wird. | Intervall |
| instanceCount | Als veraltet gekennzeichnet. | Ganzzahl |
| instanceType | Der Typ der EC2 Amazon-Instance, die gestartet werden soll. | String |
| keyPair | Der Name des Schlüsselpaars. Wenn Sie eine EC2 Amazon-Instance starten, ohne ein key pair anzugeben, können Sie sich nicht bei ihr anmelden. | String |
| lateAfterTimeout | Die verstrichene Zeit nach dem Start der Pipeline, innerhalb derer das Objekt abgeschlossen werden muss. Sie wird nur ausgelöst, wenn der Zeitplantyp nicht auf eingestellt ist. ondemand |
Intervall |
| maxActiveInstances | Die maximale Anzahl gleichzeitiger aktiver Instances einer Komponente. Wiederholungen zählen nicht zur Anzahl der aktiven Instances. | Ganzzahl |
| maximumRetries | Die maximale Anzahl von Versuchen bei Ausfällen. | Ganzzahl |
| minInstanceCount | Als veraltet gekennzeichnet. | Ganzzahl |
| onFail | Eine Aktion, die ausgeführt werden soll, wenn das aktuelle Objekt fehlschlägt. | Referenzobjekt, z. B. "onFail":{"ref":"myActionId"} |
| onLateAction | Aktionen, die ausgelöst werden sollen, wenn ein Objekt noch nicht geplant wurde oder noch ausgeführt wird. | Referenzobjekt, z. B. "onLateAction":{"ref":"myActionId"} |
| onSuccess | Eine Aktion, die ausgeführt wird, wenn das aktuelle Objekt erfolgreich ist. | Referenzobjekt, z. B. "onSuccess":{"ref":"myActionId"} |
| übergeordneter | Das übergeordnete Objekt des aktuellen Objekts, aus dem Slots übernommen werden. | Referenzobjekt, z. B. "parent":{"ref":"myBaseObjectId"} |
| pipelineLogUri | Amazon S3 URI (z. B.'s3://BucketName/Key/') zum Hochladen von Protokollen für die Pipeline. |
String |
| Region | Der Code für die Region, in der die EC2 Amazon-Instance ausgeführt werden soll. Standardmäßig wird die Instance in derselben Region wie die Pipeline ausgeführt. Sie können die Instance in derselben Region als abhängiges Datenset ausführen. | Aufzählung |
| reportProgressTimeout | Das Timeout für aufeinanderfolgende Aufrufe von reportProgress durch Remote-Arbeit. Wenn diese Option aktiviert ist, werden Remote-Aktivitäten, die den Fortschritt für den angegebenen Zeitraum nicht melden, als fehlgeschlagen angesehen und erneut versucht. |
Intervall |
| retryDelay | Die Zeitüberschreitungsdauer zwischen zwei Wiederholungsversuchen. | Intervall |
| runAsUser | Der Benutzer, der das ausführen soll TaskRunner. | String |
| runsOn | Dieses Feld ist für dieses Objekt nicht zulässig. | Referenzobjekt, z. B. "runsOn":{"ref":"myResourceId"} |
| scheduleType |
Mit dem Zeitplantyp können Sie angeben, ob die Objekte in Ihrer Pipeline-Definition am Anfang oder am Ende eines Intervalls oder bedarfsabhängig geplant werden sollen. Die Werte sind:
|
Aufzählung |
| securityGroupIds | Die IDs von einer oder mehreren EC2 Amazon-Sicherheitsgruppen, die für die Instances im Ressourcenpool verwendet werden sollen. | String |
| securityGroups | Eine oder mehrere EC2 Amazon-Sicherheitsgruppen, die für die Instances im Ressourcenpool verwendet werden sollen. | String |
| spotBidPrice | Die maximale Datenmenge pro Stunde für Ihre Spot-Instance in Dollar, wobei es sich um einen Dezimalwert zwischen 0 und einschließlich 20,00 handelt. | String |
| subnetId | Die ID des EC2 Amazon-Subnetzes, in dem die Instance gestartet werden soll. | String |
| terminateAfter | Die Anzahl der Stunden, nach denen die Ressource zu beenden ist. | Intervall |
| useOnDemandOnLastAttempt | Dieses Feld bestimmt, ob beim letzten Versuch, eine Spot-Instance anzufordern, stattdessen eine On-Demand-Instance angefordert wird. Auf diese Weise wird sichergestellt, dass wenn die vorherigen Versuche fehlgeschlagen sind, der letzte Versuch nicht unterbrochen wird. | Boolesch |
| workerGroup | Dieses Feld ist für dieses Objekt nicht zulässig. | String |
| Laufzeitfelder | Beschreibung | Slot-Typ |
|---|---|---|
| @activeInstances | Liste der aktuell geplanten aktiven Instance-Objekte. | Referenzobjekt, z. B. "activeInstances":{"ref":"myRunnableObjectId"} |
| @actualEndTime | Zeitpunkt, zu dem die Ausführung dieses Objekts abgeschlossen wurde. | DateTime |
| @actualStartTime | Zeitpunkt, zu dem die Ausführung dieses Objekts gestartet wurde. | DateTime |
| cancellationReason | Der cancellationReason, wenn dieses Objekt storniert wurde. |
String |
| @cascadeFailedOn | Beschreibung der Zuständigkeitskette, bei der das Objekt fehlgeschlagen ist. | Referenzobjekt, z. B. "cascadeFailedOn":{"ref":"myRunnableObjectId"} |
| emrStepLog | Schrittprotokolle sind nur Amazon EMR Amazon-Aktivitätsversuchen verfügbar. | String |
| errorId | Die Fehler-ID, wenn dieses Objekt fehlgeschlagen ist. | String |
| errorMessage | Die Fehlermeldung, wenn dieses Objekt fehlgeschlagen ist. | String |
| errorStackTrace | Die Fehler-Stack-Ablaufverfolgung., wenn dieses Objekt fehlgeschlagen ist. | String |
| @failureReason | Der Grund für den Ressourcenfehler. | String |
| @finishedTime | Der Zeitpunkt, zu der dieses Objekt seine Ausführung beendet hat. | DateTime |
| hadoopJobLog | Hadoop-Jobprotokolle sind bei Versuchen für EMR Amazon-Aktivitäten verfügbar. | String |
| @healthStatus | Der Integritätsstatus des Objekts, der Erfolg oder Misserfolg der letzten Objekt-Instance widerspiegelt, die einen beendeten Zustand erreicht hat. | String |
| @healthStatusFromInstanceId | Id des Objekts der letzten Instance, das einen beendeten Zustand erreicht hat. | String |
| @ Zeit healthStatusUpdated | Zeitpunkt, zu dem der Servicestatus beim letzten Mal aktualisiert wurde. | DateTime |
| hostname | Der Hostname des Clients, der den Aufgabenversuch aufnimmt. | String |
| @lastDeactivatedTime | Zeitpunkt, zu dem dieses Objekt zuletzt deaktiviert wurde. | DateTime |
| @ latestCompletedRun Zeit | Zeitpunkt des letzten Laufs, für den die Ausführung abgeschlossen wurde. | DateTime |
| @latestRunTime | Zeitpunkt des letzten Laufs, für den die Ausführung geplant war. | DateTime |
| @nextRunTime | Zeitpunkt des Laufs, der als nächstes geplant werden soll | DateTime |
| reportProgressTime | Der letzte Zeitpunkt, an dem die Remote-Aktivität einen Fortschritt gemeldet hat. | DateTime |
| @scheduledEndTime | Die geplante Endzeit für das Objekt. | DateTime |
| @scheduledStartTime | Die geplante Startzeit für das Objekt. | DateTime |
| @Status | Der Status des Objekts. | String |
| @Version | Die Pipeline-Version, mit der das Objekt erstellt wurde. | String |
| @waitingOn | Beschreibung der Liste der Abhängigkeiten, auf die dieses Objekt wartet. | Referenzobjekt, z. B. "waitingOn":{"ref":"myRunnableObjectId"} |
| Systemfelder | Beschreibung | Slot-Typ |
|---|---|---|
| @error | Fehler mit einer Beschreibung des falsch formatierten Objekts. | String |
| @pipelineId | ID der Pipeline, zu der dieses Objekt gehört. | String |
| @sphere | Die Position eines Objekts im Lebenszyklus. Komponentenobjekte ergeben Instance-Objekte, die Versuchsobjekte ausführen. | String |
