Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden der Apache Airflow REST-API
Amazon Managed Workflows for Apache Airflow (Amazon MWAA) unterstützt die direkte Interaktion mit Ihren Apache Airflow-Umgebungen mithilfe der Apache Airflow REST-API für Umgebungen, in denen Apache Airflow v2.4.3 und höher ausgeführt wird. Auf diese Weise können Sie programmgesteuert auf Ihre Amazon MWAA-Umgebungen zugreifen und diese verwalten. Auf diese Weise können Sie auf standardisierte Weise Datenorchestrierungs-Workflows aufrufen, Ihre DAGs verwalten und den Status verschiedener Apache Airflow-Komponenten wie Metadatendatenbank, Trigger und Scheduler überwachen.
Um die Skalierbarkeit bei der Verwendung der Apache Airflow REST-API zu unterstützen, bietet Amazon MWAA Ihnen die Möglichkeit, die Webserverkapazität horizontal zu skalieren, um die gestiegene Nachfrage zu bewältigen, sei es durch REST-API-Anfragen, die Nutzung der Befehlszeilenschnittstelle (CLI) oder durch mehrere gleichzeitige Benutzer der Apache Airflow-Benutzeroberfläche (UI). Weitere Informationen zur Skalierung von Webservern durch Amazon MWAA finden Sie unter. Konfiguration der automatischen Skalierung des Amazon MWAA-Webservers
Sie können die Apache Airflow REST-API verwenden, um die folgenden Anwendungsfälle für Ihre Umgebungen zu implementieren:
-
Programmgesteuerter Zugriff — Sie können jetzt Apache Airflow DAG-Läufe starten, Datensätze verwalten und den Status verschiedener Komponenten wie der Metadatendatenbank, Trigger und Scheduler abrufen, ohne sich auf die Apache Airflow-Benutzeroberfläche oder CLI verlassen zu müssen.
-
Integration mit externen Anwendungen und Microservices — REST-API-Unterstützung, mit der Sie benutzerdefinierte Lösungen erstellen können, die Ihre Amazon MWAA-Umgebungen in andere Systeme integrieren. Beispielsweise können Sie Workflows als Reaktion auf Ereignisse aus externen Systemen starten, wie z. B. abgeschlossene Datenbankaufträge oder neue Benutzeranmeldungen.
-
Zentralisierte Überwachung — Sie können Überwachungs-Dashboards erstellen, die den Status Ihrer DAGs in mehreren Amazon MWAA-Umgebungen zusammenfassen und so eine zentrale Überwachung und Verwaltung ermöglichen.
Weitere Informationen zur Apache Airflow REST-API finden Sie in der Apache Airflow REST API-Referenz.
Mithilfe können Sie mithilfe InvokeRestApi von Anmeldeinformationen auf die Apache Airflow REST-API zugreifen. AWS Alternativ können Sie auch darauf zugreifen, indem Sie ein Webserver-Zugriffstoken abrufen und es dann mit dem Token aufrufen.
Wenn Sie Update your environment to use InvokeRestApi bei der Verwendung des InvokeRestApi Vorgangs auf einen Fehler mit der Meldung stoßen, bedeutet dies, dass Sie Ihre Amazon MWAA-Umgebung aktualisieren müssen. Dieser Fehler tritt auf, wenn Ihre Amazon MWAA-Umgebung nicht mit den neuesten Änderungen im Zusammenhang mit der Funktion kompatibel ist. InvokeRestApi Um dieses Problem zu beheben, aktualisieren Sie Ihre Amazon MWAA-Umgebung, um die für die Funktion erforderlichen Änderungen zu übernehmen. InvokeRestApi
Der InvokeRestApi Vorgang hat eine Standard-Timeout-Dauer von 10 Sekunden. Wenn der Vorgang innerhalb dieses Zeitrahmens von 10 Sekunden nicht abgeschlossen wird, wird er automatisch beendet und ein Fehler wird ausgelöst. Stellen Sie sicher, dass Ihre REST-API-Aufrufe so konzipiert sind, dass sie innerhalb dieses Timeout-Zeitraums abgeschlossen werden, um Fehler zu vermeiden.
Um die Skalierbarkeit bei der Verwendung der Apache Airflow REST-API zu unterstützen, bietet Amazon MWAA Ihnen die Möglichkeit, die Webserverkapazität horizontal zu skalieren, um der gestiegenen Nachfrage gerecht zu werden, sei es aufgrund von REST-API-Anfragen, der Nutzung der Befehlszeilenschnittstelle (CLI) oder mehreren gleichzeitigen Benutzern der Apache Airflow-Benutzeroberfläche (UI). Weitere Informationen zur Skalierung von Webservern durch Amazon MWAA finden Sie unter. Konfiguration der automatischen Skalierung des Amazon MWAA-Webservers
Sie können die Apache Airflow REST-API verwenden, um die folgenden Anwendungsfälle für Ihre Umgebungen zu implementieren:
-
Programmgesteuerter Zugriff — Sie können jetzt Apache Airflow DAG-Läufe starten, Datensätze verwalten und den Status verschiedener Komponenten wie der Metadatendatenbank, Trigger und Scheduler abrufen, ohne sich auf die Apache Airflow-Benutzeroberfläche oder CLI verlassen zu müssen.
-
Integration mit externen Anwendungen und Microservices — REST-API-Unterstützung, mit der Sie benutzerdefinierte Lösungen erstellen können, die Ihre Amazon MWAA-Umgebungen in andere Systeme integrieren. Beispielsweise können Sie Workflows als Reaktion auf Ereignisse aus externen Systemen starten, wie z. B. abgeschlossene Datenbankaufträge oder neue Benutzeranmeldungen.
-
Zentralisierte Überwachung — Sie können Überwachungs-Dashboards erstellen, die den Status Ihrer DAGs in mehreren Amazon MWAA-Umgebungen zusammenfassen und so eine zentrale Überwachung und Verwaltung ermöglichen.
Weitere Informationen zur Apache Airflow REST API finden Sie unter The Apache Airflow REST API Reference.
Mithilfe können Sie mithilfe InvokeRestApi von Anmeldeinformationen auf die Apache Airflow REST-API zugreifen. AWS Alternativ können Sie auch darauf zugreifen, indem Sie ein Webserver-Zugriffstoken abrufen und es dann mit dem Token aufrufen.
-
Wenn Sie
Update your environment to use InvokeRestApibei der Verwendung desInvokeRestApiVorgangs auf einen Fehler mit der Meldung stoßen, bedeutet dies, dass Sie Ihre Amazon MWAA-Umgebung aktualisieren müssen. Dieser Fehler tritt auf, wenn Ihre Amazon MWAA-Umgebung nicht mit den neuesten Änderungen im Zusammenhang mit der Funktion kompatibel ist.InvokeRestApiUm dieses Problem zu beheben, aktualisieren Sie Ihre Amazon MWAA-Umgebung, um die für die Funktion erforderlichen Änderungen zu übernehmen.InvokeRestApi -
Der
InvokeRestApiVorgang hat eine Standard-Timeout-Dauer von 10 Sekunden. Wenn der Vorgang innerhalb dieses Zeitrahmens von 10 Sekunden nicht abgeschlossen wird, wird er automatisch beendet und ein Fehler wird ausgelöst. Stellen Sie sicher, dass Ihre REST-API-Aufrufe so konzipiert sind, dass sie innerhalb dieses Timeout-Zeitraums abgeschlossen werden, um Fehler zu vermeiden.
Wichtig
Die Größe der Antwort-Nutzlast darf 6 MB nicht überschreiten. Ihr RestApi schlägt fehl, wenn dieses Limit überschritten wird.
Verwenden Sie die folgenden Beispiele, um API-Aufrufe an die Apache Airflow REST-API zu tätigen und einen neuen DAG-Lauf zu starten:
Themen
Zugriff auf die Apache Airflow REST-API gewähren: airflow: InvokeRestApi
Um mithilfe von AWS Anmeldeinformationen auf die Apache Airflow REST-API zuzugreifen, müssen Sie die airflow:InvokeRestApi Erlaubnis in Ihrer IAM-Richtlinie erteilen. Geben Sie im folgenden Richtlinienbeispiel die Public RolleAdmin,Op, oder an UserViewer, {airflow-role} um die Ebene des Benutzerzugriffs anzupassen. Weitere Informationen finden Sie im Apache Airflow-Referenzhandbuch unter
{ "Version":"2012-10-17", "Statement": [ { "Sid": "AllowMwaaRestApiAccess", "Effect": "Allow", "Action": ["airflow:InvokeRestApi","airflow:CreateWebLoginToken"], "Resource": [ "arn:aws:airflow:{your-region}:{your-account-id}:role/{your-environment-name}/{airflow-role}" ] } ] }
Anmerkung
Bei der Konfiguration eines privaten Webservers kann die InvokeRestApi Aktion nicht von außerhalb einer Virtual Private Cloud (VPC) aufgerufen werden. Sie können den aws:SourceVpc Schlüssel verwenden, um eine detailliertere Zugriffskontrolle für diesen Vorgang anzuwenden. Weitere Informationen finden Sie unter aws: SourceVpc.
Aufrufen der Apache Airflow REST-API
Das folgende Python-Beispielskript zeigt, wie die Apache Airflow REST-API verwendet wird. Das Skript listet die verfügbaren DAGs in Ihrer Umgebung auf und erstellt eine Apache Airflow-Variable:
import boto3 env_name = "MyAirflowEnvironment" def list_dags(client): request_params = { "Name": env_name, "Path": "/dags", "Method": "GET", "QueryParameters": { "paused": False } } response = client.invoke_rest_api( **request_params ) print("Airflow REST API response: ", response['RestApiResponse']) def create_variable(client): request_params = { "Name": env_name, "Path": "/variables", "Method": "POST", "Body": { "key": "test-restapi-key", "value": "test-restapi-value", "description": "Test variable created by MWAA InvokeRestApi API", } } response = client.invoke_rest_api( **request_params ) print("Airflow REST API response: ", response['RestApiResponse']) if __name__ == "__main__": client = boto3.client("mwaa") list_dags(client) create_variable(client)
Ein Webserver-Sitzungstoken erstellen und die Apache Airflow REST-API aufrufen
Verwenden Sie die folgende Python-Funktion, um ein Webserver-Zugriffstoken zu erstellen. Diese Funktion ruft zuerst die Amazon MWAA-API auf, um ein Web-Login-Token abzurufen. Das Web-Login-Token, das nach 60 Sekunden abläuft, wird dann gegen ein Web-Session-Token ausgetauscht, mit dem Sie auf den Webserver zugreifen und die Apache Airflow REST-API verwenden können. Wenn Sie mehr als 10 Transaktionen pro Sekunde (TPS) an Drosselkapazität benötigen, können Sie diese Methode verwenden, um auf die Apache Airflow REST-API zuzugreifen.
Das Sitzungstoken läuft nach 12 Stunden ab.
Tipp
Die wichtigsten Änderungen in den folgenden Codebeispielen von Apache Airflow v2 auf v3 sind:
-
Der REST-API-Pfad wurde von
/api/v1zu geändert/api/v2 -
Der Anmeldepfad wurde von
/aws_mwaa/loginzu geändert/pluginsv2/aws_mwaa/login -
Die Anmeldeantwort
response.cookies["_token"]enthält Token-Informationen, die Sie für nachfolgende API-Aufrufe verwenden müssen -
Für einen REST-API-Aufruf müssen Sie
jwt_tokenInformationen in Headern wie folgt übergeben:headers = { "Authorization": f"Bearer {jwt_token}", "Content-Type": "application/json" }
Nach Abschluss der Authentifizierung verfügen Sie über die Anmeldeinformationen, um mit dem Senden von Anfragen an die API-Endpunkte zu beginnen. Verwenden Sie im Beispiel im folgenden Abschnitt den Endpunktdags/{dag_name}/dagRuns.